Nvidia och svenska Tobii ökar VR-prestanda

Permalänk
Cylon

Nvidia och svenska Tobii ökar VR-prestanda

Nvidias renderingsteknik Variable Rate Supersampling uppdateras med ögonspårning från Tobii för att följa spelares blick i realtid.

Läs hela artikeln här

Permalänk
Medlem

NU snackar vi! Naturlig utveckling.

Permalänk
Medlem

Wow, det blir suddigare.

Permalänk
Medlem

Artikel om ögonspårning, visa statiska bilder.

Och ja, det såg inte bra ut. Bra nog vid behov om fps är för låg utan. Men bra, nej.

Permalänk
Hedersmedlem
Skrivet av SCORPIUS:

Artikel om ögonspårning, visa statiska bilder.

Och ja, det såg inte bra ut. Bra nog vid behov om fps är för låg utan. Men bra, nej.

Nänä. Allt du inte tittar på i artikeln rör ju sig ;).

Fast ska vi vara lite seriösa så är tanken att bilden inte behöver se bra ut - där du inte tittar.
Det är rimligen slöseri på renderinskapacitet att rendera högdetaljerat på områden där ögat inte kan uppfatta detaljerna.

Så ja - rimligen kan det här ge en chysst boost i renderingskapacitet. Kanske helt utan nackdelar. Återstår emellertid att se

Permalänk
Medlem
Skrivet av The Kristoffer:

Wow, det blir suddigare.

Skrivet av SCORPIUS:

Artikel om ögonspårning, visa statiska bilder.

Och ja, det såg inte bra ut. Bra nog vid behov om fps är för låg utan. Men bra, nej.

Det är väl skitsamma om bilden är suddigare där man ändå inte har blicken så att man lägger märke till det? Den skärpan/prestandan kan man istället lägga där man kollar och det faktiskt spelar roll.

Permalänk
Medlem
Skrivet av ClintBeastwood:

Det är väl skitsamma om bilden är suddigare där man ändå inte har blicken så att man inte lägger märke till det? Den skärpan/prestandan kan man istället lägga där man kollar och det faktiskt spelar roll.

Nej.

Permalänk
Medlem
Skrivet av SCORPIUS:

Varför inte? Du får gärna utveckla vad du tycker är dåligt.

Permalänk
Medlem

Som ögat fungerar så sjunker "upplösningen" snabbt utanför där du fokuserar, m.a.o. kan du inte upptäcka att det är oskarpt utanför det lilla området om det görs på rätt sätt.
Finns massa information runt detta både från Oculus och diverse forskningsrapporter.

Permalänk
Benchmaskin 🍞
Skrivet av Salcin74:

Som ögat fungerar så sjunker "upplösningen" snabbt utanför där du fokuserar, m.a.o. kan du inte upptäcka att det är oskarpt utanför det lilla området om det görs på rätt sätt.
Finns massa information runt detta både från Oculus och diverse forskningsrapporter.

Vi fick prova det hos Tobii på CES för ett par år sen när dom hade en utvecklingsenhet av Vive och det funkade verkligen sjukt bra. Hoppas den tekniken kan bli någon form av standard för VR så man alltid får vettig fps.

Permalänk
Medlem
Skrivet av SCORPIUS:

Och ja, det såg inte bra ut. Bra nog vid behov om fps är för låg utan. Men bra, nej.

Jag tycker att i VR är en konstant hög frame-rate så pass viktig för upplevelsen att applikationerna egentligen borde vara så lättviktiga att FPS i praktiken aldrig dippar.
Att då försöka maxa och ha flera detaljnivåer i renderings-steget känns därför lite baklänges.

Jag tycker att ögonspårning skulle bättre kunnat användas för att undvika att rendera objekt överhuvudtaget, eller för att rendera dem i lägre detaljnivå. Det skulle göra en större skillnad i FPS.
På länge sikt tycker jag att man bör satsa på att använda ögonspårning för att upptäcka vilket djup som ögonen fokuserar på och justera fokuseringen i glasögonen så att den matchar ... så att man slipper att bli trött i ögonen, eller t.om. få huvudvärk av att använda dem.

Permalänk
Medlem
Skrivet av Salcin74:

Som ögat fungerar så sjunker "upplösningen" snabbt utanför där du fokuserar, m.a.o. kan du inte upptäcka att det är oskarpt utanför det lilla området om det görs på rätt sätt.

För att sätta siffror på det:

The fovea centralis is a small, central pit composed of closely packed cones in the eye, and is responsible for sharp central vision. It comprises less than 1% of retinal size but takes up over 50% of the visual cortex in the brain. The fovea sees only the central two degrees of the visual field, approximately twice the width of your thumbnail at arm's length.

I övrigt är jag lite oroad över att VRSS 2.0 bara tycks funka för DX11-spel, och det efter att spelet godkänts av Nvidia. Så även om det inte behövs extra kod så betyder det inte att VRSS kan användas i alla spel.

Permalänk
Medlem

Synd det inte kommer som addon till Valve Index, det hade jag vart riktigt nyfiken på.
Just nu hänger 3080 med ordentligt, men kommer med all säkerhet snart komma saker som det svettas mer av

Permalänk
Medlem

Vill ha mer spel till VR som inte suger!

Känns lite meh när de enda spelen jag gillar är Beat Saber, Pistol Whip, SUPERHOT och Alyx.
Hade stora förhoppningar på nya MoH Above and Beyond men det blev ganska meh.

Personligen tycker jag själva VR headseten som finns idag är "bra nog" men det som håller tillbaka njutningen för mig är hur man rör sig, gillar inte att teleportera för att flytta mig runt, "on rails" känns inte bra det heller.

Permalänk
Medlem
Skrivet av LeVvE:

Känns lite meh när de enda spelen jag gillar är Beat Saber, Pistol Whip, SUPERHOT och Alyx.

Om du gillar Pistol Whip och Superhot så vill jag rekommendera Blaston. Och Alyx har en massa mods om man vill spela mer av det.

Permalänk
Medlem
Skrivet av SCORPIUS:

Artikel om ögonspårning, visa statiska bilder.

Och ja, det såg inte bra ut. Bra nog vid behov om fps är för låg utan. Men bra, nej.

Skrivet av SCORPIUS:

Hur tänker du egentligen? Att kunna supersampla bilden där du faktiskt tittar och upsampla bilden där du inte gör det är ju lösningen på flera problem. Det möjliggör också större synfält eftersom det som renderas där du inte tittar kostar mindre. Det är en win-win och det är framtiden. Sen är det inget fel med statiska bilder för att illustrera, men artikeln har ju också en video. Förklara gärna vad problemet är?

Permalänk
Medlem

Tobii, min favorit av svenska vaporware företag. Sjukt kul att se att deras produkt faktiskt finns med i en annan tillverkares produkt. Hoppas verkligen att fler använder lösningen, definitivt något jag vill se när jag byter ut min Quest 1 mot något nyare. Borde nog köpa på mig lite aktier igen när jag ändå är i farten.

Funderar lite på om man kan använda ögonspårningen för att simulera djupseende också. Troligen behöver man andra paneler, kanske till och med paneler som kan flyttas i djupled? Det är något som skulle förbättra mycket upplevelsemässigt skulle jag tro.

Permalänk
Medlem

Dlss vill jag även se i vr-titlar

Permalänk
Medlem
Skrivet av CubaCola:

Dlss vill jag även se i vr-titlar

Det finns i några få: Into the Radius, War Thunder, samt ett gäng photogrammetrybaserade landskap/scener som jag-minns-inte-vem lagt upp på itch.io. Men vad jag hört ser DLSS (och TAA i allmänhet) sämre ut i VR än i icke-VR-spel.

Permalänk
Medlem
Skrivet av anders190:

Tobii, min favorit av svenska vaporware företag. Sjukt kul att se att deras produkt faktiskt finns med i en annan tillverkares produkt. Hoppas verkligen att fler använder lösningen, definitivt något jag vill se när jag byter ut min Quest 1 mot något nyare. Borde nog köpa på mig lite aktier igen när jag ändå är i farten.

Funderar lite på om man kan använda ögonspårningen för att simulera djupseende också. Troligen behöver man andra paneler, kanske till och med paneler som kan flyttas i djupled? Det är något som skulle förbättra mycket upplevelsemässigt skulle jag tro.

Oculus (Facebook) har sedan några år tillbaka visat olika lösningar på ”adaptive varifocal”-linser, som möjliggör djupseende. Den senaste officiella prototypen är Half-Dome 3 som har så kallade pannkakslinser som där olika lager kan slås på eller inaktiveras för att ge olika fokusdjup. Finns även äldre prototyper med mekanisk varifocal, men skulle tro att den elektroniska vinner då VR-framtiden på Oculus är mobil.

Problemet är som sagt att det kräver pålitlig eyetracking för att funka bra (99% av tiden för 99% av alla människor) och vad jag förstått är tekniken inte riktigt där ännu.

Permalänk
Medlem

Tobii har pratat om detta under många år och produktgenerationer. Mycket snack och ingen verkstad.

Permalänk
Medlem
Skrivet av Rebben:

Tobii har pratat om detta under många år och produktgenerationer. Mycket snack och ingen verkstad.

Fast Reverb G2 Omnicept, som ska ha Tobii eye tracking integrerat, ska släppas redan nästa månad.

Permalänk
Medlem
Skrivet av Ureet:

Det finns i några få: Into the Radius, War Thunder, samt ett gäng photogrammetrybaserade landskap/scener som jag-minns-inte-vem lagt upp på itch.io. Men vad jag hört ser DLSS (och TAA i allmänhet) sämre ut i VR än i icke-VR-spel.

Ah okej. Det kanske är för att bilden eventuellt återskapas av AI på olika sätt för höger och vänster öga så det kan bli lite konstigt ögonen emellan ja.

Permalänk
Medlem
Skrivet av Ureet:

För att sätta siffror på det:

The fovea centralis is a small, central pit composed of closely packed cones in the eye, and is responsible for sharp central vision. It comprises less than 1% of retinal size but takes up over 50% of the visual cortex in the brain. The fovea sees only the central two degrees of the visual field, approximately twice the width of your thumbnail at arm's length.

På svenska så är det alltså "gula fläcken" som sitter mitt på näthinnan. Där är alltså syncellerna tätast lagrade.
När man tittar på något så är det med gula fläcken, allt runt utanför det kan man skönja, men det är inte fullt skarpt. Prova att fokusera på en text på skärmen, t.ex denna. Försök sedan utan att röra blicken läsa texten som är strax intill. Det går inte...

Visst vore det nice om GPU'erna kan rendera 2x4K i 120Hz med full kvalitet. Men det kan de inte riktigt ännu, inte ens en 3090. Därför är dynamisk foveated rendering med eye tracking lösningen.

Problemet med just HP Reverb G2, var ju att den var oskarp utanför just mitten. Om den här lösningen ska fungera så måste det ju vara optiskt skarpt på hela displayen...

Permalänk
Medlem
Skrivet av Findecanor:

Jag tycker att ögonspårning skulle bättre kunnat användas för att undvika att rendera objekt överhuvudtaget, eller för att rendera dem i lägre detaljnivå. Det skulle göra en större skillnad i FPS.

Samma sak

Permalänk
Medlem
Skrivet av Halldin:

Oculus (Facebook) har sedan några år tillbaka visat olika lösningar på ”adaptive varifocal”-linser, som möjliggör djupseende. Den senaste officiella prototypen är Half-Dome 3 som har så kallade pannkakslinser som där olika lager kan slås på eller inaktiveras för att ge olika fokusdjup. Finns även äldre prototyper med mekanisk varifocal, men skulle tro att den elektroniska vinner då VR-framtiden på Oculus är mobil.

Problemet är som sagt att det kräver pålitlig eyetracking för att funka bra (99% av tiden för 99% av alla människor) och vad jag förstått är tekniken inte riktigt där ännu.

https://youtu.be/o5Qn8QRswrw

Nice, denna tror jag mig ha missat helt. Blir att kika igenom klippet. Tack för tipset! Även om jag misstänker att det finns risk att man blir besviken på att tekniken inte redan finns ute.

Permalänk
Medlem
Skrivet av CubaCola:

Ah okej. Det kanske är för att bilden eventuellt återskapas av AI på olika sätt för höger och vänster öga så det kan bli lite konstigt ögonen emellan ja.

Nej, det är för att allt blir suddigt som helvete i VR med dlss aktiverat. Iaf i mitt rift. Precis som på en skärm fast du ser det tydligare i VR. Vilket gör war thunder ospelbart med dlss på. Oaktat läge.
Hoppas oerhört på detta vrss precis vad VR behöver.

Permalänk
Medlem
Skrivet av StaffSergeant:

Nej, det är för att allt blir suddigt som helvete i VR med dlss aktiverat. Iaf i mitt rift. Precis som på en skärm fast du ser det tydligare i VR. Vilket gör war thunder ospelbart med dlss på. Oaktat läge.
Hoppas oerhört på detta vrss precis vad VR behöver.

Jag ska testa någon gång med mitt quest2.
vet att jag testat dlss i Fortnite på min 1080P skärm och upplevde det inte sådär superbra, utan lite suddigt, medans när jag kör dlss på min andra 1440P skärm så ser allt skarpt och fint ut.
Quest2 har ju något högre upplösning så det kanske ser bättre ut där.

Permalänk
Medlem

Äntligen.
Det borde ju gå att nyttja samma teknik för att boosta prestandan för stationära datorer. Speciellt för ultrawide där mycket prestanda går åt att rendera skarpa pixlar åt periferiseendet i onödan.

Permalänk
Hedersmedlem
Skrivet av henkiii:

Äntligen.
Det borde ju gå att nyttja samma teknik för att boosta prestandan för stationära datorer. Speciellt för ultrawide där mycket prestanda går åt att rendera skarpa pixlar åt periferiseendet i onödan.

Exakt!
Jag har sagt precis samma sak sedan första dagen jag hörde om det här för ett gäng år sedan.
Det lät så bra för VR - yadda yadda.
Ja det gör det ju. Jag har också VRheadset så visst var det intressant.

Men det här borde ju kunna fungera till ALLA spel! Tobii eyetracker finns ju redan till skärmar separat sedan flera år.
Alltså om det här nu finns så finns ju möjligheten att köpa till en liten eyetracker för nån tusing och säkert fördubbla renderingsplrestandan.
Området för hur många som har ett VRheadset med eyetracking är... sådär stort i nulgäet.
Det finns så ooootroligt mycket större marknadspotential i att rikta det här tilll... alla med stationär

Det ena utesluter givetvist inte det andra. Men ja, det hela kan ju få mer fart under fötterna om kundbasen ökas hundrafalt.