Nvidia presenterar DLSS 2.1 – justering med 8K och VR i sikte

Permalänk
Medlem
Skrivet av DasIch:

Det är inte frågan om att ens försöka träna algoritmen på alla potentiella bilder från spel, eller ha med alla tänkbara positioner för saker som rör sig. Vad den gör är i princip att lära sig generellt skilja på lågupplösta bilder mot högupplösta, för att sen skala/interpolera lågupplösta bilder så att de hamnar så nära högupplösta som möjligt.

Inte heller är det frågan om att försöka framställa perfekta bildrutor av främst tomma miljöer och från huvudstråken av spelvärlden. Det är inte så deep learning fungerar. Alls. Snarare tvärtom med massor av träningsdata där det finns både stor och liten variation mellan bilder.

Jag är ganska säker att du har fel här, men det är ganska lite som är öppet med hur Nvidia tränar sina nätverk.

Med det sagt så finns det inte några direkta skillnader mellan upplösning vs avstånd, så det är lite konstigt att kalla det för att känna igen lågupplöst innehåll.

De skalar ju x*y pixlar till cx*cy pixlar genom att ’vikta in’ hur spelet ser ut. Just hur spelet generellt ser ut är ju just träningen. Det går helt enkelt inte att träna generellt på allt som kan visas på skärmen i ett visst spel, alldeles för mycket är dynamiskt innehåll som inte går att träna för på ett bra sätt (jag gav några exempel ovan). Det finns många videos på nätet redan som visar hur dåligt DLSS fungerar i flera av dessa scenarios.

Jag sade inte att målet som nätverket har är tomma miljöer, med det är den typ av bilder som är säkrast och bäst att träna med, se så klart finns det mer dynamiska träningsbilder också, men de kan lätt framställa felaktiga resultat om man tränar för hårt på dessa (som rök eller partiklar). Det finns såklart inget mål i sig med att göra det såhär, men det är helt enkelt så verktygen ser ut för just bildanalyserande nätverk

Permalänk
Medlem
Skrivet av medbor:

Inget av det du säger motsäger någonting av det jag sade. Träningen hos Nvidia med 16K ’perfect’ frames kommer inte innehålla alla potentiella bilder från spelet, utan främst UI och bakgrunder. Det är omöjligt för dem att för-rendera positionen för partikel-effekter eller rök på skärmen, eller andra halvtransparenta och dynamiska sekvenser och innehåll. Alla fiender i spelet som kan befinna sig vart som helst och synas ur vilken vinkel som helst mot vilken bakgrund som helst går inte heller att för-rendera.

Algoritmen kommer alltså sträva efter att framställa perfekta bildrutor av främst tomma miljöer och från huvudstråken av spelvärlden. Det är helt enkelt så deep-learning tekniken fungerar.

Om nätverket har högre upplösning att utgå ifrån på den renderade bilden kommer såklart mer detaljer redan finnas och inte behöva skapas, vilket get ett bättre resultat, annars kan man ju skippa renderingen helt (kanske teoretiskt möjligt i framtiden?, till exempel att basera sig på objekts och kamerans position endast, tillsammans med föregående bildruta alltså)

Det går dock att utvinna fler detaljer ur spel med uppskalningsmetoder eftersom all information om världen (varenda objekt, varenda textur) finns i ett mycket högre upplöst tillstånd än det ursprungsrenderade. Eftersom DLSS 1.9 och 2.0 är en multi-frame approach så kan informationen från flera bildrutor innehålla mer information än en enstaka bildruta. T.ex 8k kan de ha skapat ur 18st 1440p bilder, trots att innehållet av 18st 1440p bilder är dubbelt så stort som en 8k bild.

Uppskalningsmetoden som de använder sker helt utan påverkan av maskininlärning (tänk dig t.ex TAAU från unreal engine). Det enda som är maskininlärt är VILKA pixlar som väljs från vilka rutor. Av denna anledning så kan det köras i varje spel utan särskild träning (som DLSS 1.0 hade behövt). Med det sagt så väljer de fel på en del ställen (som t.ex med partiklar som rör sig snabbt , eller objekt mot en bakgrund med hög kontrast) , men det skulle möjligtvis gå att motverka 99% av artefakterna om de ville integrera ett reweighting network (kan läsas i facebooks rapport, men kolla bara på figur 10 för resten är uruselt...). Det skulle dock lägga till väldigt mycket tid på exekveringen, varför NVIDIA skippar det och kör med möjliga artefakter istället. Jag ska även nämna att DLSS även innehåller maskininlärd anti-aliasing (varför DLSS först hette DLAA) , så den biten är också maskininlärd och förmodligen bättre än många implementationer av TAA.

Iallafall, en enstaka ruta kan inte innehålla mer information än en enstaka ruta, såvida man inte tränat på material med i princip samma innehåll med högre upplösning och sedan skapat en maskininlärd funktion för det. Men det funkar ju inte så bra i praktiken (som vi sett med DLSS 1.0). Flera rutor kan dock innehålla mer information än en ruta, varför DLSS 2.0 kan teoretiskt sett kan ge en högre upplösning än native.

Permalänk
Medlem
Skrivet av Radolov:

Det går dock att utvinna fler detaljer ur spel med uppskalningsmetoder eftersom all information om världen (varenda objekt, varenda textur) finns i ett mycket högre upplöst tillstånd än det ursprungsrenderade. Eftersom DLSS 1.9 och 2.0 är en multi-frame approach så kan informationen från flera bildrutor innehålla mer information än en enstaka bildruta. T.ex 8k kan de ha skapat ur 18st 1440p bilder, trots att innehållet av 18st 1440p bilder är dubbelt så stort som en 8k bild.

Uppskalningsmetoden som de använder sker helt utan påverkan av maskininlärning (tänk dig t.ex TAAU från unreal engine). Det enda som är maskininlärt är VILKA pixlar som väljs från vilka rutor. Av denna anledning så kan det köras i varje spel utan särskild träning (som DLSS 1.0 hade behövt). Med det sagt så väljer de fel på en del ställen (som t.ex med partiklar som rör sig snabbt , eller objekt mot en bakgrund med hög kontrast) , men det skulle möjligtvis gå att motverka 99% av artefakterna om de ville integrera ett reweighting network (kan läsas i facebooks rapport, men kolla bara på figur 10 för resten är uruselt...). Det skulle dock lägga till väldigt mycket tid på exekveringen, varför NVIDIA skippar det och kör med möjliga artefakter istället. Jag ska även nämna att DLSS även innehåller maskininlärd anti-aliasing (varför DLSS först hette DLAA) , så den biten är också maskininlärd och förmodligen bättre än många implementationer av TAA.

Iallafall, en enstaka ruta kan inte innehålla mer information än en enstaka ruta, såvida man inte tränat på material med i princip samma innehåll med högre upplösning och sedan skapat en maskininlärd funktion för det. Men det funkar ju inte så bra i praktiken (som vi sett med DLSS 1.0). Flera rutor kan dock innehålla mer information än en ruta, varför DLSS 2.0 kan teoretiskt sett kan ge en högre upplösning än native.

Dessa aspekter har inte jag läst om, men har ju inte läst allt heller. Men i mina ögon låter det lite mer som filmkomprimering att basera sig på äldre bildrutor. Självklart kan det finnas mer information (en annan texel väljs ur en textur för att kameran flyttats och roterats till exempel). Men jag har svårt att se att detta generellt skulle kunna ersätta specifik träning för varje spel

Permalänk
Medlem
Skrivet av sKRUVARN:

Alltså, dessa typer av fel har ju inget med upplösningen i spel att göra, detta har ju introducerats i efterhand och är inget som syns vid spelande. Det var iaf länge sedan jag spelade ett spel fullt med jpeg-block i 1080p som magiskt försvan vid högre upplösning, för det inte heller ett textur-problem då blocken sträcker sig över sig olika objekt.

Nä, det är taget från komprimerade källor, och är därmed inte representativt för skillnaden dom försöker påvisa.

Jag hittade orginalet, och spelet verkar faktiskt ha jpeg-artifakter ursprungligen.

Permalänk
Medlem
Skrivet av medbor:

Dessa aspekter har inte jag läst om, men har ju inte läst allt heller. Men i mina ögon låter det lite mer som filmkomprimering att basera sig på äldre bildrutor. Självklart kan det finnas mer information (en annan texel väljs ur en textur för att kameran flyttats och roterats till exempel). Men jag har svårt att se att detta generellt skulle kunna ersätta specifik träning för varje spel

Det är rörelsevektorerna som bestämmer vilka pixlar som väljs i DLSS 1.9 och 2.0. I DLSS 1.0 så var det mer pixlarna och spelet som avgjorde. Dvs, du kan inte bära med dig resultaten från träningen vidare i DLSS 1.0, men du kan det i DLSS 2.0.

Så nu behöver du finna en funktion sådan att valet av pixlar givet en rörelsevektor ger ett optimalt resultat. Det optimala resultatet är ju förstås så den högupplösta bilden som renderats vid sidan om i träningen. Vad som finns i bilden spelar inte så stor roll om det är samma rörelsevektorer.

Jag hoppas det gör det lite mer förståeligt varför man kan undgå en del träning här. Det kan ju givetvis komma upp fall som är unika, men då krävs det mer träning.

Permalänk
Medlem
Skrivet av medbor:

Jag är ganska säker att du har fel här, men det är ganska lite som är öppet med hur Nvidia tränar sina nätverk.

Med det sagt så finns det inte några direkta skillnader mellan upplösning vs avstånd, så det är lite konstigt att kalla det för att känna igen lågupplöst innehåll.

De skalar ju x*y pixlar till cx*cy pixlar genom att ’vikta in’ hur spelet ser ut. Just hur spelet generellt ser ut är ju just träningen. Det går helt enkelt inte att träna generellt på allt som kan visas på skärmen i ett visst spel, alldeles för mycket är dynamiskt innehåll som inte går att träna för på ett bra sätt (jag gav några exempel ovan). Det finns många videos på nätet redan som visar hur dåligt DLSS fungerar i flera av dessa scenarios.

Jag sade inte att målet som nätverket har är tomma miljöer, med det är den typ av bilder som är säkrast och bäst att träna med, se så klart finns det mer dynamiska träningsbilder också, men de kan lätt framställa felaktiga resultat om man tränar för hårt på dessa (som rök eller partiklar). Det finns såklart inget mål i sig med att göra det såhär, men det är helt enkelt så verktygen ser ut för just bildanalyserande nätverk

Vad jag menar med att lära skillnaden mellan högupplöst och lågupplöst innehåll är att de neurala nätverket har någon form av "feature extraction", typ som en vanlig bildklassificerare, och kan sen manipulera pixlarna i bilden för att matcha facit - troligtvis med någon form av GAN för att hela tiden förbättra facit.

Nvidia har övergett approachen med att träna algoritmen för specifika spel. DLSS 2.0 tränas generellt.

Permalänk
Medlem

3000 serien stödjer ju såhär långt "bara" HDMI 2.1 som har stöd för max 4K 120hz och 8K 60hz. Skulle DLSS kunna tillåta för högre FPS än så eller skickas bilden som full 8K signal? Får man lägga sin tillit till DSC för högre frames med 3000 serien?

Permalänk
Medlem
Skrivet av Sienar:

3000 serien stödjer ju såhär långt "bara" HDMI 2.1 som har stöd för max 4K 120hz och 8K 60hz. Skulle DLSS kunna tillåta för högre FPS än så eller skickas bilden som full 8K signal? Får man lägga sin tillit till DSC för högre frames med 3000 serien?

8K 30Hz har samma bandbredd som 4K 120Hz (vid samma färgdjup)

Vid 4K klarar korten 120Hz vid 12 bit, eller högre uppdatering vid komprimerat eller lägre färgdjup. Till exempel borde 4K 240Hz vid 8-bit djup gå bra.

DLSS körs inte på skärmen, det är full signal i kabeln

Vid 8-bit färgdjup ska det gå att köra 8K 60Hz, men om man komprimerar eller ändrar så ska andra uppdateringsfrekvenser vara möjliga

Permalänk
Medlem
Skrivet av medbor:

8K 30Hz har samma bandbredd som 4K 120Hz (vid samma färgdjup)

Vid 4K klarar korten 120Hz vid 12 bit, eller högre uppdatering vid komprimerat eller lägre färgdjup. Till exempel borde 4K 240Hz vid 8-bit djup gå bra.

DLSS körs inte på skärmen, det är full signal i kabeln

Vid 8-bit färgdjup ska det gå att köra 8K 60Hz, men om man komprimerar eller ändrar så ska andra uppdateringsfrekvenser vara möjliga

Känns ju inte värt att skaffa sig 3090 när bandbredden kanske ändå inte räcker till. Gör det bara ännu tydligare att 3090 inte är till för gamers i första hand. Undrar varför inte DP 2.0 har börjat komma till korten än. Det sades väl att 2.0 produkterna skulle börjat komma nu?

Är nog det och watten på 3080 som får mig att tveka en smula.

Permalänk
Medlem
Skrivet av Sienar:

Är nog det och watten på 3080 som får mig att tveka en smula.

Har sett flera som tvekar pga watten. Förklara gärna för en okunnig Är det pga hög elförbrukning, värmeutveckling eller att man ev åker på en ny PSU? Eller en kombination?

Visa signatur

i7 8700K | Asus STRIX 1080ti OC GAMING 11 Gb | Corsair 32 GB@3000Mhz

Permalänk
Medlem
Skrivet av flightsim18:

Har sett flera som tvekar pga watten. Förklara gärna för en okunnig Är det pga hög elförbrukning, värmeutveckling eller att man ev åker på en ny PSU? Eller en kombination?

Det närmar ju sig dubbelt så mycket som mitt nuvarande 1080. Visst får man mer prestanda per watt men vet inte hur många procent det är.

Jag tänker främst på miljön. Om vi går mot en utveckling där det ska pressas mer och mer watt in i datorer så blir det ännu svårare att klara av klimatkrisen. På en global skala har det här ju enorm effekt. 320W är ju extremt högt.

Utöver det så lär det väl göra att du får svettas en del i spelrummet, så inte så kul det heller.

Hoppas Nvidia har mjukvara för att få ner energinivån på ett effektivt sätt när prestandan inte behövs men är väl få användare som kommer använda en sån.

Permalänk
Medlem

Många anser att skärm 1440p med 120+ Hz uppdateringsfrekvens borde ersätta 1080p 60Hz som den nya normalen, eftersom skärmarna nu sjunkit en hel del i pris.
Problemet är ju att grafikkorten som klarar att driva spel i 1440p inte gått ner i pris lika mycket som skärmarna, och det är här jag vill se en snabbare utveckling!

Permalänk
Konsolpleb 🕹
Skrivet av Sienar:

3000 serien stödjer ju såhär långt "bara" HDMI 2.1 som har stöd för max 4K 120hz och 8K 60hz. Skulle DLSS kunna tillåta för högre FPS än så eller skickas bilden som full 8K signal? Får man lägga sin tillit till DSC för högre frames med 3000 serien?

DLSS är "bara" en slags uppskalning/image reconstruction/kantutjämning och sker alltså steget innan själva signalen ska genereras. Så det har ingen påverkan på vilka upplösningar eller uppdateringsfrekvenser som kortet rent fysiskt kan mata ut.

Visa signatur

240p är livet

Permalänk
Medlem

Mycket intressant. Kanske en räddning för att kunna avnjuta Flight Sim 2020 i sin VR-hjälm då det fortfarande inte hänt mycket inom det här med FOV:eated rendering som annars är en möjlig lösning för att nå riktigt skarpa bilder i VR.

Permalänk
Medlem
Skrivet av Sienar:

Det närmar ju sig dubbelt så mycket som mitt nuvarande 1080. Visst får man mer prestanda per watt men vet inte hur många procent det är.

Jag tänker främst på miljön. Om vi går mot en utveckling där det ska pressas mer och mer watt in i datorer så blir det ännu svårare att klara av klimatkrisen. På en global skala har det här ju enorm effekt. 320W är ju extremt högt.

Utöver det så lär det väl göra att du får svettas en del i spelrummet, så inte så kul det heller.

Hoppas Nvidia har mjukvara för att få ner energinivån på ett effektivt sätt när prestandan inte behövs men är väl få användare som kommer använda en sån.

Låt mig gissa...
Du har bytt in din relativt nya bil mot en så kallad "miljöbil" eller en elbil för att rädda klimatet?

Visa signatur

Hata postsorteringen i Ånge.

Permalänk
Medlem

@anCOOL: Kul gissning. Jag cyklar.