Computerphile förklarar Nvidia DLSS och uppskalning via neurala nätverk

Här är en idé, lite "out there" jag vet men försök att hänga med:
Hur skulle det vara om man plockade bort det döda kislet (tensor cores) och ersatte det med helt vanliga ROP's !
Och vem vet vi kanske t.o.m. skulle kunna slänga in en 512-bit minnesbus när vi ändå håller på för att få specsen att matcha priset !

Och är det inte lite lustigt hur svårt det verkar att få fram vad "DL" delen verkligen innefattar ?
Om det är din egen hårdvara som förbättrar sig själv för vissa spel, var tar den datan vägen ?
Och vem äger den datan ?
Är det däremot spelföretagen som utnyttjar din hårdvara, kommer du att få ersättning för detta jobb ?

Nu är det väl inte riktigt dött. Men visst hade det lett till mer spelprestanda i nuvarande generation grafikkort. Yes. Jag hade haft mer glädje av en sådan ändring också
Tanken här är väl att bana väg för att kunna förbättra grafiken på nya kreativa sätt. Än så länge är vi väl inte riktigt där, men det kommer säkerligen förbättringar på tekniken.

Nope. Utvecklingen och förbättringen av tekniken samt grunden för vad som ska göras sköts i nvidias serverhallar. Där tas ett viktnings och texturpaket fram vilket är hela grunden. Det ens eget grafikkort sedan gör är att tillämpa det här specialpaketet, men någon självförbättring av tekniken sker ej hos konsument. Detta förklaras i videon också ;).

Datapaketen som är anpassade per spel för att DLSS ska fungera skickas ut med nvidias drivrutiner. I nuläget funkar det men när stödet för spel blir bredare får man nog tänka om så att uppdateringarna inte blir allt för stora. Säkerligen inte så svårt att lösa ;).

Nvidia. De har tagit fram datan i serverhallarna.

Njää. Troligen finns inte mycket att hämta där hehe. Vi väljer själva vad vi vill spela och det är väl upp till oss själva om vi vill belasta våra grafikkort med spel.

Jag tänkte på den delen också. Frågan är väl vad nvidia egentligen hittar på "serverside". En möjlighet är kanske att de också kör ännu högre upplösning än 4K när de förbereder dlss för upplösningen 4K som ska köras när man då spelar.
Om så är fallet så kan det kanske hända andra grejer också. But who knows

Wolfenstein kör inget på tensor cores. Är dock inte säker på om den utnyttjar FP16 alls för Turing, har inte hört talas om det. Om den använder FP16 så är det på vanliga cuda cores (1660Ti har ju trots allt 2x FP16, utan tensor cores!). Den stora prestandaförbättringen som ses i Wolfenstein 2 från DOOM (ca 20% om jag minns rätt) kommer från att de kör compute accelererad culling, som liknar Mesh Shaders som är nytt till Turing. Detta utöver att de kör heltal och flyttal parallellt. Svårt att säga hur mycket som kommer från var.

Men man kan fundera på: Om det är så fantastiskt, varför tog de bort de där ~10-15% av SM-arean till 16xx serien? Speciellt när den hade , enligt deras utsago, passat bäst när FPS är låg som det brukar vara för de mindre kraftfulla korten? Kanske kom de fram till att det inte var kostnadseffektivt på gamingkort? ¯\_(ツ)_/¯

tänk om de lagt till mer prestanda (shaders o skit) istf att slösa kretsyta/tid på den här skiten

AMD var de som implementerade det. Med shader intrinsics så måste de ha separata kodvägar för att det ska fungera på andra kort (Vega & Polaris kör andra shaders). T.ex if(Vega || Polaris) vs if(fp16_support) . Hur kan man då vara säker på att de gjort FP16 tillgängligt för andra kort än Vega (som är det enda kortet från AMD som drar nytta av det, samt att det är AMD som implementerat det)?

Eller så kan man anta att AMD är snälla och supportar det genom D3D11_FEATURE_SHADER_MIN_PRECISION_SUPPORT , eller vad motsvarande är för Vulkan. AMD har mig veterligen inte påstått något annat än att dessa spel använder FP16 för Vega. Men om någon kan bevisa att FP16 verkligen används i de två spelen på 1660Ti eller Turing så är jag redo att tro det.

Men, när jag letade runt efter FP16 instruktioner och Turing kom det upp ny info (släpptes igår!) som inte finns jag inte kan hitta i deras whitepaper jag läst igenom. Kommer du ihåg att jag sa att 1660Ti har 2x FP16 på samma sätt som Turingkorten har 2x FP16 och således antog jag att denna funktionalitet fanns i deras CUDA cores, eftersom de inte hade nämnt något annat? Det är lite mer komplicerat än så tydligen att de bara tog bort RT och Tensor cores, de har även ersatt dem med *trumvirvel* FP16 cores. Och de berättade även hur Turing får 2x FP16 :

Så tydligen får man reda på efter 5 månader att FP16 kan köras parallellt på tensor cores samtidigt som CUDA cores är aktiva (OBS! I vanliga fall är tensor cores i ett sådant tillstånd att CUDA och RT cores inte kan användas, t.ex under DLSS. Detta har gjort dem mer "post process"-aktiga för att de inte ska störa alltför mycket, men det stämmer uppenbarligen inte alltid). De har inte varit så tydliga att med Turing så tar FP16 instruktioner en helt annan väg än tidigare och går genom tensor cores parallellt med de andra kärnorna. Kort sagt så verkar de tagit bort möjligheten till DLSS och andra tensor operationer för att ersätta dem med bara 2x FP16. Vilket gör mig ännu mer förvirrad. Enda anledningen jag kan tänka mig är att de förväntar sig att FP16 ska användas mycket mer när Navi släpps.

NVIDIA PR har slagit sig i huvudet. Istället för att lyfta fram DLSS så kunde de ha lyft fram 2x FP16 prestanda behöver tensor cores, de hade setts från ett annat perspektiv. Jag kan dock konstatera att tensor cores tjänar ett syfte även om man inte använder t.ex DLSS.

Nu är det sent på kvällen och orkar inte leta upp referenser till det jag påstår på rak arm ... men:

DLSS för mig är en teknik som är bra på att få upp bildkvalitet ELLER/OCH prestanda på statiska scener. Tänk direkt här på alla scenarion det träffar - nästan alla som techtubers, benchmarks och liknande testar. (inte en bild, snarare en hel loop med bilder) Sen tränar de scenerna i deras datacenter och får till bra approximationer, skickar ut det som rekommendationer vid specifika scenarion.. helt hemskt lågt. Kommer se bra ut på alla recensioner och benchmarks - ingen vettig vinst i normala spel där det är oförutsägbart vad som inträffar.

Många initiala tester har jämför det med att spela spelet på en lägre - dock - uppskalad upplösning för att vinna prestanda - därav smöret eller vaselinet som spills över skärmen.

Vi är långt bort idag från att ha den här typen av "pre-calculation" av alla dessa scenarion. Inte ens streamingtjänsterna för spel kommer att nå mycket längre på många år. (om det kommer streamingstjänster till de stora konsolerna så finns det en potential för att förarbeta vissa scener etc. Exemel på det kan tänkas vara saker som är gemensamma mellan 500 miljoner spelare går lätt att vinna prestanda eller bildkvalitet på)

Vill gärna att redaktionen håller ett öga öppet för skillnader mellan "normala benchmarking scener" och helt oanvända. Många gör det enkelt (inget konstigt med det) för sig. Kommer eventuellt att bli intressant.

Den stora frågan för mig är om, och i så fall hur mycket, bättre DLSS är jämfört med bildskärmens inbyggda uppskalningsalgoritm?
Någon som testat att bara köra BF5 i fullskärm med lägre upplösning för att kolla skillnaden?