Nvidia lanserar verktyg för skarpare video

Kul att det äntligen kom något som ger bättre skärpa i webbläsaren, men förstår inte riktigt varför de inte lagt in några helt vanliga skärpefilter av hög kvalitet för länge sen. Varför måste allt vara nyutvecklad AI och dra en massa datorresurser? Känns ibland som att företagen försöker slå ihjäl en fluga med en specialdesignad flugsmällare i guldplätterad kolfiber för 1000 kr...

Finns ju många bra avancerade omskalningsalgoritmer för video de skulle kunna implementera. Att nya finesser "tyvärr" bara fungerar på den senaste korten kan de ju påstå ändå liksom.

Oftast går det nästan att utföra magi med kombinationer av avancerade skärpefilter i Photoshop t.ex, vet jag sen åratal av hobbyredigering. Jobbar man med subpixel-nivå så kan man få fram massor av detaljer utan störande överskärpta svarta linjer osv.

Men men som sagt, jag är glad för detta iaf. Har inte testat så mycket men kommer nog köra den här funktionen.

Jag drar till med en vild gissning att IP kan vara något som sätter käppar i hjulen för mycket teknikrelaterad utveckling, och att det inom viss teknik hämmat utvecklingen rätt rejält.. Och så sitter aktörer så som IBM där med sina 700 000 patent, där många inte används utan bara ligger och dammar i deras portfolio.

Kul utveckling detta hur som helst, där tensor-kärnorna kan komma till lite mer nytta!

Kunde man göra detta i realtid vid encoding kan vi börja snacka. Streaming av Retrospel skulle få ett rejält lyft. Lägg därtill AV1 och fotstorleken blir rejält mindre samtidigt.

Det är ju lätt att säga att man skall spela in allt 16K okomprimerat så håller det för all framtid. Men om jag sitter här med en sliten DVD på repmånad och vill spela upp den så det ser så bra som möjligt ut.

Ja, du förstår själv. Det är efter-processning eller inget. Jag tycker det är bra att man jobbar på sånt här.

Du får nog ta och läsa om min kommentar, för det var ju exakt det jag sa. Att det har gjorts stora framsteg med DLSS sen det lanserades.

Efter att vant mig vid SOAP-effekter så kan jag inte längre se en film i 24Hz. Jag tar gärna alla artefakter som finns, bara jag får flytet i panoreringar osv. Alla är vi ju olika och stör oss mer eller mindre på olika detaljer, eller hur?

Om du idag skulle spela DOOM och tvingas välja mellan dessa grafikalternativ. Väljer du då vänster eller höger grafikläge?

Ja fan. Jag var nyvaken. he he. Förlåt.

Kunde inte låta bli. Testade att själv att skala upp marinkårssoldaten från Doom med Stable Diffusion då jag såg att ögonfärgen måste varit helt fel i bilden från nätet.

Lugnt! Händer alla

Jag tycker 24hz film är ntressant. Jag har väldigt svårt att se på det på en snabb OLED skärm. sample-and-hold bluret känns enormt obekvämt. Så jag kör också interpolering. Inte jättemycket, men någon slags mellanting.

Så här var det ju aldrig på äldre TV-aparater med slöare responstid, typ tjock-TV. min favoskärm för film nu nu är en Samsung Q90 QLED, inte så snabb responstid som OLED, bra bild, och kör lite interpolering på den också. Det är så man smälter inombords med landskaps-panoreringar.

Kanske orkar testa en sväng om det skulle dyka upp i Firefox.

Eller Super Ultimate Reality Perfect Intelligent Something Something: SURPISS, den bästa sortens urin.

Det du hänvisar till med Doom-gubben har inget med NVIDIA RTX Video Super Resolution att göra.

Det var verkligen skitdåligt, sämre än att köra utan. Påminner om ett sånt där filter som narcissister brukar använda när de lägger upp bilder på sig själva.

Antar att jag missuppfattade vad det var för uppskalningsteknik som användes. Fick en snabb känsla av att det var liknande teknik fast kraftigt förenklad. Det skulle förmodligen vara svårt att köra i live-prestanda med dagens hårdvara. Det tog ju typ 10 sekunder av en RTX-GPU att skala upp bilden jag hänvisade till.

Ja fantastisk var det ju inte.
Jag testade i en hel timme, har en stor 75" skärm så jag borde se skillnad - men det gjorde jag inte, än hur mkt. jag försökte. Är skillnaden så liten att man behöver att skärmdumpa i Photoshop och jämföra pixel-för-pixel så har det ingen praktisk betydning för tittarupplevelsen.

Men EN grej jag direkt märkte var att på mitt 3090 kort så ökade GPU förbrukningen från 10-15% (i 4K) till 30-45%.
Så om man vill öka strömförbrukningen utan synligt resultat när man tittar på Youtube - ja då är det bara att tuta o köra.

Beroende på vad du har för 75:a och hur den står med bildinställningar kan det vara så att du faktiskt redan har en liknande process igång i själva TV:n vilket (bildligen och bokstavligen) suddar ut skillnaderna.

Ser ut som att nvidia desperat letar olika lösningar för att göra deras dyra beräkningskort mer eftertraktade som konsumentkort. Ur mitt perspektiv känns det väldigt uppenbart att RT-cores inte dykt upp för att det är ett konsumentbehov, utan ett behov i beräkningskluster.

Då och då tittar jag på olika lösningar för att skala upp video. Finns mycket gammalt material som aldrig kommer restaureras eller som är amatörfilmat och endast finns i låg kvalitet.

Hittills har inget imponerat på mig. Infognition Super Resolution ser ut att kunna ge bra resultat om källmaterialet är närmast okomprimerat, vilket nästan aldrig händer. När jag tittat på Topaz Video AI har det fortfarande varit jämförbart med gammaldags enklare algoritmer.

Det enda jag tycker fungerat hyggligt är att skala upp och interpolera anime. Men det är också ett betydligt enklare problem än vanlig video eftersom bildinnehållet är mycket simplare.

Det ser ganska bra ut, men tycker det lutar åt det överskärpta hållet. Gissar att det blir en tydlig kontrast mellan det som har grundkvalitet nog att skärpas upp och det som inte har det.

Tittar man på den andra jämförelsen från mpc-be-releasen så kan man jämföra mot andra filter. Tycker nvidias lösning är bättre på att plocka bort komprimeringsartefakter.
https://imgsli.com/MTU4NTg4/0/2

I denna jämförelsen tycker jag att ansiktet ser mer naturligt ut med nvidias lösning.
https://imgsli.com/MTU4ODM2

När kvaliten sjunker föredrar jag madvr, nvidia ser överskärpt ut.
https://imgsli.com/MTU4ODQx

I slutänden är frågan om det är värt effektökningen. Inte kul att höra fläktljud när man kollar video.

Utmärkta exempel @sniglom

Det är på de nivåerna den här typen av filter fungerar. Utgår från en dålig förutsättning och presenterar den visuellt annorlunda och i endast i bästa fall marginellt "bättre" ur ett mer godtyckligt perspektiv.

Jag kan anta en viss bias från personerna som skapat de olika algoritmerna vad de stör sig mest på. Några verkar ogilla bildbrus mest av allt och då blir ansikten som dockor. Andra vill ha "mer detalj" och då blir det överskärpt där det skapas texturer och strukturer där det egentligen inte finns så mycket struktur från början.

Det här är nåt jag undrat över...om det fungerar som dlss där man har reference frames.
Om man har en 50st 8k bilder på huvud scener, och levererar resten av videos i 480/720 eller nåt, kan man skala upp det på samma sätt till 1080/4k?
Det är ju inte riktigt samma situation men visst kan man extrahera motion vectors osv från video.
Lär komma förr eller senare om det inte är så denna teknik funkar.

Uppskalningsteknik som fungerar likt DLSS etc. finns redan sedan flera år i nya TV-apparater. Kom rejält i samband med försökn till 8K. Det är en enorm del av marknadsföringen idag. Tillverkarna tweakar hela tiden algoritmerna och pratar om nya, ännu saftigare körningar med maskinträning för varje år. Det är auto-detektering av genre och så vidare så att sport får en algoritm, nyheter en annan, actionfilmer en tredje etc. LG:s snack om Alpha-processorn är just allt detta.

Och hos allihopa det blir akvarell-effekter och det skapas strukturer där det inte ska finnas strukturer och så vidare. Det ser ut som exemplen länkade ovan fast i varierande grad.

"AI"-processad video ser inte ut som någonting annat än just "AI"-processad bild. Det finns helt klart en distinkt "AI-look".

Orsaken till att detta fungerar i spel därför att spelen är en helt annan typ av situation med andra förutsättningar. På ganska många plan. Ursprungsbilden i ett spel med DLSS till 4K-nivå är från början inte en lågupplöst och sönderkomprimerad video fylld med artefakter, utan de flesta börjar sin DLSS på oklanderlig renderingar i 1080p eller 1440p och skalar därifrån.

Spel är från första början artificiell grafik, mer lik animation och där är vi mycket mer förlåtande för märkligheter. Medan video som får "AI-looken" ofta närmar sig uncanny valley. En uppskalad väggtextur i ett spel är något man rycker på axlarna åt (eftersom det är ett spel), men när nyheterna, dokumentären eller filmen börjar se ut som uppskalade texturer snarare än den faktiska väggen så distraherar det.

Sedan kan jag ju så klart se hur DLSS jobbar i spelen och hur detaljerna liksom växer fram. Men finner inte att det påverkar spelandet eftersom jag i alla fall har en annan fokus och aktivt deltagande (jag styr kameran) när jag spelar. Jämfört med att att se på TV/se på film där man får berättandet taget till sig.

Det är också mycket möjligt att vi är för tidigt i den här processen. Spel och spelgrafik är ändå ett rätt begränsat urval av bildmaterial och – gissar jag – enklare att maskinträna på jämfört med den liiiite mer omfattande verkligheten som fångas av kameror.