Google skapar skräddarsydda kretsar för Youtubes filkomprimering

Permalänk
Melding Plague

Google skapar skräddarsydda kretsar för Youtubes filkomprimering

Youtube-servrarna utökas med egenskapade instickskort, som lovar upp till 33 gånger mer omkodningsprestanda per krona.

Läs hela artikeln här

Visa signatur

Observera att samma trivselregler gäller i kommentarstrådarna som i övriga forumet och att brott mot dessa kan leda till avstängning. Kontakta redaktionen om du vill uppmärksamma fel i artikeln eller framföra andra synpunkter.

Permalänk
Medlem

Jag är mest förvånad att de inte gjort detta tidigare. Borde gå att spara in på både plats och energi i datahallarna på det här sättet.

Permalänk
Medlem
Skrivet av dlq84:

Jag är mest förvånad att de inte gjort detta tidigare. Borde gå att spara in på både plats och energi i datahallarna på det här sättet.

Jo och kanske även för konsumenter av alla slag.

Just nu encodar jag videos på mun Ryzen 3900XT men innan körde jag GTX970, problemet är att mitt RX5700 får storsmisk av GTX970 nvec encoder.

Alternativet hade ju varit om AMD hade en bättre encoder MEN ett PCI kort som bara är dedicerad encoder är ju en rätt intressant ide.
Borde ge bättre pris/prestanda och prestanda per watt då inget slösas bort till nåt annat.

Permalänk

Och nu är vi alltså då nästan tillbaka på 90-talet igen, när man köpte dedikerade encoder/decoder-kort för PCI/ISA/VLB.
Dock fullt förståeligt i den sortens miljö det ska tillämpas i.

Visa signatur

Dator: EEE901 N270/ 1GB / 20GB SSD ... Kraftigt nedbantat/tweakat Win7 x86 for speeeEED!
Facebook användare? Hatar tidslinjen? gå med i denna FB-grupp:
Undo Timeline ...med lite tur får h*lvetet ett slut!

Permalänk
Medlem
Skrivet av pa1983:

Jo och kanske även för konsumenter av alla slag.

Just nu encodar jag videos på mun Ryzen 3900XT men innan körde jag GTX970, problemet är att mitt RX5700 får storsmisk av GTX970 nvec encoder.

Alternativet hade ju varit om AMD hade en bättre encoder MEN ett PCI kort som bara är dedicerad encoder är ju en rätt intressant ide.
Borde ge bättre pris/prestanda och prestanda per watt då inget slösas bort till nåt annat.

Off:
Får inte du problem med att filerna blir orimligt stora då du kör nvec? Det brukar jag nämligen få.

Visa signatur

CPU: 5900x. Mem:64GB@3200 16-17-17-34-1T. (ImDIsk)
GPU: 1080 Ti@ca 6-7%OC. Sound: SB-Z -> toslink (DTS)-> old JVC. MB Realtek to Z-2300 for VOIP.

Permalänk
Medlem
Skrivet av hACmAn:

Off:
Får inte du problem med att filerna blir orimligt stora då du kör nvec? Det brukar jag nämligen få.

Inte tänkt på faktiskt, kör under linux med men om det spelar roll vet jag inte.
Kan inte testa nu då mitt GTX970 ligger i en låda, men haft planer på att dra fram det och stoppa in bara för Nvec encodern, men å andra sidan då hade jag nog hellre velat ha ett nya kort ur 2000 serien tex, men med corona och priserna som dom är så är det ju bara å glömma.

Permalänk
Medlem

Sånt här gillar jag.

Unik hårdvara för att snabba på speciella lösningar.

Känns lite som förr i tiden när CPUerna var så slöa att allt specialiserat kunde accelereras med massa unika lösningar.

Sen kom en CPU utveckling där man började göra korkad hårdvara och lösa allt med bruteforce istället.

Visa signatur

En del av mina bildlänkar hostas på egen maskin, är bildlänkarna trasiga, ha tålamod.

Permalänk
Medlem
Skrivet av lastninja:

Och nu är vi alltså då nästan tillbaka på 90-talet igen, när man köpte dedikerade encoder/decoder-kort för PCI/ISA/VLB.
Dock fullt förståeligt i den sortens miljö det ska tillämpas i.

Ja fick också lite såna vibbar till "back in the days" även om jag var för ung för att äga massa hårdvara på den tiden, men kommer ihåg det som att det var mycket mer speciallösningar för proffsbruk då.

Visa signatur

En del av mina bildlänkar hostas på egen maskin, är bildlänkarna trasiga, ha tålamod.

Permalänk
Medlem
Skrivet av Karaff:

Sånt här gillar jag.

Unik hårdvara för att snabba på speciella lösningar.

Känns lite som förr i tiden när CPUerna var så slöa att allt specialiserat kunde accelereras med massa unika lösningar.

Sen kom en CPU utveckling där man började göra korkad hårdvara och lösa allt med bruteforce istället.

Nej inte så lätt.
Jag kan inte köra 4k med hevc med mitt 1080 TI av någon anledning. Så Turing eller nyare ser it att vara rätt väga att gå.
https://en.wikipedia.org/wiki/Nvidia_NVENC
Undantaget TU117.
Men om det ska in på youtube. Kör så nära RAW som du har disk/ram till. Jag tycker att deras filkomprimering är lite väl destruktiv. även på h265. Så den har lite att arbeta med snarere än kaka på kaka då det kommer till komprimeringar..
Vi får väl se om de här korten gör det bättre eller sämre än det är nu.

Visa signatur

CPU: 5900x. Mem:64GB@3200 16-17-17-34-1T. (ImDIsk)
GPU: 1080 Ti@ca 6-7%OC. Sound: SB-Z -> toslink (DTS)-> old JVC. MB Realtek to Z-2300 for VOIP.

Permalänk
Medlem

YouTube har förutom VP9, även MP4 H264 och MP4 AV01 (inte på alla videos).
Jag såg inte något i artikeln om AV1.
För folk som kör grafikkort ur RTX 3000 serien, RX 6000 serien eller Rocket Lake processor så kan AV1 vara ett bra alternativ för bättre kvalitet/filstorlek förhållande.

Klarar de här korten av AV1 också?
Ger de någon prestanda i AV1 encoding?

Permalänk

Universal vs skräddarsydd produkt är en gammal fråga som människor har ställt i tusentals år.
Inom datorteknik har det ofta varit så att höga försäljningsvolymer har ofta lett till att universalprodukten oftast är den bästa.

Och det är just detta som videokodningshårdvara står inför. Hur extremt nischad är den för en viss videokodning, när det kommer nya video codic så är dessa bara att köra? Och sedan gäller det att få upp volymer på den.

Permalänk
Medlem
Skrivet av lillaankan_i_dammen:

Universal vs skräddarsydd produkt är en gammal fråga som människor har ställt i tusentals år.
Inom datorteknik har det ofta varit så att höga försäljningsvolymer har ofta lett till att universalprodukten oftast är den bästa.

Och det är just detta som videokodningshårdvara står inför. Hur extremt nischad är den för en viss videokodning, när det kommer nya video codic så är dessa bara att köra? Och sedan gäller det att få upp volymer på den.

Med tanke på vad folk betalar professionellt för grafikkort för vide redigering och annats så borde det ju lätt finnas en marknad både för servers och för wokstationes men även för prosumers där man hellre lägger pengarna på en snabbare dedikerad encoder än ett grafikkort eller CPU.

Förbättringarna mellan GPU generationerna gör ju att livslängden på dom inte är så många år ändå så spelar ju egentligen igen stor roll om en hårdvaru encoder blir omodern efter några år om ett nytt format kommer ut för då är det dags att uppgradera grafikkortet också av samma orsak om man nu kört på det.

Kan man få mycket snabbare encode prestanda på dedikerad hårdvara för samma peng så är det väl mer attraktivt.

Kan nog finnas en marknad för kort som är dedikerade encoders med extrem prestanda och som kanske har dedikerad hårdvara för andra delar av stegen i att redigera video.

Permalänk
Medlem

Hashrate på ETH??! 🤔

(Innan stenarna börjar flyga: jag minar inte, bara ett skämt i tiden så att säga... 😅 )

OnT:
Kul att de inte bara traskar på i upptrampade spår..! 👍

Visa signatur

Hårdvara:
Varierande nog, = onödig information.

Gillar Linux, det kan vara värt vetande. 🙂

Permalänk
Medlem

Såna här saker gör det visserligen svårare för Youtube's konkurrenter att konkurrera ...

Visa signatur

För övrigt anser jag att tobak ska förbjudas.

Permalänk
Medlem
Skrivet av m1k3_dd:

Hashrate på ETH??! 🤔

(Innan stenarna börjar flyga: jag minar inte, bara ett skämt i tiden så att säga... 😅 )

OnT:
Kul att de inte bara traskar på i upptrampade spår..! 👍

YT-coin, bryt valuta genom att omkoda filmer på Youtube

Permalänk
Medlem
Skrivet av hACmAn:

Off:
Får inte du problem med att filerna blir orimligt stora då du kör nvec? Det brukar jag nämligen få.

Det beror väl helt på vilka inställningar du har?
Vilken kvalitet osv. som du väljer.

Överlag så får en oftast bättre kvalitet/MB med mjukvarukodning på CPUn och höga kvalitetsinställningar, men är det värt så mycket längre encoding tid?

Permalänk
Medlem
Skrivet av GuessWho:

YouTube har förutom VP9, även MP4 H264 och MP4 AV01 (inte på alla videos).
Jag såg inte något i artikeln om AV1.
För folk som kör grafikkort ur RTX 3000 serien, RX 6000 serien eller Rocket Lake processor så kan AV1 vara ett bra alternativ för bättre kvalitet/filstorlek förhållande.

Klarar de här korten av AV1 också?
Ger de någon prestanda i AV1 encoding?

Nej dom stöder inte av1 så vitt jag vet, nämns inte alls i varken bloggen eller i den publicerade artikeln.

Vad jag har hört är att av1 är rätt dyrt när det kommer till kiselbudget och designades med ganska liten hänsyn till hw, och det är detta som ligger till stor grund till varför stödet släpade så länge. Fortfarande väldigt lite om hw-encodering för av1, detta är en av de få lösningarna jag sett https://netint.ca/netint-announces-the-worlds-first-commercia... och det är faktiskt väldigt intressant att youtube, som är antagligen av1 viktigaste spelare inte inkluderar det i denna produkt.

Personligen så tror jag av1 (tyvärr) går samma nischade möte som vp8 & 9, tåget har gått, branschen har redan böjt sig för hevc som finns i var å varannan kamera å mediaspelare idag. AV1 erbjuder för liten teknisk fördel, och så som det ser ut idag så måste man antagligen även inkludera HEVC stöd så pengar sparar man ju inte, är det även komplext att bygga hw lösningar så lämpar det ju inte heller sig för priskritiska lösningar som rbpi eller iot kameror osv. Och nu är ju även EVC på väg från mpeg som lär lämpa sig för dom områdena.

Permalänk
Medlem
Skrivet av wargreymon:

YT-coin, bryt valuta genom att omkoda filmer på Youtube

"Bandbredd fyndvara: snart tar internet slut"

Visa signatur

Lenovo Legion 5 17,3", 5800H, 3070 140 W, 2 TB
Logitech G Pro Wireless & G613 keyboard
Hifiman Sundara, Sennheiser PXC-550 II / Hidisz S9 Pro, Schiit Magni 2

Singleplayertopplistan utan ranking: Duke Nukem' 3D, Doom: Eternal, Half-life I & II, Super Mario 64 & Galaxy I & II, Resident Evil II (PSX), Metal Gear Solid, Final Fantasy VII (PSX), The Last of Us I & II, Fallout 3, New Vegas & 4, Cyberpunk 2077

Permalänk
Medlem

Vem minns Google Video?
Eller MPEG2 kort för DVD-video.

Permalänk
Medlem
Skrivet av Elfsberg:

"Bandbredd fyndvara: snart tar internet slut"

Så skönt. Packa ryggsäcken, på med kängorna och marschera ut i naturen! 🙂

Visa signatur

Min musik: https://www.youtube.com/channel/UCZKidNeIKsz8LZMO3VRcBdQ

Ryzen 3900x. Skärm: AOC cu34g2x/bk 144hz 34" ultrawide. RTX 2080ti

Laptop: MSI GT80 Titan Sli

Permalänk
Medlem

Så Google skryter med att vara snabbare än en Skylake cpu? ok!
Och snabbare än Nvidia T4, som har samma Nvenc som ett RTX-kort.

Och att 8st Google-kort är snabbare än 4st Nvidia-kort, istället för att visa var 4st Google mot 4st Nvidia hamnar.

Kunde de inte också ha jämfört med någon annan tillverkare av hårdvara för videoencoding istället? Det hade ju kännts mest logiskt?

Visa signatur

I5 9600k@stock / Cooler Master Evo 212 / Gigabyte Z390 Gaming X / Corsair Vengeance LPX 16GB DDR4 3000MHz / MSI RTX2070 Gaming Z / EVGA 550 BQ / Asus VG27BQ 27" 165Hz

Ryzen 5 5600x@stock / Asus Rog Strix X570-E Gaming / Corsair Vengeance RGB Pro 16GB 3600MHz CL18 / MSI RTX3070 Suprim X / BeQuiet Pure Power 11 600W / Asus VG278Q 27" 144Hz

Permalänk
Moderator
Testpilot
Skrivet av CubaCola:

Så Google skryter med att vara snabbare än en Skylake cpu? ok!
Och snabbare än Nvidia T4, som har samma Nvenc som ett RTX-kort.

Och att 8st Google-kort är snabbare än 4st Nvidia-kort, istället för att visa var 4st Google mot 4st Nvidia hamnar.

Kunde de inte också ha jämfört med någon annan tillverkare av hårdvara för videoencoding istället? Det hade ju kännts mest logiskt?

Tror du ska fokusera mer på TCO (Total Cost of Ownership) det är vad som är intressant för Google i sammanhanget, jag har en liten känsla av att de vet vad de pysslar med.

Visa signatur

ASrock x470 Taichi Ultimate - AMD Ryzen R9 3900x - G.Skill Ripjaws@3.6GHz 16GB RAM - RTX 3080 Ti - Super Flower Leadex Gold 1000W - Phanteks Enthoo Pro - AOC AG35UCG 34" 3440x1440p@100Hz - kalaset vattenkylt

Permalänk
Medlem
Skrivet av Dinoman:

Tror du ska fokusera mer på TCO (Total Cost of Ownership) det är vad som är intressant för Google i sammanhanget, jag har en liten känsla av att de vet vad de pysslar med.

Vad kostar googles egna kort?

Nvidia 1650 och T4 har båda turing encodern.
Så det kunde lika gärna ha stått 4st 1650 mot googles egna kort.
Inte lika imponerande då kanske

4st 1650 är ju ca 8-9000kr mot 4st t4 som blir runt 80-100kkr

Visa signatur

I5 9600k@stock / Cooler Master Evo 212 / Gigabyte Z390 Gaming X / Corsair Vengeance LPX 16GB DDR4 3000MHz / MSI RTX2070 Gaming Z / EVGA 550 BQ / Asus VG27BQ 27" 165Hz

Ryzen 5 5600x@stock / Asus Rog Strix X570-E Gaming / Corsair Vengeance RGB Pro 16GB 3600MHz CL18 / MSI RTX3070 Suprim X / BeQuiet Pure Power 11 600W / Asus VG278Q 27" 144Hz

Permalänk
Moderator
Testpilot
Skrivet av CubaCola:

Vad kostar googles egna kort?

Nvidia 1650 och T4 har båda turing encodern.
Så det kunde lika gärna ha stått 4st 1650 mot googles egna kort.
Inte lika imponerande då kanske

4st 1650 är ju ca 8-9000kr mot 4st t4 som blir runt 80-100kkr

Det ingår i deras totala kostnadskalkyl såklart.

Jag läser in att du missförstår lite här, Google är inte ute efter att marknadsföra en produkt att sälja till någon. Detta är för deras egen användning i sina egna serverparker. Jag antar att de kalkylerna de har gjort är korrekta och det finns stora vinster att ta fram egen hårdvara, vilket inte är billigt.

Google vill garanterat hellre bara köpa in denna hårdvara men de har sett att kostnaden måste ner, därför optimerar man för ett specifikt användningsområde, allt kisel som används är till enkom för videokomprimering och inget annat. Till skillnad från dina exempelprodukter ovan där kislet förbrukas till andra funktioner som inte är nödvändiga för ändamålet.

Visa signatur

ASrock x470 Taichi Ultimate - AMD Ryzen R9 3900x - G.Skill Ripjaws@3.6GHz 16GB RAM - RTX 3080 Ti - Super Flower Leadex Gold 1000W - Phanteks Enthoo Pro - AOC AG35UCG 34" 3440x1440p@100Hz - kalaset vattenkylt

Permalänk
Rekordmedlem

Det är väl snarare hög tid att de skiter i att omkomprimera materialet till sämre kvalitet för de stödjer ju ändå inte uppladdning av okomprimerade format så allt måste redan vara komprimerat och ingen väljer väl ändå något annat än bästa tillgängliga kvalitet och det får man ju om man skippar omkomprimeringarna.

Visa signatur

R5 5600G, Asus ROG STRIX X470-F Gaming, WD SN850X 2TB, Seasonic Focus+ Gold 650W, Aerocool Graphite v3, Tittar på en Acer ET430Kbmiippx 43" 4K. Lyssnar på Behringer DCX2496, Truth B3031A, Truth B2092A. Har också oscilloskop, mätmikrofon och colorimeter.

Permalänk
Moderator
Testpilot
Skrivet av mrqaffe:

Det är väl snarare hög tid att de skiter i att omkomprimera materialet till sämre kvalitet för de stödjer ju ändå inte uppladdning av okomprimerade format så allt måste redan vara komprimerat och ingen väljer väl ändå något annat än bästa tillgängliga kvalitet och det får man ju om man skippar omkomprimeringarna.

Kräver en hel del bandbredd dock misstänker jag men du har ju en poäng.

Eller så hade Google varit riktigt smarta om de istället utvecklade ett webbinterface där du kunde editera och göra videos. Utmana Davinci och Adobe, video editing as a service. Där har vi en marknad.

Visa signatur

ASrock x470 Taichi Ultimate - AMD Ryzen R9 3900x - G.Skill Ripjaws@3.6GHz 16GB RAM - RTX 3080 Ti - Super Flower Leadex Gold 1000W - Phanteks Enthoo Pro - AOC AG35UCG 34" 3440x1440p@100Hz - kalaset vattenkylt

Permalänk
Rekordmedlem
Skrivet av Dinoman:

Kräver en hel del bandbredd dock misstänker jag men du har ju en poäng.

Eller så hade Google varit riktigt smarta om de istället utvecklade ett webbinterface där du kunde editera och göra videos. Utmana Davinci och Adobe, video editing as a service. Där har vi en marknad.

De skulle också kunna göra en mjukvara "YT uploader" som kodar allt rätt hos den som vill ladda upp nått.

Visa signatur

R5 5600G, Asus ROG STRIX X470-F Gaming, WD SN850X 2TB, Seasonic Focus+ Gold 650W, Aerocool Graphite v3, Tittar på en Acer ET430Kbmiippx 43" 4K. Lyssnar på Behringer DCX2496, Truth B3031A, Truth B2092A. Har också oscilloskop, mätmikrofon och colorimeter.

Permalänk
Medlem
Skrivet av CubaCola:

Vad kostar googles egna kort?

Nvidia 1650 och T4 har båda turing encodern.
Så det kunde lika gärna ha stått 4st 1650 mot googles egna kort.
Inte lika imponerande då kanske

4st 1650 är ju ca 8-9000kr mot 4st t4 som blir runt 80-100kkr

För det första får inte geforce kort användas för stora datacenter ändamål, för det andra så är geforce korten begränsade för antal instanser per kort, för det tredje så var det nog framförallt vp9 som var den stora anledningen till att dom tog fram en egen lösning då hw-encoders för det inte växer på träd direkt.

T4 är en väldigt relevant produkt att jämföra mot (hur rättvis sen själva jämförelsen är har jag inte kollat närmare på).

Permalänk
Medlem
Skrivet av sKRUVARN:

För det första får inte geforce kort användas för stora datacenter ändamål, för det andra så är geforce korten begränsade för antal instanser per kort, för det tredje så var det nog framförallt vp9 som var den stora anledningen till att dom tog fram en egen lösning då hw-encoders för det inte växer på träd direkt.

T4 är en väldigt relevant produkt att jämföra mot (hur rättvis sen själva jämförelsen är har jag inte kollat närmare på).

Okej, låt oss använda ett Nvidia Quadra RTX 4000 istället som också har samma Nvenc encoder, och den kostar nästan hälften av vad ett T4 kostar.

Visa signatur

I5 9600k@stock / Cooler Master Evo 212 / Gigabyte Z390 Gaming X / Corsair Vengeance LPX 16GB DDR4 3000MHz / MSI RTX2070 Gaming Z / EVGA 550 BQ / Asus VG27BQ 27" 165Hz

Ryzen 5 5600x@stock / Asus Rog Strix X570-E Gaming / Corsair Vengeance RGB Pro 16GB 3600MHz CL18 / MSI RTX3070 Suprim X / BeQuiet Pure Power 11 600W / Asus VG278Q 27" 144Hz

Permalänk
Medlem
Skrivet av CubaCola:

Okej, låt oss använda ett Nvidia Quadra RTX 4000 istället som också har samma Nvenc encoder, och den kostar nästan hälften av vad ett T4 kostar.

Visst är det så, men det förändrar inte det faktum att t4 är ett vanligare kort i dessa sammanhang då det är versionen av den kretsen för datacenter, t ex amazons videokodingsplatform kör tesla, inte quadro (även om det finns billigare quadro diton) och det gäller även en stor del av oem lösningar när det kommer till rackmonterade gpuer. Om det sen är nvidia som har något för sig eller om det bara beror på kortets utformning (75w passivt, och finns som lp) låter jag dock vara osagt. Jag har själv valt ett t4 för ett projekt och då var det just formfaktorn som avgjorde (och att oemen inte ens erbjöd något quadro-alternativ för 1u servrar).

Det är även det kort nvidia själva väljer att använda här för demonstrera nvenc https://developer.nvidia.com/blog/turing-h264-video-encoding-...