Linus Torvalds: "Jag hoppas att Intel AVX-512 dör en smärtsam död"

Det finns ingen anledning att använda en CPU för maskininlärning när det finns GPU:er.

Ganska intressant att läsa wikipedia i jämförelse med den bild som målades upp i tråden av vissa:

” Till skillnad från många andra open source-förespråkare håller Torvalds en låg profil och vill inte i allmänhet kommentera konkurrerande programvaror. Torvalds håller sig ofta utanför debatter om andra programvaror än Linux-kärnan och har av vissa blivit kritiserad för sin neutralitet. Särskilt har han kritiserats för att ha arbetat med kommersiella programvaror för Transmeta samt för att ha förespråkat den proprietära programvaran BitKeeper för versionskontroll av Linuxkärnan. Torvalds har dock programmerat en fri ersättare till BitKeeper som kallas för git.”

Finns ett par problem med det påståendet

Man kan dela in maskininlärning i två huvudområden.

• Träning av ett nätverk, här är GPUer totalt överlägsen CPUer i prestanda

• Användande av tränat nätverk, här finns en rad problem med att använda i alla fall dGPU och det utförs primärt via CPU

SIMD kan accelerera båda dessa delar och då det är en uppgift som fungerar lysande på GPU är det föga oväntat också en uppgift som skalar nära nog perfekt med ökad SIMD-bredd. Ovanpå det ger AVX-512 VNNI (Vector Neural Network Instructions) upp till en faktor 4 extra boost över normal AVX-512 (så 8 gånger snabbare än AVX2) om intermediärdata är 8 bitars heltal (inte alls ovanligt i dessa fall).

I praktiken betyder "använda GPU för maskininlärning" för tillfället "använda Nvidia GPU för maskinlärning". Finns system som använder GPUer från andra tillverkare än Nvidia och då blir faktiskt SIMD nästa anhalt även för första delen. Förhoppningsvis kommer just denna punkt rätta till sig med tiden, men det kräver att resten av industrin hittar något som är lika användbart som Nvidias CUDA (just nu är det bara Intel som har motsvarande och de har föga oväntat just använt SSE/AVX/AVX-512).

Att CPUer är mest lämpad för användande av tränade nätverk har primärt att göra med att den delen är latenskritisk och en dGPU ligger "för långt bort" från CPUn. Rimligen borde det ändå vara vettigare att i allt större utsträckning använda iGPU för sådant i stället för att lägga massor av kisel på allt bredare SIMD-enheter i CPUn. Problemet med att använda iGPU är i grunden samma som för dGPU: det kommer bara hända när det finns något som är minst lika enkelt som CUDA att använda + detta fall också måste ha en lösning för fallen där iGPU saknas. Intels oneAPI kan vara en sådan lösning, vilket i så fall är lite ironiskt då Intel också är de som har mest på att vinna att AVX-512 (eller framtida AVX-nnnn) fortsätter ha en relevans.

Om jag använder CUDA måste användaren av mitt program alltid ha en Nvidia GPU alt. så måste jag skriva minst två versioner av programmet, en för CUDA och en för CPU (vilket är precis vad som händer idag). OneAPI löser i teorin detta (vi får se hur bra det ungerar i praktiken), där räcker det att skriva en version och finns en kompatibel GPU används den, finns AVX-512 används det, annars används vad som nu finns på CPU. Översättningen till din specifika HW sker vid runtime.

Personligen är jag helt för att man lägger resurserna på att utveckla GPGPU i stället för att trycka in allt mer i SIMD-enheter. Det ser också ut som det börjar lossna på denna punkt, men det satt långt inne. Folk klagar på bl.a. Adobe för att inte utnyttja CPU-kärnor tillräckligt bra, i program som Premier skulle man säkert kunna pressa ur 30-100 % till på CPU-modeller med >=16. Grejen är att när man i de senaste versionerna börjat allt mer använda GPGPU har man fått heltalsfaktorer i prestandaförbättring! Det visare lite hur mycket potential som finns i GPGPU.

3D rendering är minst lika talande, framförallt då det visar just hur totalt irrelevant CPU-flyttalsprestanda kan vara trots att det används i varenda CPU-test. Flyttas detta arbete till moderna GPUer kan man se 5-10 gånger bättre prestanda ändå läggs det fortfarande resurser på att optimera denna typ av last på CPU i form av SIMD optimeringar. Att använda SIMD i dessa program är något som kommit relativt nyligen, innan har man bara plöjt "flera CPU-kärnor" fåran. Här ser man dock att Linus åter har en poäng med att 128-bitar kanske är "sweetspot", FMA+128-bitars SIMD ger en riktigt fin boost (ett par heltalsfaktorer men är ovanpå det moderna GPGPUer ger 5-10 till) medan skalningen sedan faller av kraftigt med 256 och 512 bitar. Orsaken här är att en 4D vektor (3D i homogena koordinater) med 32-bitar behöver 4-lanes -> 128 bitar blir perfekt match -> svårt att effektivt utnyttja större bredd.

"Han menar vidare att den enklare uppsättningen AVX2 duger gott och väl.."

Så lite som när Bill Gates sa att 640kb räcker mer än väl..

OT: Fast det finns inget bevis på att Gates någonsin sagt det, och han nekar kraftigt och säger själv att han pushade för att höja gränsen.

Han har ju helt rätt, bara bra att det finns någon som kör raka rör.

När man såg en artikel om heltal vs. flyttal så var det bara att vänta en dag och sedan scrolla ner till Yoshmans förklaringar för att lära sig mer. Någon annan som gör så vid sådana här ämnen?

@Yoshman Som vanligt lärorikt. Men flyttal var väl ändå ganska relevant på 90-talet ändå? För hade inte AMD, men framförallt Cyrix övertag över Intel på heltal? Men den dåliga spelprestandan var en akilleshäl innan K7 kom med en biffigare FPU och spelkronan gick till AMD? Flyttalsprestandan var väl viktig för spel fortfarande en bra bit efter GPU:er kom. När blev flyttalsprestandan oviktig för spel?

Har ingen pejl på varat eller icke-varat av AVX 512, men Linus är i princip min idol, älskar att han framför sina åsikter helt osockrade.

Roligt, men problemet med dessa skämt är väl att det finns folk som faktiskt tror att något liknande kan ha hänt...

Linus är väl ingen dollarmiljardär men ändå tillräckligt rik för att kunna köpa precis den dator han vill ha (som får plats i ett normalt hem). Google säger att han är värd 150 miljoner dollar. Det är lite mer än en fattig tiggare i varje fall.

Vad, att Intel inte ville ge honom en ny dator? Och här trodde jag det var ett skämt.

Han köper sina privata maskiner själv och har vad jag vet alltid gjort det, åtminstone sedan hans PC-klon med en Intel 386. Vill också påminna att hans näst senaste maskin var en i9-9900K köpt för egna pengar. Kom inte med så befängda påståenden utan att presentera något som ger stöd för din teori, att Torvalds skulle vara köpt är ju minst sagt en grov anklagelse i sammanhanget.

När har han sagt att Intels grejer är skit?

Du får gärna peka på något som styrker ditt resonemang, men det är knappast en plötslig förändring. Vill minnas att han till exempel hade ett och annat att säga specifikt om Intel när Spectre och Meltdown kom för drygt ett par år sedan, innan dess har han irriterat sig på andra aspekter av deras processorer.

Trots det har han fortsatt köra Intel för egna pengar. Bytet till AMD var för att han ville ha mer prestanda än vad Intel hade i sitt sortiment. Här är vad han hade att säga om saken i en intervju med ZDNet:

Hela artikeln här: https://www.zdnet.com/article/look-whats-inside-linus-torvald...

Ingen backar Linus personligen!

Intel, AMD, Google etc skickar pengar till Linux Foundation (non-profit). Sen får han (helt oberoende av vem som donerar) lön/arvode därifrån.

Det låter VÄLDIGT konstigt att han skulle ta mutor eller annat under bordet. Då skulle han inte skada alla dessa donatorers intressen med dessa utbrott. Han säger det han tycker och köper den bästa datorn han kan för sina pengar.

Intel har ingenting som ens är nära att jämföras med en 3970X för samma pengar. Därför köpte han AMD. Intel gör helt enkelt inte längre världens snabbaste processorer i annat än vissa singeltrådade scenarios, och till och med Threadripper är ganska nära intels snabbaste där trots 4-8x antal kärnor.

Känns som ett ganska självklart val för honom och en mer rimlig förklaring till plattformsbytet. Knappast att AMD gav honom pengar för att byta, skärp er!

Flyttal var relevant för 3D-spel fram till HW-T&L började användas. Rätt intressant att se tidiga tester av Athlon där dessa, när man använde Voodoo-kort och Nvidia TNT-kort, var rätt ordentligt mycket snabbare än PIII vid ISO-frekvens.

När sedan GeForce-serien rullade var det rätt skralt med spel som hade stöd för de nya finesserna, undantaget vad de spel som använda OpenGL då i alla fall "HW-transform" delen kunde utnyttjas direkt. I det läget blev det andra delar som primärt flaskhalsade CPU-delen, då var man tillbaka till heltalsdelen och tydligen var i alla fall "coppermine" (PIII med integrerad L2$) något snabbare än Athlon på det då PIII nu hade en liten fördel i OpenGL spel ISO-frekvens.

Generellt på 90-talet så var flyttal om möjligt ännu mer irrelevant för normalanvändaren än nu, det specifika undantaget var just 3D-spel innan HW-T&L slog igenom.

Som Torvalds nämner i något inlägg: självklart behövs en FPU idag, det är enklare att lösa den andel flyttal som faktiskt används via HW då det är rätt komplicerat att lösa via programvara, men FP-prestandan är för väldigt nära 100 % irrelevant. AMD hade dålig timing med K6, det var en bättre CPU än Pentium men just då slog 3D-spelen igenom så K6:ans låga FPU-prestanda (lågt även ställt mot Pentium som i sin tur var bedrövlig mot samtida RISC:ar) låg den i fatet för de som spelade.

K6:an var överspelad när GeForce släpptes, men finns lite tester med Quake 2/3 och just K6 fick en rejäl boost av HW-stöd för transform!

Jag ska vara tyst.