AMD skiftar fokus – storsatsar på programvaruutveckling

Det är ju inte alls ovanligt, långt ifrån, att ”små” företag köper större..

OnTopic:
Jag har alltid gillat ProRender, så jag hoppas att dom kommer ikapp där.

Som redan nämnts i tråden: detta har väldigt lite med drivrutiner för 3D-grafik. Den programvaran ligger i första hand på Microsoft, inte på AMD, Nvidia, Intel etc utöver att ordna med vettiga drivrutiner.

Detta handlar helt om "framtidens datorer" där det nu borde vara uppenbart att smacka på fler kärnor i en CPU helt klart har en nisch att fylla även framåt, men det är en allt smalare nisch.

Vägen framåt är allt mer heterogena system. Håller vi oss till konsumentprodukter är de laster som trots allt skalar väl med ökad parallellism i väldigt stor utsträckning just de som accelereras långt mer effektivt med dedikerad HW än med femtielva CPU-kärnor.

Från originalartikeln

"The major difference between AMD and NVIDIA is that AMD is a hardware company that makes software on the side to support its hardware; while NVIDIA is a software company that designs hardware on the side to accelerate its software. This is about to change, as AMD is making a pivot toward software. They believe that they now have the full stack of computing hardware—all the way from CPUs, to AI accelerators, to GPUs, to FPGAs, to data-processing and even server architecture. The only frontier left for AMD is software."

AMD själva inser att de ligger efter på denna punkt, det både till vilka områden de överhuvudtaget täcker in men också mognadsgraden är lägre i de områden man ändå har stöd för.

För att ta ett exempel många på SweC känner till, GPGPU-rendering i Blender.

AMDs snabbast konsument-GPU, 7900XTX, är i Blender ungefär lika snabb som 4060Ti.

Och är inte bara Nvidia som ligger före. 7900XTX är också ungefär lika snabb som iGPUn i M3 Max, en GPU som drar 35-40 W(!), när det kommer till detta.

Originalartikeln pratar mycket om kommande Strix Point. Det är en relativt stor krets som likt andra moderna systemkretsar från Intel, Qualcomm, Apple, m.fl. dedikerar långt över 50 % av transistorerna till andra saker än CPU (i kommande Strix Halo lär CPU-delen stå för mindre än 1/4-del av kiselytan).

För att ta Blender igen. GPU-delen i AMDs och Intels mobilkretsar har alltid lite i klenaste laget för spel. Men för GPGPU har de gått från "irrelevant prestanda" till att idag ge en väldigt trevligt tillskott. Även här har AMD lite putsande att göra. Radeon 780M och 8 EU Arc i Meteor Lake brukar dra hyfsat jämnt i spel, i Blender är den senare ~35 % snabbare.

I absoluta tal drar GPU-delen i Meteor Lake jämnt med CPU-modeller som 7900X/13700K. Nästa generation iGPUer från Intel och AMD förväntas vara 30-50 % snabbare (iGPU i Strix Halo förväntas vara ~100 % snabbare), det gör då att för 3D-rendering kommer ultratunna bärbara prestera bättre än de snabbaste desktop CPUerna.

Så 3D-rendering med CPU är framåt meningslöst, iGPUer har inte den begränsning dGPUer har med RAM. Något som är ännu värdefullare för att accelerera väldigt stora LLMs.

Uppenbarligen har AMD självinsikt även på punkten att man idag är rätt långt efter sina konkurrenter, de fattar också att man inte kommer kunna fixa det på en en fikarast

"The improvements to the software ecosystem will take some time, AMD is looking at a three to five year timeframe, and to support that, AMD has greatly increased their software engineer headcount as mentioned before."

Hur menar du att dom åstadkommer att inte vara begränsade av mängden tillgängligt RAM?

Konkret exempel, Metas senaste llama3 modell finns i (minst) två varianter. En tänkt för "konsument GPUer" och en tänkt för "datacenter".

➜  ~ ollama ls   
NAME         	ID          	SIZE  	MODIFIED     
llama3:8b    	365c0bd3c000	4.7 GB	10 days ago 	
llama3:70b   	bcfb190ca3a7	39 GB 	2 months ago	
starcoder2:3b	f67ae0f64584	1.7 GB	10 days ago

Det går att köra llama3:70b på CPU förutsatt att man har ~40 GB ledigt RAM, men det är väldigt långsamt. Det går inte att köra på t.ex. ett 4090 då den "bara" har 24 GB VRAM, men går utmärkt att köra på min M3 Max laptop (128 GB RAM) och i det läget hjälper det ju föga att 4090 är ~dubbelt så snabb då den inte alls kan köra detta.

NPU och iGPU har fördelen att kunna använda samma mängd RAM som CPU-delen, så alla datorer med 64 GB RAM eller mer kan ju köra denna typ av laster. Inte alls samma prestenda som en dGPU, men ändå normalt sett betydligt snabbare än att köra på CPU.

Det är precis den riktningen vi nu ser ut att vara på väg, allt mer heterogena datorer. Strix Halo lär knappast vara mer än en medioker speldator trots att det med råge kommer bli den största iGPU som AMD designat utanför konsolerna. Men den plattformen kommer kunna hantera vissa specifika laster långt snabbare/effektivare än desktop CPUer som saknar stark iGPU/NPU/xPU.

Och Intel ligger ännu bättre till pris/prestanda, menar du att dom är teknologiskt ledande på GPU-marknaden då eller?

Så man är begränsad till mängden tillgängligt RAM, det är bara att du jämför hårdvara med otillräckligt med RAM med hårdvara med tillräckligt med RAM, samtidigt som du helt bortser från priset.

Absolut. Men skillnaden är att dGPU som har 50-100 GB VRAM, eller mer, går att från ca en 250k SEK. Datorer med 64 GB RAM eller mer finns väl från kanske 25-30k.

Enda egentliga invändningen jag sett mot att använda GPGPU för 3D-rendering är just "VRAM räcker inte". Det är ett icke-problem för iGPU för om man inte har tillräckligt med RAM där fungerar det inte heller med CPU + långt billigare att ha "mycket" RAM då.

Så finns naturligtvis ändå en gräns, men slår man i den gränsen för iGPU så har man ett problem som i nuläget nog inte kan hanteras med någon dGPU heller.

Tekniskt sett kan man använda swap, men med för något som LLMs, 3D-rendering eller liknande lär det bli en flaskhals även med väldigt snabb SSD.

Så då förespråkar du att köra på CPU iaf? Jag tyckte du sa att det varvärselöst.

För du hittar väl knappast någon dator med 64GB RAM där dessa 64GB kan användas av en GPU?

Men hur kan du då veta något om hur många generationer efter AMD är? Det har inget med priser till kund att göra alls. Dom kan vara 5 generationer efter och konkurrera med Nvidias XX50 kort och fortfarande ha bra pris/prestanda.

Ta Raytracing, du säger att dom är en generation efter. Det betyder att RDNA4 skall köra Alan Wake 2 och liknande full pathtracing spelbart. Hur troligt är det? Jag skulle också bli glad om AMD rycker upp sig och faktiskt löser detta.

Hursom, jag har derailat den här tråden tillräckligt nu.

Nja, det betyder väl snarare att RDNA3 är i klass med Ampere/RTX 3000 vad gäller ray tracing-prestanda.
RDNA4 verkar ju inte bli en prestandageneration tyvärr, så jag tror knappast de kommer ikapp RTX 4000 där.

7900XT slår 3090, 7900XTX slår 3090 Ti, 7900GRE slår 3080.
AMD tycks dock hamna mer efter ju tyngre RT det är, som väl är ganska väntat.

Hoppas de har lov att hålla igång detta under en lång tid, det kommer säkert ta åratal innan effekt syns. Nvidia kommer inte heller stå still, så det måste ske helhjärtat för att funka.

Nej, säger att redan i dagens kretsar för bärbara datorer från AMD/Intel finns ju iGPUer som är tillräckligt kraftiga för hålla jämn nivå med 7900X/13700K, fast till en fraktion av effekten.

Då AMD här pratar om framtiden så är det då värt att notera att AMD sagt att Strix Point kommer få ~30 % mer GPU-kraft, Intel pratar om ~50 % högre i Lunar Lake mot de modeller de ersätter.

Ännu lite längre fram kommer Strix Halo. AMD har inte sagt något exakt om dess GPU-prestanda, men vi vet att den får 40 RDNA 3.5 kärnor (upp från max 16 i Strix Point). Ovanpå det får Strix Halo 4 kanaler DDR5, mot normal 2 kanaler.

Så bara innan 2024 kommer det finns AMD/Intel kretsar som har mer AI/GPGPU-kraft i deras iGPUer (och för AI har de även en NPU ovanpå det) än vad snabbaste Zen 5 / Arrow Lake desktop CPUerna kommer ha. Strix Halo (oklart om den kommer 2024, verkar mer peka på 2025 release) bör hamna på mer än dubbla prestanda mot snabbaste desktop CPUer i "AI", 3D-rendering, etc (iGPUn i M3 Max är 4-5 gånger snabbare än dagens snabbaste desktop CPUer för rendering och AI).

Har strikt taget bara aktuell koll hur Intels iGPU uppför sig på Linux samt hur Apples M-serie uppför sig på MacOS. I båda fallen kan en iGPU använda nästan allt tillgängligt RAM (spel tror att min M3 Max laptop har ~94 GB VRAM...).

Sökte lite snabbt och eventuellt kanske det är så att Windows i nuläget begränsar iGPUer till att maximalt använda halva mängden fysiskt RAM. Det blir ändå snabbt mer än vad någon konsument dGPU har + det är en begränsning som bara ligger i programvara och därmed kan lyftas.

Fungerande drivrutiner vore en bra start, så man slipper blackscreen/drivrutiner som verkar hänga sig helt och aldrig kommer tillbaka utan man får glatt använda strömbrytaren på nätagget.

Bytte nyligen från AMD till NVIDIA igen, bästa beslutet på länge.

Okej men då finns det nog inte någon här på sweclockers som vet något om det över huvud taget i sånt fall.

Alan wake 2? Du menar spelet som Nvidia kan driva i 60+ fps med två kort i 1080p? Varpå ena kortet är 1000kr dyrare än AMD's 7900 xtx och det andra kostar mer eller mindre dubbelt så mycket.

Och går man upp till 1440p så orkar inte ens ett 4090 köra spelet i konstant 60+ fps utan kommer dippa ner mot 50 fps. Så Allan Wake 2 är ett OTROLIGT dåligt exempel men sure vi kan jämföra ändå, enligt techpowerups test så får ett 7900 xtx runt 43 fps med dippar ner mot 28, vilket konstigt nog är väldigt nära ett 3090 som får runt 47 fps med dippar runt 31 fps, dvs väldigt likvärdigt med ett kort som är en generation bakom.

Kollar vi däremot snitt över 10 olika spel så varrierar 7900 xtx kraftigt beroende på upplösning, i 1080p mellan 4070 och 4070 ti medans i 4k ligger det mellan 4070 ti och 4080, och kollar vi på specifika spel så presterar 7900 xtx MED RT likvärdigt eller bättre än 4080 beroende på upplösning, vilket tyder på att det eventuellt kan vara så enkelt att det är något i mjukvara som håller AMD tillbaka och inte hur pass bra deras fysiska design är.

Handlar om design val AMD har gjort deras RT prestanda är dålig för att AMD inte har lika mycket dedikerad RT hårdvara som Nvidia i gengäld kan de lägga ytan på andra funktioner.

AMD gör okej ifrån sig när ett spel använder lite RT effekter men prestanda sjunker som en sten ifall ett spel använder mycket RT effekter ett bra exempel är Avatar Frontiers of Pandora ett AMD sponsrad spel som tvingar en att använda RT GI, Shadows och Reflections 7800XT går från att piska RTX 4060 Ti till ungefär samma prestanda vid 1080p dock presterar 7800XT ca 10% bättre vid 1440p.

AMD köper Silo AI, ett finskt företag. De är Europas största privata AI-bolag.
https://www.techpowerup.com/324319/amd-to-acquire-silo-ai-to-...
https://www.silo.ai/blog/amd-to-acquire-silo-ai-to-expand-ent...

Silo säger på sin sida om sig själva; 200+ Successful AI implementations, 300+ AI experts employed, 125+ AI scientists with PhDs. Med andra ord en del av expansionen på mjukvarusidan för AMD.