John Carmack om DGX Spark: halv prestanda och överhettar

Ärligt talat hade jag förväntat mig mer av Nvidia. Visst att de kan köra med tvivelaktig marknadsföring i spelsegmentet av produkter, men att de kör fulspel när det kommer till arbetsrelaterad utrustning, det känns som att leka med elden. Rykte är minst lika viktigt som produkten på denna nivå.

Nvidia... Falsk marknadsföring och utvalda prestandasiffror?? Nej,,, Inte då.. Nu har jag väl ändå hört allt..

Efter att ha "pysslat" med Nvidia Jetson är jag inte direkt förvånad. Konstanta problem med boot och överhettning även där. Kunde packa upp en ny enhet från fabrik och inom 30 restarts kunde den fastna i boot-loop eller visa det vaga och frustrerande internal error-neddelandet.
Jetson slängdes ut efter drygt ett år av försök, tester och katastrofal support av Nvidia. Byttes mot SOC-modul från tysk tillverkare och egensnickrat moderkort.
Och med pysslat menar jag projekt strax norr om 40milj och många enheter i potentiellt inköp, trots det var det omöjligt att få Nvidia att försöka hjälpa till att lösa problemen. Detta var pre-covid så kanske de fixat problemen med Jetson-platformen...har inte vågat ge mig i den sörjan igen.

Va? Ett vinstdrifande företag med monopolställning gör fulspel? Hade alsrig trot det.

Carmack ger DGX en spark🦶 😏
Synd att den ska överhetta, det verkade så intressant med sin FP4 beräkningsstöd, kanske går att lösa med bättre kylning?

Annat alternativ som Wendell delade med sig igår var att istället ha 2 st eller 4 st Radeon Pro 9700 32GB körandes under Linux med vLLM, verkar fungera ganska bra i hans test med 2 st.
Prismässigt så hamnar 4 st i typ samma klass som ett DGX, men redan vid 2st Pro 9700 så presterar de som ett 5090, dock med dubbla minne.

Annars verkar Strix Halo fortfarande vara den smidigare och billigare lösning, och till synes mindre problematisk. Bra med alternativ dock!

Det som är väldigt märkligt här är avsändaren, hur kan någon som Carmack misslyckas att läsa innantill?

Enligt produktbladet har PSU, inte kretsen, en maximal kapacitet på 240 W. Rätt uppenbart att GPU-delen då inte kan dra i närheten av några 240 W.

TDP för hela SoC är 140 W, så verkar rätt rimligt att GPUn då kan dra ~100 W, det lämnar inte jättemycket till övers för 10+10 CPU-kärnor, RAM, NICs, etc.

Är helt med på att det är förvirrande när GPU-företagen hävdar en viss nivå för "AI-prestanda", för det handlar nästan alltid om prestandan "with sparse matrices" och är specifikt för detta som DGX Spark kan nå 1 PFLOP FP4.

Rimligen fungerar denna krets precis som övriga Blackwell-kretsar, i så fall är teoretiskt max hälften för "dense matrices". Fråga här är hur mycket av de LLMs som många kommer köra faktiskt ser någon relevans från "sparse" kapaciteten (är en genuin fråga, fått känslan av att dessa INTE typiskt ger sparse-matriser, men finns fall där det är relevant)?

Nvidias track-record är lite märkligt givet hur extremt väl de exekverar på sina GPUer samtidigt som de så ofta snubblat rejält kring exekvering av deras systemkretsar. Helt klart har de haft problem med DGX Spark, något som gjort att den inte alls känns lika spännande vid lansering (denna marknad rör sig extremt snabbt just nu).

Sen skulle jag definitivt INTE kalla Ryzen AI 395+ Max för ett "mognare alternativ". Det är precis som det mesta version 1.0 från AMD en produkt där kunderna i praktiken är beta-testare. Precis som vanligt är det riktigt bra HW, som kraftigt begränsas av programvara.

Men det går absolut åt rätt håll! I förra veckan lanserades första versionen av PyTorch som har någorlunda officiellt stöd för AMD och Intel GPUer. Tidigare har det i praktiken varit så att man fått CPU-stöd + CUDA-stöd på Linux och Windows, samt CPU + Metal-stöd på MacOS. Resten har varit diverse hack för att köra något annat.

ROCm har under året gått från att överhuvudtaget inte stödja APUer till att nu verkar fungera helt OK. Dock är stödet fortfarande i "preview" enligt AMD själva, det finns saker som inte fungerar än. Llama fungerar riktigt bra p.g.a. att det utöver AMDs HIP (som är deras direkta svar på CUDA) också kan använda Vulkan. Men det mesta, som PyTorch, Tensorflow och liknande behöver HIP.

Den viktigaste fördelen DGX Spark har är just att den kan luta sig på mjukvarustacken som är de-facto standard i branschen. Närmast realistiska konkurrent, för professionellt arbete där man måste sätta ett pris på tid, är i nuläget Apple.

Linux är default-valet här, att Apple ens kan vara ett realistiskt val är att väldigt mycket idag finns både till Linux och MacOS då barriären att porta mellan dessa två är klart mindre än att gå mellan Linux och Windows.

Men det är en barriär och för vissa saker är det inte ett alternativ att köra något annat än Linux. Positiva är att vi ser ut att få ett bredare stöd inom detta område. Tror både Medusa Halo (efterföljaren till Strix Halo) och Intels motsvarande med Celestial+Nova Lake kan bli riktigt fina utmanare till Nvidia. Men än så länge är allt icke-CUDA tyvärr lite för mycket "hobbynivå".