Nvidia lanserar kompakta AI-superdatorn DGX Spark

Så kan det vara.
Nvidia köpte upp Mellanox som skapade den äldre Infiniband standarden. ConnectX är ett varumärke som följt med där.

Nu är detta en väldigt nischad produkt, precis som nämnts i tråden lär huvudpoängen vara en CUDA (programvaran) kapabel lab-maskin där man kan experimentera till än lägre kostnad än de rätt svindyra Nvidia GPU datacenter-instanserna som finns.

Denna är för att tweak:a, för att sedan köra på big-iron GPUer.

Det sagt, ändå kul att se hur denna plattform står sig jämfört med t.ex. Ryzen 395 på CPU-sidan. Ser ut att vara väldigt jämt

https://browser.geekbench.com/v6/cpu/compare/14437985?baselin...

Nvidias GPU är bättre på t.ex. kompilering, medan Ryzen drar ifrån i fall som är AVX/AVX-512 optimerade (DGX Spark kör Arm X925/A725 som båda saknar SME2, det finns i årets Arm CPUer som lanserades förra månaden).

DGX Spark känns lite "meh" CPU-mässigt nu när både Qualcomm och Arm avtäckt nya modeller, som båda når nästan 4000 poäng i ST när de sitter i mobiler. Förseningen för DGX Spark så Arm han få ut en ny generation kapade en hel del av wow-faktorn...

Det jag ändå ser som viktigt att ha med sig med DGX Spark är att det är en produkt som specifikt är designad för att köra Linux!!! Den Linux den kommer med har jag förstått rätt mycket är Ubuntu Server, fast med alla drivers för plattformen förinstallerat + ett gäng CUDA-verktyg förinstallerat.

Statistiskt "ingen" kör dessa arbetslaster på Windows, så avsaknad av Windows-stöd är långt mindre viktigt än att veta att man får första klassens Linux-stöd. Sen kommer ju rätt mycket samma SoC för Windows längre fram, Nvidia/Mediatek ska ju göra en laptop-plattform (där kanske man kapat en del av 10+10 kärnorna, vi får se).

Endera har den personen gjort något misstag, alt. så är det något som gör prestandan sämre i pre-produktions versionen (han säger att det är sådan han har). I L1Techs review testas samma fall med rätt mycket bättre prestanda

Sen är det tyvärr så att den viktigare delen av detta, kapaciteten att generera tokens till svaret, är primärt begränsat av bandbredd så pass att det rätt mycket går att räkna ut vilken prestanda man kommer få när drivers/programvaran nått OK nivå.

Där är L1-Techs "bara" 2,4 gånger snabbare än reddit-resultatet. Att läsa in prompten, prefill, är L1-Techs resultat nästan 17x högre (dock svårt att se detta vara något stor flaskhals i praktiken, typiskt är svaret betydligt längre än frågan).

För de som inte använder DGX Spark specifikt för att testa CUDA-saker blir då denna lite "meh". För liknande prislapp kan man få MacStudio med M4 Max som har mer än dubbla RAM-bandbredden, eller för betydligt lägre prislapp man kan få Strix Halo (och MacMini med M4 Pro, då max 64 GB) där RAM-bandbredd är likartad.

Värt att veta kring AMD här är att de primärt pushar HIP. I nuläget saknar Ryzen 395 AI MAX stöd för HIP, ollama går ändå att köra då det också finns en Vulkan-baserad back-end.

Tycker mognadsgrad på programvaran fortfarande är: Nvidia är #1, Apple klar #2. AMD har bättre stöd än Intel förutsatt att man har en AMD GPU som stöds. Intel stödjer typ alla deras GPUer lanserade senaste generationerna, men fick greja rätt mycket för att komma igång med deras programvara ihop med Xe² på en NUC med U5 225H.

Är helt trivialt att komma igång med Nvidia/CUDA på Linux, likaså att komma igång med M-serie kretsarna på MacOS.

Den borde har hetat DGX Spork istället. Kan det mesta men är inte bra på något.

Menar du på Linux då, för trodde support fanns på Windows sedan ett tag, snabb googling verkar antyda det med, har inte koll på hur det ser ut i Linux men ser att i preview iallafall av 7.0.2 finns Ryzen AI listade .

Okej, och med den här datorn slipper ni dom kostnaderna...eller? Varför tyckte du det var en relevant jämförelse?

Fick läsa på om FP4-varianterna för att ens förstå hur det alls kan fungera med 4 bitar, 1 för ±, 2 för exponent, 1 för mantissa

Det som gör FP4/FP8 bättre än INT4/INT8 i många ML-fall är att man får större numeriskt intervall med FP på samma utrymme.

Sen är det ändå rejäla begränsningar med FP4/INT4, något som i praktiken löses med att man har en FP8/FP16 skalning per block (block är typiskt 8, 16, 32 stycken FP4 värden) så faktiskt värdet blir

  skalfaktor * FP4n

Stora USP för DGX Spark här är att den har HW-stöd för FP4 och användandet av detta är kritiskt för att delvis komma runt den rätt begränsade bandbredden mot RAM. Strix Halo verkar stöda FP8, men inte FP4. Apples M3/M4 går bara ned till FP16 (vi lär se i alla fall FP8 i M5, som ser ut att släppas nu i oktober) och tappar därmed en del av sin fördel med högre RAM-bandbredd när man använder FP4/FP8-modeller.

Det positiva är att man överhuvudtaget kan köra ROCm/HIP på APUer, det gick inte alls tidigare men ändrades hyfsat nyligen (slutet av förra året eller början av detta år).

Tyvärr stöds inte ROCm officiellt, status för 80x0S (GPU i Strix Halo) är "preview" där man säger att vissa funktioner saknas eller fungerar inte som de ska. Dessa konsument GPUer stöd officiellt i senaste ROCm-versionen

Det går ändå åt rätt håll. Exempel på saker som faktiskt går att köra nu är Ollama och Blender. Problemet är att även när det fungerar är inte prestanda där den borde. Phoronix har testat Ollama på Strix Halo, fungerar med HIP/ROCm men Vulkan-back:end presterar bättre. L1-techs jämför DGX Spark och Strix Halo i slutet i videon länkad i tråden, han lyfter det som en klar fördel för DGX Spark att man där kan köra samma CUDA-ramverk som i datacenter, medan Strix Halo använder Vulkan medan datacenter kör HIP.

I Blender underpresterar det rejält, 890M borde ligga jämt med 140V (iGPU i Lunar Lake/Arrow Lake) och 8060S borde ligga jämt med M4 Pro.

Vi lär få in resultat i Blender-databasen för DGX Spark rätt snart. Är ju inte detta den är designad för, men laster likt Blender är inte alls lika bandbreddskrävande som stora LLMs. DGX Spark har rätt mycket en lägre klockad 5070 med rejält lägre bandbredd mot RAM, kanske realistiskt att förvänta sig laptop 5070 prestanda i denna typ av last?

För att det är en väldigt liten utgift i sammanhanget.