Nvidia avtäcker liten superdator för 38 000 kronor

Vilket OS? Linux?

Nostalgi för övrigt. Fick mina hjärnceller att gräva fram SPARC (Scalable Processor ARChitecture).

https://en.m.wikipedia.org/wiki/SPARC

Bara jag som blev förvånad över att den inte kostar mer? Klart inte en billig grej, men man få tänka att en maxad imac pro landar på runt 5500 dollar.

Detta var då tyvärr en besvikelse. Satt och såg keynoten igår.

Sett fram emot en Mac Studio-konkurrent minnesbandbreddsmässigt.
Men detta är ju bara halva minnesbandbredden av en M4 Max-cpu och ~1/4 av en Ultra.
Även om den säkerligen har bra mycket snabbare GPU så kommer minnesbandbredden sätta begränsningarna i tokens per sekund.
Så mitt hopp om datorinköp blev plötsligt mycket komplicerat. Siktat på en M4 Ultra som inte släpptes, eller nu denna som har lägre prestanda än förhoppningarna. Så får väl köpa mig en M4 Max som ersättare till M1 Max och acceptera att det blir inga stora modeller att köra lokalt...

Men om man vill arbeta i Nvidias ekosystem runt DGX och vllm etc. är detta säkerligen en intressant pryl för prosumers eller kontorsarbete. Men är nog bättre att skaffa ett RTX Pro 6000 som insteg i jobbsammanhang iaf.

@Joppis Sannolikt nvidia dgx os, alltså ubuntu med nvidia-repon för deras grejer.

Men det är kul med nya *nix-workstations. Även om detta är en lite mindre pryl.
Mer kommer från Nvidia framgent med DGX Station: https://wccftech.com/nvidia-enters-ai-pc-realm-dgx-spark-dgx-... men prislappen på den lär vara precis som 90talets SGI osv.

Edit:
Också väldigt roligt att det rullas ut seriösa ARM-maskiner nu också. x86 har äntligen fått bra konkurrens igen. "Nvidia 72-core Grace CPU Performance close to AMD 96-core Threadripper 7995WX" - https://www.guru3d.com/story/nvidia-72core-grace-cpu-performa...

Det är ju faktiskt billigare än min nuvarande dator.

Kan det vara ett MSRP pris?? igen..

Men så dyr är den väl andå inte? *sneglar mot Apple*

DXG OS is just Ubuntu with optimized Linux kernel, which supports GPU Direct Storage (GDS) and access to all NVIDIA GPU driver branches and CUDA toolkit versions.

Nej, det låter som rätt så rimlig prissätning, givet att det är ett pris som faktiskt kommer gälla i verkligheten.

Kostar som ett endaste 5090 då. Känns mycket mer värt.

Det var som... nVidia har inte legat på latsidan!
Först seriös AI-assisterad rendering för gaming, och nu en gedign ARM-prolle.

Starkt jobbat nVidia.

Själva grejen här är väl just att detta är en till variant på "dator med duglig GPU som har tillgång till mycket minne", eller om man så vill, något som fungerar som arbetsstation som kan jonglera större AI-modeller.
(Ja, jag har sett att det är lite si och så med minnesbandbredden, men känns som att det tydligt är detta segment den siktar på att vara något slags instegsmodell för oavsett)

Om du ska bygga en "bättre dator" så måste den väl då också ha en någorlunda kapabel GPU som har tillgång till närmare 128GB minne för att inte vara sämre i det sammanhanget, och detta då i något slags liknande prisklass.
Det är ju inte så att det inte finns några alternativ alls (och alternativen kanske är bättre!), men "valfria komponenter" känns som att det börjar tänja väldigt på det hela; blir inte så mycket valfria komponenter att välja bland vad jag sett, utan känns som att det i dagsläget snarare blir några stycken mer eller mindre nedlåsta alternativ.

Om man inte ska köpa ett grafikkort som i sig spränger budgeten för hela systemet så är det precis som här någon variant med integrerad grafik, och då t.ex. Mac Studio, system baserade på AMD Ryzen AI Max, som figurerar i sådana diskussioner. Och där är det inte så mycket "valfritt", eller ja, det börjar bli "fritt från val" snarare, om något.

Nu finns inte officiella specifikationer för FP32 hos DGX Spark, men om vi antar (då det är högst sannolikt) att det är samma FP4 vs FP32 ratio hos DGX Spark som andra konsument-blackwell verkar man hamna rätt mycket exakt på ett 5070.

För ett 5070 med 128 GB VRAM är det knappast dyrt, för de som har nytta av så mycket RAM.

AMD har rätt nyligen släppt deras "Strix Halo" som får anses vara en väldigt nära konkurrent till denna då båda har samma bandbredd mot RAM, samma maximala RAM-kapacitet och FP32-kapaciteten är rätt nära (om antagandet ovan stämmer har DGX Spark ett visst övertag, men handlar mer om 10-30 % mot Radeon 8060S, inga heltalsfaktorer).

Mot Apple är det lite svårare att göra en direkt jämförelse. Prismässigt, GPU-kapacitetmässigt och VRAM-bandbreddsmässigt är M4 Pro väldigt lika, fast den har en maximal RAM-kapacitet på 64 GB.

M4 Max är dyrare, men har också en snabbare GPU och dubbla bandbredden mot RAM.

CPU-mässigt lär inte Nvidia nå Apple, men de kommer med 100 % säkerhet klå "Strix Halo" givet att telefoner med Cortex X925 där man bara klockar dessa till 3,5-3,7 GHz, är snabbare än toppmodellen av "Strix Halo" i single-thread (typ 10-15 % snabbare).

Arm har pratat om att de kommer passera 4,0 GHz under 2025, om man antar att DGX Spark klockar 4,0 GHz borde den bli 20-25 % snabbare per kärna jämfört med Strix Halo (M4 är 30-35 % snabbare än Strix Halo per kärna).

Det som är den absoluta killer-app:en för DGX Spark är Nvidias CUDA-ramverk. Det ÄR guldstandarden för GPGPU och lär tyvärr också förbli det under överskådlig tid. Är man OK med MacOS (Linux är dock standardvalet för detta område) skulle jag hävda att Apple är i nuläget klar tvåa sett till programvara för GPGPU, men går inte att komma ifrån att man är efter CUDA.

Så finns faktiskt en del konkurrens här. Tre spelare är ju 50 % fler än antalet CPU-spelare på CPU-marknaden för stationära PC... Ryktet säger att Qualcomm har någon form av stationär på gång och finns också rykten att Intel ska göra något likt "Strix Halo" ic slutet av detta år eller 2026.

Tror detta är framtiden för high-end PC, dock kanske inte helt optimalt specifikt för gaming-PCs...

I någon ideal-värld kan det kännas vettigt att tvinga Nvidia att öppna CUDA. Men har faktiskt rätt svårt att se att det egentligen finns något hårt juridisk hinder för andra att göra egna ramverk som använder CUDA-APUet.

Faktum är att AMDs HIP i rätt mycket är samma API som CUDA.

Problemen att göra det AMD gör med HIP är flera. Och går att exemplifiera det rätt väl med AMDs Mantle som blev Vulkan.

Mantle var helt designat för CGN, det var inte alls optimalt att använda på någon annan GPU-mikroarkitektur. Majoriteten av jobbet Khronos gjorde när AMD donerade Mantle till dess att Vulkan 1.0 släpptes var att "fixa" de delar som inte var vettiga utanför GCN. I detta specifika fall handlade det mest om förändringar riktade mot mobil-GPUer, men fanns även sådant som inte var optimalt för Nvidia och Intel GPUer också.

Tror vi ser en del av detta med HIP också. För att med OpenCL och GCN tenderade AMDs GPUer överprestera ställd mot Nvidia GPUer med på pappret liknande kapacitet. Ställer man CUDA mot HIP är det rätt kraftig fördel Nvidia när på pappret likvärdiga GPuer jämförs. Ett målande exempel är GPGPU-rendering i Blender där 7900XTX presterar något sämre än Apple M4 Max (där Apple använder Metal Compute som är specialdesignad för deras GPUer, i spel presterar denna GPU i nivå med 4070) och är långt efter RTX4080, en GPU som 7900XTX presterar rätt jämt med i spel.

Ett stort värde med CUDA är att det idag finns enormt mycket avancerade bibliotek skrivna ovanpå ramverket. Bibliotek som alla är optimerade för att det är Nvidias GPUer man kör med när man använder CUDA. Mikroarkitekturen i GPUer skiljer sig mer än för CPUer, så tyvärr är det förväntade utfallet att andra GPU-mikroarkitekturer skulle underprestera om de använde CUDA.

Det vi får hoppas på här är att det kommer någon standard som blir tillräckligt populär så Nvidia inte längre kan ignorera den. OpenCL var inte bra designad, någon Khronos är medvetna om och de skapade för länge sedan SyCL (som är riktigt bra).

Problemet med SyCL är att Nvidia knappast lär stödja det innan de måste (men finns stöd för Nvidia GPUer, skrivet av Intel). Det större problemet är att AMD, den näst största dGPU tillverkaren, också helt ignorerar SyCL (finns stöd gjord av Heidelberg University's Computing Center).

Intel använder SyCL i deras OneAPI, Arm och Qualcomm har också stöd för SyCL för deras respektive GPUer men alla dessa är i nuläget allt för små spelar på GPGPU-marknaden för att själva driva på SyCLs popularitet. Apple skapade ju OpenCL, så det hade man ett intresse i, men de har helt övergett det och kör nu all in på deras variant av CUDA, Metal Compute.