Nvidia lanserar kompakta AI-superdatorn DGX Spark

*Oberoende tester på olika modellstorlekar inom LLM:er med tydliga tps-värden körandes på den "AI-datorn" efterfrågas!*

Förhoppningsvis dyker det upp förr eller senare på YT från personer som har/hade råd med det. Då kommer den individuella sanningen fram om det är värt ca 50 lax eller ej.

Mvh,
WKF.

Är det inte "högre" FP man vill ha?
Tex FP64.

Tänker du på någon speciell modell med AMD i?
Enig med dig i det mesta meeeeeen....

Har du själv testat att köra AI, LLMs och liknande på AMD? Det är inte alltid så smidigt med AMD än.
Jag är inte en Nvidia fanboy, tvärtom. Jag vill verkligen
Att AMD ska lyckas/bli bättre om inte minst så ur ett konsument perspektiv mtp pris.

Dessvärre tror jag Nvidia har ännu ett vinnande konceptet här för sitt bruk, cuda bara fungerar liksom.
Tror det kommer att sälja smör men hoppas att AMD kan kontra och att utvecklarna av software börjar anamma AMD på fler områden.

Ja, just CUDA-ekosystemet är väl en stor del av poängen med varför denna maskin tagits fram, men det hade ju varit klart roligare om den imponerade mer prestandamässigt.

Nej, hur mycket precision som behövs beror på applikationen. Maskininlärning kan ofta göras med väldigt låg precision, och FP8/FP4 implementerades specifikt för såna ändamål eftersom det tillåter högre prestanda.

Jag vill ha en. Måste bara komma på en stark nog motivering att skaffa en.
Det blir intressant att se hur bra den verkligen är när folk testat den lite mer. Men att bara köpa begagnade delar och bygga själv är troligen väldigt mycket billigare sett till prestanda / kr. Så som pratas om i reddit-länken ovan.

Ja, jag har testat att köra på amd, ganska så lätt att komma igång idag funkar bara liksom beroende på verktyg du använder bara att tuta och köra, vist alla verktyg och plattformar finns inte då det mesta är gjort för cuda, men oavsett vad så är denna riktigt snordyr för vad du får, detta för inference dvs, ska du träna o.s.v ja då är mer eller mindre cuda ett krav

Du får t.ex. bättre prestanda med vanlig cpu och kör CPU interference med något billigare nvidia gkort för att offload lite av kv/cache prefil kalkyleringarna, t.ex. på detta vis får du lätt över dubbla prestandan av vad denna presterar och du kommer undan halva priset även med en sådan setup.

Typ det enda denna är bra för idag är ifall du vill träna hyfsat små modeller idag dock dubbla priset och du kommer åt nvidias riktiga ai chips i det fallet som är 10x+ snabbare på detta.

Men kan den köra Doom?

Är detta bara en beräkningsenhet eller fungerar den som en dator i övrigt?

50k dyrt? Vi betalar mer i licensavgifter per dator/år än det...

Okej, bra svar.

Men om man av någon anledning hade velat köra någon annan form av arbetslast, där man har nytta av högre precision så hade skillnaden då blivit mindre.

Men som sagt, den stora skillnaden i pris, strömförbrukning, storlek och vikt gör ju en sådan här mer attraktiv än en DGX-1 även om prestandan hade varit liknande.

Dyr ja, precis som jag skrev innan, för halva priset har du likvärd prestanda från både mac eller amd ai max, eller öka priset med 80% för en rtx pro 6000 som har runt 5-10 ggr mer prestanda, dvs den har en knasig prislapp som jag personligen tycker är dyr för vad den är gjord för.

AMDs lösning med Strix Halo,
Exempelvis AMD Ryzen AI Max+ 395 kan användas som en helt vanlig x86 PC.

Nvidia DGX Spark har en ARM baserad processor och ska komma med någon Ubuntu baserad Linux distribution förinstallerad.

Den har 3+1 USB C portar (en används för att strömförsörja enheten).
Den har HDMI och RJ45 portar.
Sen har den någon form av specialport för att länka ihop två stycken DGX Spark med varandra.
Tänk typ som en SLI brygga.

Den ska gå att använda i något Desktop mode.
Så borde gå att spela på den om du har spel som funkar i Linux på ARM processor.

Men går också att använda i något nätverksläge där du kan ha den i ett annat rum och bara kör allt på distans.

Men tror det går att spela på den om du har spel som funkar i Linux på ARM processor.
Men jag har inte sett någon göra det så vet inte säkert.

Kör du AMDs Ryzen AI Max istället så är det x86 (x86-64) processor som du kan köra Windows eller Linux eller vad som helst som fungerar på x86.

Troligtvis är AMDs lösning bättre om du vill helt eller delvis använda den som en vanlig dator.
Men eftersom Nvidias har display utgång (HDMI) och USB portar och en Ubuntu distribution så kan du nog använda den ungefär som en vanlig Ubuntu dator om du vill.

Tack för bra svar.
Blir lite rädd/osäker på AI om det bygger på "låg" noggrannhet.
Efterapar man inte hjärnans neurala nätverk med viktade noder?
Med tanke på att man vill ha så många neuroner sammankopplade borde väl en hög noggrannhet vara viktigt?
Känns som att det är hög risk för avrundningsfel annars.

Tycker det verkar som att man kör FSR/DLSS-alternativet för LLMer.
Det är ju trots allt en glorifierad "auto-complete" som vi byggt av låg noggrannhet.
Förstår varför den hittar på fakta lite då och då

"Fort och fel"...

Min åsikt kring ”AI” och det som liknar AI är coolt intressant teknologi.
Men det är lite spelkraschen år 1983. För mycket spel som hade låg kvalité pumpades ut på marknaden. Resultatet av denna krasch blev inte att att ingen därefter någonsin spelade spel längre utan att företag/investerare förlorade pengar.

Lite samma sak tänker jag på detta projekt som tråden handlar om, inget som jag hade satsat mina pengar på.

Ibland har högrisk projekt varit lyckade, iPhone är en sådan. Där Steve Jobs inte ens kunde ha en iPhone för hela presentationen utan han fick växla mellan olika.

När man tränar brukar man vilja ha högre precision än vid interferens.
Vissa modeller ska tydligen klara sig bra vid låg precision, men typ deepseek-r1 börjar få problem med strawberrrrry testet när man går under fp16.

Vad jag förstår så handlar det väl om att man tränar modellen med högre precision och sedan skapar optimerade versioner för snabb inferens.

Se t.ex. https://developer.nvidia.com/blog/optimizing-llms-for-perform...

Vad gäller att LLMer hittar på fakta så hör det nog mer till sakens natur än det är en fråga om beräkningsnoggrannhet, tänker jag iaf.
Ett system som är skapat för att generera "typisk text" vet ju inte saker. Så om fakta är viktigt så vill det nog till att fakta ligger med i prompten, inte att fakta är en del av det tomrum som ska fyllas i av LLM.

Wenell kör en lång genomgång

Specialport skulle jag inte kalla det. Det är 2 st QSFP portar a 100Gbit/s vardera, standard prylar för höghastighets nätverk.

Jämförelsen med en SLI brygga är inte helt tokig för hur de är tänkta att användas, men den faller lite kort. Det är helt enkelt vanliga nätverks portar.

Konstigt jämförelse med FP16 vs FP4, men vad jag kan se tror jag isåfall att denna hamnar ett snäpp under 5070Ti iallafall som enligt nvidias pdf om blackwell ska ha ~1.4PFLOPS i FP4. Så isåfall för prispunkten är 5070 eller uppåt mer prisvärd för inferens för modeller som får plats i VRAM, alltså är main selling point här att den är kompakt och har 128GB, så deras target är användare för vilka inferens med stora modeller är viktigt men som inte bryr sig om högre precision eller högre prestanda (5090 har ju 3.3PFLOPS if FP4). Rätt specifik nisch ändå?

Väldigt låg minnesbandbredd, 273GB/s vs 896 för 5070Ti och 1792 för 5090 så skulle gissa att den inte är något monster vad gäller högre precision tyvärr. Nyfiken på varför den inte körde HBM för denna prisklass men HBM är väl kanske svårare att få till bra i sådan kompakt design eller något?

Är mer nyfiken på vad processorn kan göra, vore coolt om Nvidia gör en schysst superhero-landing med hyper competitive ARM-processorer.

Sitter just nu å set sth review. Den version de testar har 200gbe nätverk.

https://www.servethehome.com/nvidia-dgx-spark-review-the-gb10...

För tydlighets skull så verkar det ju vara en lösning specifikt avsedd för att kunna stacka två sådana där burkar, snarare än att det är tänkt för allmänt nätverkande (utesluter inte att det senare är möjligt).
Nånting nånting Nvidia ConnectX nånting RDMA nånting