Nvidia DGX och Mac Studio dunderduo för lokal AI

Årets julklapp?
Förr i tiden var ofta årets julklapp väldigt nya saker som långtifrån alla hade råd med. Som mobiltelefon 1994, cd skivan 1995, dvd 2000, platttv 2004.
Och dator för lokal AI är lite på samma nivå. Kanske inte riktigt ännu men om några år.

Det jag främst hoppas med dagens AI speciellt LLM är att de fortsätter utvecklas, de blir mer lättkörd eller hårdvaran billigare. Många pratar på att LLM som den är byggd idag aldrig kommer bli AGI (Artificial General Intelligence) och det stämmer. Men de måste ju börja någonstans och gärna någonstans som folk vill betala för att använda. Lite som att folk skulle säga till de som utvecklade spelen doom, wolfenstein att deras grafikmotor aldrig kommer utvecklas till fotorealistiskt grafik och de istället borde satsa sin tid på en grafikmotor som klarar detta.

Varför testa så liten modell och bara generera 32 tokens? Varför inte testa största modellen som får plats med en längre output?

Väldigt bra fråga. Jag tänker att det bör ju ha tagit tid att få iordning allt så varför inte köra på ordentligt innan man skickar ut benchmarks. Kanske finns någon anledning till det som jag inte förstår mig på.

Jag vet inte om det spelar så stor roll för slutsatsen, möjligen då att prefill-steget kan uppfattas som viktigare än det är (procentuellt dvs) om läsaren förutsätter att generereringssteget alltid är sådär kort.

Jag gissar väl att de är rätt nöjda med att detta är ett standardtest. De startar väl i mer eller mindre ett worst-case för Mac Studion, lång prompt+kort output, så det blir ju väldigt tydligt vad det gör för skillnad att flytta prefill-steget till något med mer beräkningskraft.

Blir kul att se tester på första M5'orna med 128gb minne, än så länge verkar det ju bara finnas 32. :-/

Känns som Spark tappade mycket på att bli så försenad, det finns ju intressanta alternativ redan och flera är på gång i närtid. Spark blir en unik pryl först om man kopplar ihop två och får 256gb minne för LLM's.