Nvidia DGX och Mac Studio dunderduo för lokal AI

Nvidias nya mini-PC DGX Spark har med sin GB10 Grace Blackwell-systemkrets minst sagt rejält tilltagen beräkningskapacitet för maskininlärning och AI. Men det delade primärminnets bandbredd på 273 GB/s blir en flaskhalls om datorn används för att köra stora språkmodeller lokalt.

Apples Mac Studio med M3 Ultra-kretsen har betydligt blygsammare beräkningskapacitet, men med 800 GB/s minnesbandbredd har den ett stort övertag på den del av arbetet som begränsas av minnets hastighet.

Utvecklare på EXO Labs har fått tag i ett par exemplar av DGX Spark och bestämde sig för att testa hur bra det går att kombinera dessa arbetsstationer. Går det att dra nytta av vardera maskins styrkor? Svaret visar sig vara ett rungande ja. EXO:s mjukvara kan fördela arbetet med att köra en språkmodell på olika maskiner, så utvecklarna lät DGX Spark göra det så kallade prefill-stadiet och Mac Studio göra token-genereringen.

Resultatet blev 180 procent snabbare än med enbart Mac Studio och nästan 50 procent snabbare än med enbart DGX Spark. Utvecklarna testade med Metas Llama-3.1 8B-modell och genererade bara 32 tokens. Med en större modell eller längre prompt bör resultaten bli ännu bättre, skriver Tom's Hardware.