Upp till 512 GB minne i nya Mac Studio

Ja alltså, ha begäret suger ju till litegranna helt ärligt. Köra fullstor lokal LMM skulle va rätt fränt

Apple Silicon använder ett enhetligt minne med en bandbredd på 800 GB/s. Som jämförelse har Nvidia 4090 en bandbredd på 1 TB/s. Nvidia H100 når upp till cirka 3,3 TB/s, men kostar också runt 350 000 kronor per GPU och har då endast 80 GB VRAM.

Med det sagt är 4090 i sig tillräckligt snabb, men begränsas kraftigt av sin relativt låga minnesmängd. Hur snabb en M3 Ultra skulle bli i kombination med LLM vet jag inte, men den skulle garanterat prestera bättre än en vanlig CPU som bara kör från RAM.

Blir det inte enormt mycket trögare om man kör det i ram-minnet istället för i GPUn?

Med det sagt är 4090 i sig tillräckligt snabb, men begränsas kraftigt av sin relativt låga minnesmängd. Hur snabb en M3 Ultra skulle bli i kombination med LLM vet jag inte, men den skulle garanterat prestera bättre än en vanlig CPU som bara kör från RAM.

LLM-prestanda tenderar skala väldigt linjärt med minnesbandbredd så länge som modellen får plats i lokalt RAM.

Värt att ha med sig att även "compute-prestanda" lär ligga i närheten av 4090 givet att M3 Max brukar ligga runt hälften av ett 4090 samtidigt som M3 Ultra bokstavligen är två M3 Max.

Apple Silicon använder ett enhetligt minne med en bandbredd på 800 GB/s. Som jämförelse har Nvidia 4090 en bandbredd på 1 TB/s. Nvidia H100 når upp till cirka 3,3 TB/s, men kostar också runt 350 000 kronor per GPU och har då endast 80 GB VRAM.

Med det sagt är 4090 i sig tillräckligt snabb, men begränsas kraftigt av sin relativt låga minnesmängd. Hur snabb en M3 Ultra skulle bli i kombination med LLM vet jag inte, men den skulle garanterat prestera bättre än en vanlig CPU som bara kör från RAM.

En M3 Ultra har ungefär samma bandbredd som RTX5080. Så inget 5090, men rätt mycket ett 5080 med upp till 512 GB VRAM.

Kan kännas dyrt att hosta upp >200k SEK för en sådan dator. I alla fall innan man kollar upp vad Nvidia/AMD tar för deras dGPUer som har mellan 100-200 GB, då börjar MacStudio allt mer se ut som rena kapet prismässigt!

Det här är en extremt nischad produkt, men för de nischer där den trots allt är en bra match är det en fantastisk produkt!

Grejen är ju att Macarna har integrerad GPU, och i de större modellerna en rätt stark sådan i kombination med rätt bra minnesbandbredd.
(Vilket då även innebär att det är ett paket med extra allt, så du kan inte få mer GPU utan att även köpa mer CPU. Problem om man verkligen försöker få ned priset, mer om man tänker att man är vanlig konsument som vill ha mer grafikprestanda t.ex.)

Så du lär köra en sådan applikation på GPUn, och GPUn har tillgång till i princip hela minnesmängden.
Och där kan det samtidigt plötsligt bli enormt prisvärt jämfört alternativen (t.ex. Nvidias beräkningskort med mycket minne) OM du har en applikation som behöver enorma mängder minne till GPUn.

Får man kanske hoppas på bättre dollarkurs och att en uppdatering av Mac Pro i sommar kanske också medför att en Mac Studio kan få en M4 Ultra? Eller kommer det ta ytterligare år att få mer minnesbandbredd, eftersom M3 Ultra i princip har samma minneshastighet som M1 och M2 Ultra så kommer den inte bli snabbare för LLMer iaf.

Sedan priset, jag var inställd på M2 Ultra-priset med ram-bump så typ runt 70k men nu har plockat bort 128GB och 192GB-versionerna. Så nu måste man betala den astronomiska siffran för 256GB. Så detta inte datorn jag förväntat mig då jag vill uppgradera för att fortsätta leka med LLMer. Men den lär sälja som smör för LLM-inference till de som vill kunna köra DeepSeek R1 lokalt på en maskin vilket med 4bit (q4) borde fungera utan problem med rätt bra hastighet då det är MoE.

Men det kanske är lika bra att undvika amerikanskt nuförtiden. Får hoppas på att Softbank köper upp Ampere som ryktet säger så kan man köra japanskt istället. Men frågan är vilka minnesbandbredd kommande Ampere-prylar kommer ha. Blir nog dags att kanske hyra GPU-tid i det där onda molnet.

Det här är en extremt nischad produkt, men för de nischer där den trots allt är en bra match är det en fantastisk produkt!

Men det finns väl inga nya bilar som kostar under 215 000kr ?

Enligt Apple så kommer det ingen M4 Ultra pga M4 Max inte är designad för att kopplas ihop.
https://www.macrumors.com/2025/03/05/apple-confirms-m4-max-la...

* Apple M3 Ultra med 32‑kärnig processor, 80‑kärnig grafik
* 512 GB enhetligt minne
* 16 TB SSD‑lagring
* Final Cut Pro
* Logic Pro

215 985,00 kr

Antingen kan man köpa två sådana datorer eller en ny bil.

Eller ja det finns nya bilar som kostar under 430 000kr
Men det finns väl inga nya bilar som kostar under 215 000kr ?
Alltså om man ska ha en helt ny bil av senaste årsmodell.

Två maxade Mac Studios är motsvarande en realistisk budget för en ny bil.
Då har man lite val att inte behöva ta det absolut billigaste.
Men för den med högre krav så kan en ny bil lätt kosta mer än 5 maxade Mac Studios

Så kan det nog vara.
För rätt kund(er) så kan den säkert vara prisvärd eller kanske t.o.m. "billig".

Men det vore ganska dumt att köpa sig en bil om det var två Mac Studios en behövde.
Eller tvärt om, köpa sig två Mac Studios när det var en bil som behövdes.
Löser liksom inte samma sorts problem ...

* Apple M3 Ultra med 32‑kärnig processor, 80‑kärnig grafik
* 512 GB enhetligt minne
* 16 TB SSD‑lagring
* Final Cut Pro
* Logic Pro

215 985,00 kr

Antingen kan man köpa två sådana datorer eller en ny bil.

Eller ja det finns nya bilar som kostar under 430 000kr
Men det finns väl inga nya bilar som kostar under 215 000kr ?
Alltså om man ska ha en helt ny bil av senaste årsmodell.

Två maxade Mac Studios är motsvarande en realistisk budget för en ny bil.
Då har man lite val att inte behöva ta det absolut billigaste.
Men för den med högre krav så kan en ny bil lätt kosta mer än 5 maxade Mac Studios

Så kan det nog vara.
För rätt kund(er) så kan den säkert vara prisvärd eller kanske t.o.m. "billig".

Men det vore ganska dumt att köpa sig en bil om det var två Mac Studios en behövde.
Eller tvärt om, köpa sig två Mac Studios när det var en bil som behövdes.
Löser liksom inte samma sorts problem ...

En mindre bensinbil som inte är superpremium lär du ju kunna köpa ny för mindre än så.

Du har såklart en poäng.
Var bara en reflektion/prisjämförelse.
Du har rätt i att de inte löser samma problem.

Bilbranschen har inte varit immun mot prisökningar.

Som Dacia Duster, när den kom (var väl iofs hyfsat många år sen nu, men ändå)
Så absoluta bas bas konfiguration utan något extra var strax under 100kkr.
Valde man en paketnivå upp och valde 4hjuls drift så kostade de runt 130kkr.

Idag kostar en Duster Bensin 269 900kr enligt hemsidan och det framgår inte tydligt om det är 2 eller 4-hjulsdrift.

Såg precis en prislista
Duster för 269 900kr är 4x2 (2hjulsdriven), men det finns en annan variant som är 4x4 (4hjulsdriven) men den kostar 314,900kr

~ 315kkr är ganska mycket mer för en 130kkr budgetbil...

Men Dacia's allra billigaste modell är Sandero och en sån i billigaste konfiguration står att den kostar 189.900kr

Så du verkar ha rätt i att det finns minst en modell i Sverige för mindre än 215kkr.

Men annars,
Om du besöker en bilhandlare så ser du nog klart fler modeller för över 300kkr än under.
Alltså vanliga modeller, inte något "super premium". (Men nya, ej begagnade)

Men exempelvis Honda Civic, tror det är väldigt få som ser det som en lyxbil (?)
Den vanliga kostar från 379 900kr
Blir lätt över 400kkr om du börjar kolla på tillbehör.

Volkswagen Golf verkar kosta från 319kkr.
Är en Volkswagen Golf en Super Premium bil ?

En ~ 350kkr bil verkar vara ungefär lika "Super Premium" inom bilvärlden som ett RTX 4060 är "Super Premium" inom grafikkortsvärlden.

Däremot finns det begagnade bilar i lite alla möjliga prisklasser.

Enligt Apple så kommer det ingen M4 Ultra pga M4 Max inte är designad för att kopplas ihop.
https://www.macrumors.com/2025/03/05/apple-confirms-m4-max-la...