Apples M3 Ultra imponerar inte i läckta testresultat

Permalänk
Melding Plague

Apples M3 Ultra imponerar inte i läckta testresultat

Geekbench-resultat visar marginell skillnad mot M4 Max.

Läs hela artikeln här

Visa signatur

Observera att samma trivselregler gäller i kommentarstrådarna som i övriga forumet och att brott mot dessa kan leda till avstängning. Kontakta redaktionen om du vill uppmärksamma fel i artikeln eller framföra andra synpunkter.

Permalänk
Medlem

Det är väl inte riktigt där styrkan ligger heller?

Kanske bättre att testa GPU samt Core ML?

GPU:
https://browser.geekbench.com/v6/compute/3788256

Core ML (NE):
https://browser.geekbench.com/ai/v1/215785

Core ML (GPU):
https://browser.geekbench.com/ai/v1/215782

Kan tillägga att även min gamla M1 Pro fått bra fart för AI-modeller (FLUX.1) när jag utnyttjat hela SoC:en och inte enbart kört mha Core ML.

Dold text
Permalänk
Medlem

För oss som bryr oss om att kunna köra AI-modeller så är minnet hela poängen med M3 Ultra.

Visa signatur

i5-7600k . GTX 1080 . 16 GB

Permalänk
Medlem

såklart den inte gör. det är gamla M3 generationen. plus så är det inte ett helt chipp. det är 2 M3 Max fastlimmade och det brukar inte ge lika bra prestanda som om de bara gjorde egen design för M3 ultra.

Permalänk

Fenomenet är inget nytt. Förr i PC-världen fick man välja en flerkärnig CPU som var bra för lite mer krävande arbete (Hedt) eller en 4 core som var bra för spel. Där man sedan runt år 2020 kunde välja en CPU som var bra för båda.
Att lägga kanske 40 000kr på en desktop som ej presterade i spel gjorde valet för många som ointressant även om de bara skulle spela lite.

Nu har lite samma kommit till en modell av Applesdatorer och jag bryr mig inte så mycket då den är så inih-lvete över min budget så det inte är klokt.
När det gäller AI som denna M3 Ultra troligen kommer köra mycket så har vi en snabb utveckling på hårdvarosidan. Detta till den grad att de som köper en sådan bör ha en affärsverksamhet så den drar in pengar, då det kanske inom 2år finns en mycket bättre Appledator för ändamålet.

Permalänk
Medlem
Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Permalänk
Medlem

Mycket dumheter här. Är ju självklart att en M4 Max är snabbare i enkeltrådat. Ultran har ju dock helt andra möjligheter för arbetsstationer med sin nära dubbla totalprestanda i både CPU och GPU.
Sedan så saknar väl M4-kretsarna den brygga som används för att göra Ultror. Så lär väl inte komma någon M4 Ultra. Har Sweclockers missat det?

Det är ju ändå så att för riktigt tunga laster så har ju fortfarande M2 Ultra än idag ett existensberättigande jämte M4 Max, så om det nu inte kommer någon M4 Ultra så är ju M3 Ultra definitivt kungen en bra tid framöver.

Permalänk
Medlem

Det ligger i linje vad man kan förvänta sig. Fascinerande hur dessa, förhållandevis, små förbättringar från generation till generation säljer så bra.

Intressant med 16 TB SSD. Synd bara att det inte ens räcker att sälja sin själ för att ha råd med en och allt annat som är viktigare långsiktigt.

Visa signatur

Citera mig - annars kan svar utebli i trådar jag inte själv skapat.

Permalänk
Datavetare

"För flertrådad prestanda finns andra tester som brukar ge resultat närmare verkliga arbetsuppgifter, exempelvis Cinebench"

Det där är tyvärr inte bara nonsens, det är också allt för många (inklusive de flesta siter som gör reviews av klient-CPUer) som tror att det finns någon egentligen relevans i Cinebench MT resultaten för konsumenter.

De som ligger bakom Geekbench fattade själv hur missvisade MT-testerna hade börja bli då man fram till GB5 inte körde en instans av ett multitrådat program, utan N st enkeltrådade instanser där N var lika med antalet CPU-trådar.

I "verkligheten" skalar nästan inget program man kör på en konsumentdator i närheten av linjärt med CPU-trådar förbi en handfull. Finns självklart undantag, men nästan alla av dessa undantag är s.k. dataparallella problem och kan köras långt mer effektivt med GPGPU då en GPU är specialdesignad för dataparallella problem.

Bästa resultatet jag hittar i Blender Benchmark databasen för Threadripper är ~1600 poäng (9950X och 285k ligger på 550-600 poäng). Det är rätt likvärdigt med GPU i M3 Pro, GPUn i M4 Max är nästan 3x snabbare och RTX5090 ligger på strax under 15000 poäng.

Enda problemet med GPGPU och konsument GPUer är att de tenderar ha för lite mängd RAM för de mest krävande uppgifterna. Då GPGPU är så brutalt mycket mer effektiv blir då en krets som M3 Ultra högst värdefull då den ändå ser ut att prestera någonstans mellan 4080 och 4090, fast med upp till 512 GB "VRAM"!

Och man får ha lite perspektiv kring M3 "dåliga" ST-prestanda. Den prestera trots inom 3-4 % av Intel/AMDs snabbaste desktop CPUer, är ju M4 som har en ST-prestanda som just nu slår allt med historiskt sett väldigt bred marginal.

Visa signatur

Care About Your Craft: Why spend your life developing software unless you care about doing it well? - The Pragmatic Programmer

Permalänk
Medlem

Den här nyheten: M3 ultra presterar exakt så som den var designad

Permalänk
Medlem

Utan att ens försöka har Apple lyckats bli det billiga alternativet om man är datorintresserad...

Permalänk
Medlem

En hel drös med nonsens är det där väl?

Så något som skulle ta 1 dag med ett H100 eller AMDs alternativ skulle ta flertal veckor eller månader med M3 Ultra.

Permalänk
Medlem
Skrivet av johanandersson:

För oss som bryr oss om att kunna köra AI-modeller så är minnet hela poängen med M3 Ultra.

Förlåt en som inte är så insatt i AI, men vad menas med att ”köra” AI-modeller? Och varför vill man göra det? Vad är fördelen?

Permalänk
Medlem
Skrivet av maoi:

Förlåt en som inte är så insatt i AI, men vad menas med att ”köra” AI-modeller? Och varför vill man göra det? Vad är fördelen?

en modell är typ "chatgpt 3.x" eller liknande (just OpenAI / ChatGPT släpper inte sina, men det finns liknande konkurrenter). Istället för att använda en Chat AI webbsida, så kör man den lokalt, då slipper man att AI-företaget tar din data / dina prompter (frågor), utan allt händer lokalt. Det blir också gratis (om man bortser för hårdvaran / elen), istället för att prenumerera på en tjänst alternativt få sitta o vänta när webbsidan man använder inte har kapacitet för gratis-tiern (där du är produkten, som allt gratis).

Det öppnar också för att man tex skapar egna saker ovanpå AI-botten, varese det är hemautomation, eller chattbott med webb access / vision, etc. Och man vet den är alltid 100% tillgänglig och privat.

Permalänk
Medlem
Skrivet av maoi:

Förlåt en som inte är så insatt i AI, men vad menas med att ”köra” AI-modeller? Och varför vill man göra det? Vad är fördelen?

Jag kör stable diffusion modeller hemma för att generera bilder i stället för någon tjänst på nätet.

Först tränas en modell på massa data med tusentals GPUer eller liknande. Sen när den är färdigtränad så kan man använda den för att skapa det som den är tränad till att göra.

Man kan träna modeller få svagare hårdvara, men det tar längre tid.

Visa signatur

Hur många datorer är för många?

Permalänk
Skrivet av kelthar:

Jag kör stable diffusion modeller hemma för att generera bilder i stället för någon tjänst på nätet.

Först tränas en modell på massa data med tusentals GPUer eller liknande. Sen när den är färdigtränad så kan man använda den för att skapa det som den är tränad till att göra.

Man kan träna modeller få svagare hårdvara, men det tar längre tid.

Stämmer delvis, men huvudsyftet med att köra dessa AI modeller jämfört med t.ex. ChatGPT eller Claude, är ju oftast att man vill köra dem lokalt på sin egna hårdvara och ha full kontroll själv. Dvs, man kan själv välja egenskaper för modellerna och anpassa dem efter ens egna ändamål. Men framförallt, att inte vara uppkopplad till någon server, utan allt man gör sker lokalt på ens dator och ingen annan har tillgång till ens data.

Att träna egna modeller själv är inte vanligt, då det kräver extrema mängder datorkraft och är inte praktiskt ifall du inte sitter på ett par hundra GPUer.

Permalänk
Skrivet av Fantgrenen:

Stämmer delvis, men huvudsyftet med att köra dessa AI modeller jämfört med t.ex. ChatGPT eller Claude, är ju oftast att man vill köra dem lokalt på sin egna hårdvara och ha full kontroll själv. Dvs, man kan själv välja egenskaper för modellerna och anpassa dem efter ens egna ändamål. Men framförallt, att inte vara uppkopplad till någon server, utan allt man gör sker lokalt på ens dator och ingen annan har tillgång till ens data.

Att träna egna modeller själv är inte vanligt, då det kräver extrema mängder datorkraft och är inte praktiskt ifall du inte sitter på ett par hundra GPUer.

Jag skulle lägga till att man vill hänga med i utvecklingen och då gör saker tidigt. Inte att detta just nu ger en så mycket. På samma sätt som de flesta privatpersoner som var tidiga med internet inte sparade så mycket arbetstid på det de hittade där.
För min egen del på tok för mycket pengar och tid att få ut något vettigt. Det är en dator som denna 200 000kr Apple M3 Ultra som man borde ha, när motsvarande AI dator kostar 10 000kr. Ja då kanske jag kan börja med lite AI lokalt, även om jag tycker att även dessa är lite slöa.

Detta är inte på något sätt nytt. Jag skaffade inte de första platttv/skärmar och annat utan man får vänta lite. Dock finns det personer som kan köpa dator för sitt arbete och denna maxade Apple studio är inte så dyr i företagssammanhang.
Liknelse: Vilken företagare tjänar mest grävmaskinisten eller datatekniken?
En grävmaskin kostar 3 miljoner och de får ut strax över 1000kr/h och då ska slitage och bränsle betalas. Och en lastbil och annat behövs för att flytta den.
En Ai Mac kostar 200 000kr och personen kanske kan få ut 2000kr/h för sitt arbete. Och grejerna till är småkostnader.

Så i framtiden ser jag inte alls konstigt med att egenföretagare köper AI datorer, de är dock idag lite klena eller hur man ska utrycka det.

Permalänk

Jag tyckte redan i höstas att det var svårt att förstå syftet med mac studio. Med tanke på prestandan i m4 max mot m2 ultra, så hade det varit ett logiskt tillfälle att dumpa studio, för en the Mac, som bara skulle få MxMax som mest. Ultra, och mac pro känns mycket mer rimligt.
Nu när ultran underpresterar eftersom det är M3, så blir det ännu tydligare.
Ja, gpu, ja massa ram, i princip bara för AI och avancerad rendering. (Gör man orkestermusik så kanan behöva mycket ram, men förutom för några specifika reverb har man nästan ingen nytta av gpu, så det blir oerhört dyrt att gå frånaxed 128GB, till ultra med 256 eller 512, och då förlorar man enkelttrådspeestanda som man harer nytta av än gpu).
Ultran borde sparats till pro, om den inte istället får det länge ryktade högprestanda chippet som inte är två sammansatta.
Att inte också pro kom nu, känns som det innebär större förändring, kanske inte ny processor, men stöd för gpu via pcix, varför det skulle vara logiskt om det kom på utveckar-konferens.

Permalänk
Medlem
Skrivet av lillaankan_i_dammen:

För min egen del på tok för mycket pengar och tid att få ut något vettigt. Det är en dator som denna 200 000kr Apple M3 Ultra som man borde ha, när motsvarande AI dator kostar 10 000kr.

Är inte AI-datorer för 10 000kr lite av en bluff? Vad menas egentligen med dessa, utöver att de ska klara 40 TOPS och ha 16GB RAM. Känns extremt luddigt i en värld där "allt" på PC-sidan är optimerat för antingen Nvidia eller AMD.

Känner att en gammal "M1 Pro" då kan ha betydligt mer att ge. Speciellt när många modeller är optimerade för Apples hårdvara (Core ML etc.) i macOS.

Permalänk
Medlem
Skrivet av lillaankan_i_dammen:

För min egen del på tok för mycket pengar och tid att få ut något vettigt. Det är en dator som denna 200 000kr Apple M3 Ultra som man borde ha, när motsvarande AI dator kostar 10 000kr. Ja då kanske jag kan börja med lite AI lokalt, även om jag tycker att även dessa är lite slöa.

Det är ju dock omöjligt att en motsvarande AI-dator kostar 10 papp, då de omöjligen kan köra de modeller Apple-datorn kan köra i dessa fall. Som jag förstår det måste modellen vara helt laddat i minne och då absolut väldigt helst i snabbt minne med bra bandbredd och som GPUn har direkt åtkomst till för det är den som gör jobbet om du skall få någon som helst rimlig fart i det hela.
Det är ju därför Apples enheter har blivit så populära: jämförelsevis väldigt mycket minne som en hyfsat snabb GPU har direkt tillgång till, i detta fall 512GB (även om jag tvivlar på att så många ”””Svenssons””” någonsin kommer ha nytta av det men säg… 48GB, 96GB kanske för de modellerna som får plats där).

Och sett till det är de ju billiga. MEEEEEN…. också noll intresse av mig för AI så kan ha missförstått det hela grovt

Permalänk
Skrivet av Ibis:

Det är ju dock omöjligt att en motsvarande AI-dator kostar 10 papp, då de omöjligen kan köra de modeller Apple-datorn kan köra i dessa fall. Som jag förstår det måste modellen vara helt laddat i minne och då absolut väldigt helst i snabbt minne med bra bandbredd och som GPUn har direkt åtkomst till för det är den som gör jobbet om du skall få någon som helst rimlig fart i det hela.
Det är ju därför Apples enheter har blivit så populära: jämförelsevis väldigt mycket minne som en hyfsat snabb GPU har direkt tillgång till, i detta fall 512GB (även om jag tvivlar på att så många ”””Svenssons””” någonsin kommer ha nytta av det men säg… 48GB, 96GB kanske för de modellerna som får plats där).

Och sett till det är de ju billiga. MEEEEEN…. också noll intresse av mig för AI så kan ha missförstått det hela grovt

Jag pratar om när de i framtiden blir billigare. Precis som all datateknik har blivit billigare.
Det kommer dröja otroligt många år innan jag nyttjar lokal AI till något vettigt, men utvecklingen går ändå emot detta håll med att fler kommer nyttja AI. Att sedan ha den lokalt kan diskuteras.
Det är ofta ineffektivt att ha en dyr LLM dator för en person som jobbar 40h i veckan och man bör dela upp den för flera om man inte får den uträtta något arbete.