💪 Prestanda per cykel, Arm vs AMD vs Intel

Well, Linux dominerar alla områden förutom desktop. Så möjligen: "få se om något annat än Windows kan bli stort på desktop..."

Tyvärr tror jag det inte är realistiskt i närtid, så ARM64 på mainstream-desktop står och faller med ARM64 stöder på Windows.

Tror Windows har kvar sin binäröversättning från x86 till Arm, men är inte 100. I MacOS har man droppat det stödet, så spel som bara finns i 32-bit x86 går inte att köra. Eller de går att köra, dock inte via binäröversättning av x86->ARM64, man får istället gå via en traditionell emulator som QEMU eller liknande, vilket får så pass gamla spel kan fungera helt OK.

Både Windows 11 och MacOS automatisk översättning från x86_64 till ARM64. Rent logiskt fungerar i alla fall Rosetta 2 väldigt bra, d.v.s. väldigt sällan det inte går att köra ett x86_64 program via Rosetta 2. Tekniken som Windows 11 använder, Arm64EC, är i grunden exakt samma teknik.

Har testat Arm64EC en del (på MBP via Parallell desktop + Win11/ARM64) och verkar faktiskt riktigt lovande. Huvudproblemet här är att Parallell desktop stödjer i nuläget bara DX11 och tidigare, d.v.s. DX12 spel fungerar ej (men det kommer inte vara ett problem med kommande ARM64 plattformar designade för Windows).

Hur bra/dåligt det fungerar att göra den blir att göra den har typen av översättning varierar rätt kraftigt beroende på typ av applikation.

Positiva här är att just spel är en av de fall som fungerar absolut bäst, d.v.s. det är ett exempel där effektiviteten är väldigt hög. Orsakerna är flera, de viktigast handlar om att spel körs relativt länge (finns en engångskostnad associerad med första gången ett kodsegment körs), spel är ofta mer begränsade av GPU än CPU och det ger en dubbel whammy i form av att man kör relativt beräkningsintensiv kod i GPU-drivers som är en del av OS och därför alltid "native" + då CPU inte länge är en stor flaskhals i spel (framförallt inte om man kör på väldigt snabba CPU-kärnor som M3 och kommande Oryon) är det inte hela världen att man tappar 10-20 % prestanda i binäröversättning från x86_64 -> ARM64.

Exempel på saker som fungerar bedrövligt med Rosetta 2 hittar man kompilering, orsaken där är väldigt CPU-tung last som spenderas i huvudsak i en applikation som är väldigt kortlivad (så engångskostnaden för översättningen tas om och om igen).

Prestanda per cykel per Watt skulle jag säga blir en totalt meningslös mätpunkt om det inte sätts i relation till absolut prestanda.

Här är både AMD och kanske än mer Intel målande exempel.

Tar vi AMD först: vissa noterade att AMD Z1 Extreme har faktiskt samma perf/W som Apple M2 Pro sett till "all-core" prestanda. Det är en helt korrekt observation, men det betyder inte att AMD kommit ifatt Apple då detta ignorerar det faktum att Apple har i det läget betydligt bättre absolut prestanda. Man får då jämföra med A17 Bionic (SoC i Iphone 15, samma CPU som M3 men lägre klockad) och då är Apple åter igen klart före.

Intel är ännu mer extrem på denna punkt. Klockar man ned Gracemont en bit under 3 GHz (vilket man nu gör i de 2 LPE-kärnorna i Meteor Lake, finns utöver det 8 högre klockade E-kärnor samt 4 st ännu högre klockade P-kärnor) så är det den mest energieffektiva x86 CPUn just nu. Problemet är att den då har väldigt låg frekvens + "bara" IPC i nivå med Skylake (d.v.s. inte bättre perf/cykel än den Arm CPU som nu hittas i SBC som RPi5/Orange Pi 5), d.v.s. man har en väldigt låg absolutprestanda.

Perf/W som funktion av absolut prestanda är allt annat än linjärt, det är snarare en logaritmisk funktion. D.v.s. effekten ökar långt snabbare än absolut prestanda går upp, så perf/W sjunker snabbt när man pushar mot högre absolut prestanda. Intel/AMD behöver klocka sina CPUer nära 6 GHz för att matcha Apple (och snart även Qualcomm) när de är klockade runt 4 GHz, i det läget är perf/W ett par heltaslfaktorer bättre hos de senare två och det är den relevanta måttstocken då alla presterar ungefär lika bra i det läget.

Att Nvidia kommer börja sälja ARM64 CPUer är i praktiken redan klart, men gissningarna ligger på att det kommer hända tidigast 2025. Sen kanske de bara siktar mot datacenter, men vem vet...

Qualcomm har sagt att de själva bara tänker gå efter laptop-marknaden, men de har sagt att de är öppna för att licensiera deras mikroarkitektur till de som vill bygga server/desktop CPUer.

Finns även rykten att AMD jobbar på en ARM64 CPU. Har själv lite svårt att se logiken att AMD skulle få för sig att börja sälja separata high-end ARM64 CPU så länge x86_64 är relevant. Dock ingen nyhet att AMD använder Arm, finns en Arm CPU i varje Ryzen CPU t.ex. och AMDs del som bygger custom-kretsar (de som bl.a. designar kretsar för konsoler) kan ju mycket väl designa kretsar med Radeon GPU + ARM64 CPUer för t.ex. framtida konsoler.

Finns också lite lösa rykten att Arm själva ska börja designa färdiga CPU-kretsar. Tidigare hade det varit otänkbart, men då Qualcomm sagt att de allt mer ska använda sin egen mikroarkitektur kombinerat med att Qualcomm lär vara Arms största Cortex A/X kund i nuläget (Snapdragon till mobiler) så kanske Arm känner sig tvingade till detta steg.

Framförallt försvinner ju Qualcomms deal med Microsoft under 2024, den som gjort att ingen annan kunnat erbjuda en ARM64 plattform till Windows (hur tänkte Microsoft när de gjorde den överenskommelsen...). Det kombinerat med den prestanda/effektivitet som ARM64 CPUer uppvisar mot Intels/AMDs bästa kretsar borde rimligen göra det otroligt lockande att kunna slå sig in i den stora Windows/desktop marknaden.

Lite så är det.

Tyvärr kommer inte racet mot allt bättre prestanda/cykel hålla i sig i närheten lika länge som ökningen av frekvens gjorde. Att öka frekvensen var långt enklare/effektivare än att jaga "IPC" och gick bra ända till Dennard scaling upphörde, en epok som ändå höll i sig ~50 år.

Tycker ändå det är skönt att se hårt fokus på enkeltrådprestanda igen, även om det nu handlar i bästa fall om 10-15 % per år mot tidigare ~100 % var 18-24 månad under MHz-racet. Många CPU-kärnor har sina poänger, men det är aldrig någon ersättare för högre prestanda per kärna (det senare är långt mer värdefullt för normalanvändaren).

Men få undantag flyttas de saker som skalar riktigt bra med kärnor till GPGPU, vilket är vettigt då en GPU är långt effektivare än CPU på de saker en GPU är kapabel att hantera (data-parallella problem). Sen finns nischer som är uppgifts-parallella, t.ex. kompilering vid "total rebuild" stora projekt", de måste hanteras av CPU och då med fördel många CPU-kärnor. Dock inget som "normalanvändaren" gör i någon större utsträckning...

Trista med perf/cykel är att det rätt snabbt kommer slå i en rad hårda begränsningar. Det finns en rätt begränsad mängd parallellism i en enskild instruktionsström. "Enda" ARM64/RISC-V (och Intels APX om det fungerar som tänkt) gör är att flytta den gränsen en bit jämfört med x86, POWER, 32-bit Arm m.fl.

Men x86_64 har väldigt länge legat på maximal ~4 avkodade instruktioner per cykel när man inte träffar uop-cache. Cortex X4 fixar upp till 10 avkodade instruktioner per cykel (vilket är en orsak varför den inte behöver någon uop-cache, även med den är x86_64 idag begränsad till maximalt 8 uops).

Man ser dock att även ARM64 tillverkarna börjar allt mer pusha mot högre frekvenser, så de börjar nog närma sig "point of dimishing returns" med att bredda arkitekturen
Dock en rätt bra position de har just nu med ca 30 % högre perf/cykel jämfört med Intel/AMD och Arm har fortfarande färre transistorer i sina CPU-designer, men de närmar sig.

Apple (och antagligen även Qualcomm) har i praktiken lika många transistorer i sin CPUer som AMD/Intel har, men då ligger de trots allt ~45-50 % högre i perf/cykel!

Ser inte ut som Intel/AMD precis kommer närma sig Arm sett till IPC, detta år heller.

Det ryktas om att Cortex X5 "Blackhawk" ska täta glappet upp till Apple. Arm har släppt en ny mikroarkitektur en gång per år i mer än 10 år nu, gissningsvis kommer även denna att dyka upp slutet av våren / början av sommaren.

Från The Register

"Moorhead cites claims by Arm that the "Blackhawk" core demonstrates substantial performance gains, specifically the "largest year-over-year IPC (instructions per cycle) performance increase in five years," as measured by benchmarks."

Om det är största ökningen i IPC på fem år så borde Cortex X4 -> X5 får ungefär samma lyft som mellan A77->X1, vilket är ungefär vad som krävs för att komma ikapp Apple.

Ser ut som ryktena från januari kring Cortex X5 var sanna. Stämmer dessa benchmark-resultat tar ju sig Cortex X5 upp på samma nivå som Qualcomm Oryon, vilket i sin tur är i nivå med Apple M2.

Nu kommer AMD släppa Zen 5 och Intel släppa Lion Cove och Skymont i år. Men en observation blir ändå att Zen 4 och Raptor Cove (som ur alla praktiska hänseenden har samma perf/MHz i genomsnitt) kommer först på plats X, efter Apple M1, M2, M3 och M4 (som i nuläget innehar titels som världens snabbaste CPU-kärna), Qualcomm Oryon och Arm Cortex X2, X3, X4 och snart X5 (den förväntas officiellt lanseras inom kort, produkter som använder den förväntas komma från oktober).

D.v.s. det bästa Intel/AMD har just nu kommer först på plats 8 (9 om man räknar med X5) sett till perf/Mhz (och gissningsvis även sett till perf/W). Även om de mest galna ryktena kring IPC ökning hos Zen 5 och Lion Cove slår in kommer de ändå knappast nå topp 3 sett till perf/MHz (men de kan återta bäst absolut perf givet att de kan klockas >5,5 GHz).

Blir väldigt spännande att följa lanseringen av Lunar Lake och Strix Point (laptop-marknaden är långt större än desktop), om dessa inte rejält lyfter sig från dagens nivå kanske vi (äntligen?) ser x86_64s svansång.