Rykte - Apple A14 Firestorm och Arm Cortex X1

Arm har hela tiden haft lika bra eller bättre perf/W än Apple om man kikar på saker som använder CPUn under längre tid. Problemet är lite att enheter som telefoner, paddor och ultratunna datorer primärt används interaktivt, där är Apple bättre p.g.a. högre absolut prestanda som dels ger en bättre upplevelse, dels ofta förbättrar perf/W då enheter snabbare kan gå i dvala.

Arm har också haft billigare kretsar. Även Cortex X1 som är rätt mycket en "Apple big-core design", där man till viss del offrat perf/W för högre absolut perf, så lyckas Arm implementera sin krets med förvånansvärt få transistorer.

Tar man bort L3$ (halva kretsytan hos Zen2 är ju L3$) är Apples A13 Lightning kärnor storleksmässigt likvärdig med Zen2 när de jämförs på samma TSMC 7 nm. Cortex X1 förväntas ta ungefär halva den kretsytan, vilket ändå är en 50 % ökning över dagens Cortex A77 som tar ungefär 1/3 av Lightning/Zen2.

Kirin 990 använder just Cortex A77, med ~1/3 så många transistorer är det inte så konstigt att den är effektiv. Dock klockas Cortex A77 högre än A13 Lightning, så en hel del av potentiella perf/W vinsten ryker nog där.

Här är Cortex A78 rätt spännande, den må bara ha ~7 % högre IPC över Cortex A77. Men Cortex A78 tar ~4 % mindre kretsytan än A77! Vid samma 1 W effektbudget ska A78 prestera ~20 % bättre än A77 enligt Arm (dock inte helt äpplen mot äpplen då man jämför A77 på TSMC 7nm och A78 på 5 nm, ISO-process lär man ligga närmare de 4 % som skiljer i transistorbudget).

Backa fem år och folk skulle ha skratta om man sa: Arm-baserad superdator!
Nu leder ett ARM64-baserat system den TOP500 lista du länkar.

Arm är lite halvkomplicerat då man i praktiken har tre separata ISA

• T32: används primärt i mikrokontrollers, Arms Cortex M serie använder T32

• A32: detta är det nog de flesta tänker på när man säger "Arm", d.v.s. 32-bitars Arm som har sina rötter i 80-talet. Dessa har aldrig kunnat konkurrera med x86 i absolut prestanda

• A64: lanserades så sent som 2011(!), detta är vad alla high-end Arm:ar använder. A64 står inte i relation till A32 som x86 står till x86_64. Likt de flesta ISA är x86_64 är utökning av x86, A64 är binärt en helt ny ISA och inte en utökning av A32. A64 innehåller flera detaljer som gör det lättare att bygga riktigt högpresterande kretsar (A32 är en smärre katastrof ur just den synpunkten)

Finns i.o.f.s. ett rykte att Intels Golden Cove ska ge ett rejält IPC lyft, pratas om ~50 % högre än Skylake.

Tror inte Apple kommer har speciellt stora bekymmer att migrera till ARM64, man verkar ju fått med sig de stora drakarna så många av de för MacOS riktigt viktiga programmen kommer finnas i ARM64 variant direkt eller kort efter introduktion.

Jämför det med hur Microsoft skött Windows-on-ARM64, inte ens deras eget MS Office finns i ARM64 version än (vilket säger en del där MS Office för MacOS ska finnas för ARM64 dag#1).

Tänkte själv skaffa en Surface Pro X, men vid lansering insåg man hur mycket det mer verkar vara en beta för Microsoft själva än något annat. Saker som WSL2, Visual Studio Code och flera andra saker har först nu (nästan ett år efter Surface Pro X släpptes) börjat hitta ut i ARM64 version, vissa är bara beta och andra "är på gång".

Windows världen sitter fast rejält i x86, där lär det inte ske något byte innan man riktigt kommit till slutsatsen att man måste byta, t.ex. om MacOS börjar kapa åt sig lite väl stor marknad. Skräcken för x86-gängen är ju att det nu kommer gå bedriva native ARM64 utveckling direkt på sitt desktop OS, det kommer än mer snabba på optimering av progamvara för t.ex. NEON (ARMs motsvarighet till SSE/AVX) och portning av programvara till ARM64. Möjliggör också enklare testning av ARM64 binärer som är avsedda för ARM64-baserad datacenter system.

Geekbench är specifikt designat för att testa peak-prestanda. Är därför enklast att se GB5 som ett test för prestanda-per-kärna, inte ens bärbara trottlar speciellt mycket när bara en kärna är lastad.

Multitrådtesterna i GB5 är inte helt värdelösa, men man måste inse vad de faktiskt mäter för att de ska kunna användas på något vettigt sätt. Då GB specifikt testar race-to-sleep blir resultatet: prestanda om värme och TDP inte sätter några begränsningar.

Detta syns väldigt bra om man tittar på hur AMD 4800U (8C/16T med maxboost på 4,2 GHz, TDP mellan 12-25 W) står sig mot 3700X (8C/16 maxboost 4,4 GHz med 65 W TDP).

Jämför man hur dessa presterar relativt varandra i Cinebench (som är en batch-workload som pågår relativt länge) och GB5 (race-to-sleep interaktiv last) så visar båda dessa benchmarks väldigt snarlika resultat när man kör på en enda CPU-tråd.

Om man däremot använder alla CPU-trådar ser man att peak-prestanda och långvarig kapacitet inte är lika hos dessa. 4800U kommer trottla ner till strax över 2 GHz i Cinebench då det inte går att köra 8C/16T snabbare på det TDP-utrymme som finns.

Även GB5 ser en viss mån av throttling i MT-testerna, dock inte i närheten samma nivå som i Cinebench eller andra saker som lastar alla kärnor under längre tid.

Samma sak gäller Arm i kontext av telefoner, det är visst mått av throttling när alla kärnor är aktiva.

Amazon har ju en plattform baserad på Arm N1, som i praktiken är en Cortex A76 med stöd för upp till 128 kärnor i samma krets. TDP utrymmet är långt högre än för en telefon, Amazon valde ändå att lägga sig rätt lågt då deras servers ska tydligen dra strax under 100 W vid full last (2,5 GHz oavsett om en eller alla kärnor är lastade, så där är det faktiskt noll throttling by design).

Bl.a. Phoronix har testat Amazons Arm. Observera att Cortex X1 har ~50 % högre prestanda vid samma frekvens som Cortex A76 medan Apple A13 har ~80 % högre!

m6g är Amazons Arm64 baserade Graviton 2.
a1 är Amazons Graviton 1, baserad på samma Cortex A72 som också används i RPi4. Arm har gjort en del framsteg de senaste åren...

Det visar om något ännu större fördel för Arm64 än vad GB5 gör. Och igår lär den kallduschen ha blivit ännu några snäpp obekvämare. Arm lanserade Neoverse V1, server-varianten av Cortex X1 med ~50 % högre prestanda per kärna än Neoverse N1 som används ovan.

En GPU i en bärbar kan sällan jämföras med en GPU i stationär, framförallt kan inte modeller som GTX1660 och liknande jämföras. De är väsentligt långsamma i en bärbar då modellerna har rejält nedskruvad TDP. Vidare är det inte alls osannolikt att diskar throttlar i en bärbar, framförallt om man har en stark CPU. Hade inte problem med SSD-trottling i tidigare laptops med SATA-SSD, men nuvarande bärbar med i7-8665U (maxfrekvens på hela 4,8 GHz) kan definitivt få disken (NVMe) att throttla om man bygger stora Docker-images, länkar stora projekt etc.

iOS och MacOS är faktiskt betydligt mer lika varandra än man kan tro. De kör samma OS-kärna, de delar alla grundläggande bibliotek (är bara vissa bibliotek relaterade till UI som är olika), de delar samma utvecklingsvektyg. Den sista punkten är väldigt viktig för att Apple övergång ska gå smidigt.

Historisk har det blivit en hel del jobb att byta CPU-arkitektur då man stöter på problem med att kod som kompilerar med den gamla kompilatorn inte gör det med den nya. Apple använder en teknik som kallas LLVM, en av de riktigt innovativa delarna där är hård separation mellan front-end, det som tar C, C++, Swift, Metal etc och spottar ut ett mellanformat kallat LLVM-IR. LLVM-IR är exakt samma oavsett om man tänker köra på x86, Arm64, RISC-V eller vad det nu må vara.

Detta tar bort alla tidigare problem med att kod inte ens kompilerar, det är ju samma kompilatorn oavsett om man bygger för x86 eller Arm64. Kvar är sedan back-end som tar LLVM-IR (d.v.s. vilket programspråk man startade med är irrelevant för back-end) och spottar ur sig maskinkod för den CPU man tänker använda.

För GB5 blir detta extra relevant. Är ju samma kompilatorn och om man ställer t.ex. Ipad mot kommande MBP med Apple silicon, även samma back-end som används här. GB5 använder väldigt få OS-funktioner, i princip används bara minnesallokering samt synkroniseringprimitiver för MT-testerna. I fallet iOS och MacOS är det ju samma systembibliotek och samma OS-kärna, d.v.s. inga problem att jämföra!

Mellan Windows, Linux och iOS/MacOS/Android finns skillnad i kompilatorn. Tror man använder MSVC++ för Windows, GCC används för Linux och LLVM används för resten. Jämför man samma CPU skiljer det en hel del (<=10 %) i GB4 mellan OS, men det är väldigt liten skillnad (några enstaka procent) mellan olika OS i GB5.

GB5 är en riktigt bra benchmark förutsatt att man inser vad den mäter, d.v.s. peak-prestanda på ett sätt som får framförallt bärbara x86 system att prestera väldigt högt i MT-testerna. Både Intels och AMDs U-serie modeller drar ~50 W i peak, men de kan bara göra det under några sekunder. Desktop och även dagens Arm kretsar har inte alls sådan stor skillnad mellan peak-effekt och effekten de kan hålla långvarigt.

Är väl ingen benchmark som i sig mäter effekt, men går alltid att räkna ut perf/W i vilken benchmark som helst bara man mäter mängden energi det tar att köra det man testar. Precis detta har gjorts med GB5, föga oväntat ligger ARM64 plattformarna lite högre där.

Orsaken att jag trycker på att man ska se GB4/5 primärt som tester för enkeltrådprestanda är att dagens CPUer, även laptop x86 (men börjar fallera där), fixar att hålla nära maximal frekvens under lång tid så länge bara en eller någon enstaka kärna är lastad. Så ST-testerna i GB5 blir då en väldigt bra måttstock då man testar "riktiga" program/bibliotek och man har en väldigt stor bredd. Cinebench fallerar ju kraftigt på sista delen, där testar man ett väldigt specifikt fall, ett fall som är relativt avvikande samt idag utförs långt snabbare på GPU.

MT-testerna i GB är däremot lurigare att tolka, framförallt på laptop x86 då de har enormt stor skillnad på peak-frekvens och den frekvens de faktiskt kan hålla mer än några sekunder. Race-to-sleep fall som använder alla CPU-trådar är väldigt ovanliga, vilket än mer gör MT-testerna luriga.

På uppsidan kan ändå påpekas att GB5 MT resultaten stämmer rätt väl överens med t.ex. SPECint/SPECfp-rate vilket ge vink om att för servers och desktops där peak-frekvens och långvarig frekvens är lika eller i alla fall snarlik kan man använda GB5. Styrkan hos GB5 är att man lyckas hitta en mix av tester som ger en bred bild av CPU-prestanda. GB3 och tidigare var raka motsatsen, de var horribla på just detta och att många fortfarande är så kritiska till GB visar bara: man får bara en chans att göra ett första intryck!

Ångande minnestester. GB4 hade faktiskt 3 deltester specifikt för att testa minneshastigheten. Dessa togs bort i GB5 då man konstaterade att rå minneshastighet har väldigt lite att göra med prestanda i den typ av arbetslaster man vill testa. Spel är väldigt mycket ett udda-fall sett till konsumentprogramvara i att påverkas av minneshastighet, de flesta programvaror vi kör på skrivbordet har nära nog noll skalning från RAM-hastighet. Implicit testas ändå RAM-hastighet i GB5 då vissa av de flyttalstunga deltesterna ser hyfsad skalning från RAM.

Just Opteron A1100 hade inte AMD-designade CPUer, den använde sig av Cortex A57. Cortex A57 användes tyvärr av flera företag som försökte ta Arm till serverrummet, det var dömt att misslyckas då Cortex A57 i princip är en Cortex A15 med ARM64 stöd och Cortex A15 var den CPU-designad för mobiler och pekplattor...

När Jim Keller fortfarande jobbade för AMD pratade han ofta om K12. Initiala tanken med Zen-mikroarkitekturen var att göra både en x86, Ryzen/Epyc, men även en ARM64, K12. Båda skulle använda samma mikroarkitektur, samma "back-end".

Svårt att säga vad som ledde till vad, men K12-projektet dog/lades på is samtidigt som Keller lämnade. Sett flera rykten om att Keller och ledningen inte var överens om K12 spåret, K12 verkar ha varit Kellers favoritbäbis under den tiden.

Möjligen kan vi ha fått första faktiska resultaten från Ipad Air 4 med A14. På CPU-sidan är det inte fullt lika bra som de tidiga läckta resultaten, däremot verkar GPU-resultaten vara bättre än tidigare indikationer.

Oavsett är Firestorm ett rent monster. Har börjar dyka upp en del resultat för i7-1165G6, Intels näst snabbaste Tiger Lake CPU. Den har högre prestanda per kärna än någon tidigare x86 CPU, ändå ser det ut som A14 slår den!

Sett till GB5 heltalspoäng per MHz når Firestorm precis dubbla prestanda jämfört med Zen 2, det är helt galet och borde rimligen resultera i helt fantastisk prestanda hos kommande Mac:ar.

För att sätta GPU-delens compute poäng på 12 571 i kontext ska det ställas mot Radeon RX Vega 11 (4800U) på 12 827 samt LP-Xe (i7-1165G7) på ~18 500.

Historiskt har 'X' varianten av Apples kretsar, t.ex. A12X, haft >= 100 % högre GPU-prestanda mot icke-X varianten. Svårt att se hur de kretsar som hamnar i MBP kommer vara mindre än minst lika snabba som A14X (som lär hitta in i Ipad Pro och eventuellt MBA), d.v.s. även Intels Xe lär tappa iGPU-prestandakronan till Apple innan året är slut.