AMD levererar andra generationens Ryzen Threadripper till partner

@Yoshman

En liten kommentar från någon som är bandbreddsbegränsad

En mycket bra benchmark för hur olika processorer klarar laster där minnesbandbredd är helt avgörande finns i denna länk:

https://openfoamwiki.net/index.php/Benchmarks

EPYC är närmast löjligt bra när det gäller prestanda/pris. Threadripper Gen2 kommer också vara ett fortsatt halvbra alternativ för billiga byggen, även om 7820X (överklockad, syns inte i grafiken, men finns info i tråden på cfd-online.com) är ett bättre budgetalternativ.

Av någon anledning verkar sweet-spot vara 2 kärnor per minneskontroller. Så en högt klockad 16 kärnig EPYC skulle vara mumma.

Det är ju dock pga de är rätt färska, och OEM har en rotationstid på förändringar som polarisen.

Just att du kan få 4TB RAM, 128 trådars maskin är något Intel inte kan leverera. Enda fördelen Intel har eg är frekvens, som du måste klocka till. Och du diskuterar värme, effekt som något negativt tidigare, och sedan pressenterar Intels-X i 4.9Ghz som om de drog 100W...

Njae... jag tror mer det är att du vill ha en enkel lösning du vet hur du ska lösa, och väljer att tänka som en OEM. Du vet hur du ska lösa Intels "problem" idag, och tror du kan fortsätta göra det.

Intel kan omöjligt leverera vettiga nästa gen 16+ core CPUer... glöm 5Ghz... glöm tom 4Ghz+ på dem. Deras 10nm kan det inte. Enda alt är att stanna på 14nm++, och hoppas Coffee arkitekturen kan skina där, vilket den kanske kan... men utvecklingen lär stanna.

Det du lär vinna mest på med Intel nuvarande vs gamla idag är alla säkerhetshål, som de nu också hittat fler av (som inte säkert hinner fixas till hösten). Så prestandan du kan använda när alla hål lappas är rätt märkbar sämre än många grafer som stolt visar dem opatchade, i just server miljön. Här kommer nog nästa års krig ligga rätt bra.

AMD är inte "perfekt".... långt från, men de har fördelar Intel inte har och en framtidsplan som verkar hålla och en arkitektur som de lätt kan få stora förbättringar i. De kommer verkligen röra om i den grytan när Intel inte längre kan göra sina 28+ core CPUer pga usel yield, men AMD kan göra 32 core+ utan problem. Så på sikt... är Intels iCore dömd att gå i graven nu. Och deras nod fördelar tog slut här med Coffee och 14nm++. Allt detta står i nyheter och info om tekniken... svart på vitt.

Det jag markerade får du gärna ge belägg för.

?

Om man total skiter i prislapp, och för de som ens överväger RAM i TB-nivå kommer priset på CPU inte riktigt vara den komponent som kostar mest, så ligger gränsen för Skylake SP utan extra "glue-logic" på totalt 448 trådar och 12 TB RAM. Det är något man kunnat leverera sedan förra sommaren.

Precis som dual-socket Epyc (som är det du refererar till) har en maximalt konfigurerad Skylake SP totalt 8 NUMA-zoner. Antal PCIe är 384 st + 20 * antal sydbryggor (normalt har man 2-4 st i en sådan konfiguration).

D.v.s. Epyc är överhuvudtaget inte en konkurrent mot Xeon Platinum. Skulle hävda att Epyc inte riktigt når ovanför Gold 5xxx serien vilket är vad som ihop med Silver ungefär motsvarar gamla E5 26xxx. Gold 6xxx går att ta upp till 176 CPU-trådar, 192 PCIe från CPU och 6 TB RAM.

Det som nog kom som en kalldusch för AMD, framförallt när man läser hur de initialt positionerade Epyc mot Xeon Broadwell, är att det segment man primärt riktade in sig på förändrades totalt när Skylake SP släpptes.

Helt korrekt noterar man i sitt whitepaper att det tidigare kräves en $2000 CPU från Intel om man ville ha stöd för RDIMM och fler än 16 PCIe mot CPU. Idag kan man köpa Xeon Bronze för $220 styck, d.v.s. $440 för dual-socket konfig. Det ger totalt 12 CPU-kärnor, 96 PCIe + 20 från chipset och total RAM-kapacitet på 1,5 TB (RDIMM+ECC).

Vad vi sett de senaste 9 månaderna är att Intel ökat sin omsättning från Xeon med >20% YoY sedan Skylake SP lanserades. Omsättning från Epyc går knappt att märka i AMDs rapport.

Gå in och provbygg Dell PowerEdge med billigaste Epyc CPUn (7251 som har 8C/16T i PowerEdge R6415). Matcha sedan diskar, RAM, etc i en PowerEdge R640 (som använder Skylake SP).

För motsvarande pris, ~25,000 SEK, får man i en Xeon Silver 4114 som har 10C/20T. Då lade jag ändå till separat dual 10 Gbit/s NIC för båda, borde inte behövas på Intel då alla chipset-versionen utom den absolut billigaste har minst två 10 Gbit/s NICs integrerade i chipset (så där kan man spara ~2k).

Det ignorerar också helt att Intel-maskinen har en NUMA-zon, single socket Epyc har fyra NUMA-zoner. Lång ifrån alla program hanterar multipla NUMA-zoner bra. AMDs rapport pekar ju på att 30-40 % av alla servers har tidigare bara använt en socket, tror de missade att prislappen nog inte vara det primära i många fall utan man har saker som skalar illa över flera NUMA (är ofta billigare att köpa två separata CPUer än en med samma teoretiska kapacitet).

SP i Skylake SP står för "scalable platform". Tyvärr för AMDs del är det något som inte bara är PR, det går att sätta ihop en Skylake SP plattform som täcker i princip vilket fall och plånbok som helst. Bara för att det finns en modell med listpris på 80k betyder inte det att allt är dyrt...

Threadripper är väl i första hand en skojig workstationprocessor, inte för serverbruk.
Men det går ju att köra det mesta på det mesta, sen om det är ekonomiskt vettigt vs. Xeon är en annan femma...

Men jag vet företag som sitter och renderar hela dagarna, och de är nöjda med Threadripper i alla fall, än så länge.

Latensen skalar linjärt i ring-buss designen med antal kärnor, den skalar i genomsnitt som roten ur antalet kärnor i mesh-arkitekturen. En ring-buss är mycket enklare att den kan klockas väsentligt högre vilket i praktiken visar sig i att ring-bussen är vettigare upp till runt 10-12 kärnor (för latens, för bandbredd blir mesh-designen vettigare lite tidigare).

Det man måste ha väldigt klart för sig när man jämför ThreadRipper och SKL-X samt Epyc och Skylake SP är att AMD MCM-design är förutom paketering identisk med multi-socket design hos Intel.

Även här fick sig nog AMD en kalldusch, för MCM har fördelen av kortare avstånd vilket från rena fysiska begränsningar betyder lägre latens (bandbredden är rätt opåverkad). Inter-kretslatensen är också något bättre hos TR/Epyc jämfört med QPI hos Broadwell, men i Skylake SP ersattes QPI med UPI (ultra-path connect) där inte bara namnets ändrats utan det är en tekniskt bättre lösning.

Effekten blev att en quad-socket Skylake SP har högre bandbredd och något lägre latens mellan CPU-sockets än vad Epyc har mellan CPU-kretsar i samma paket, något som bl.a. ServeTheHome tittat lite på.

Vilket betyder att MCM inte är någon jättestor fördel då samma sak kan åstadkommas med flera sockets. Ja, det senare är något dyrare (men mindre skillnad än man kan tro när motsvarande kapacitet jämförs), det förra låser fast användaren vid att alltid tvingas välja två NUMA-noder (ThreadRipper, som inte riktigt är en serverplattform) eller fyra NUMA-noder.

Att det här med skillnaden i logisk uppbyggnad inte är lätt att pussla ihop ser vi i kommentarer likt denna:

Det är helt sant, Intel är inte kapabla till >4 GHz med 16 kärnor. Men det är AMD heller, faktum är att AMD har idag ingen CPU med fler än 8 kärnor. Man har däremot ett paket med 4 CPU-kretsar, men inom paketet är saker inte mer integrerade på elektrisk nivå än vad de är i Intels multi-socket system.

Gör man i stället en betydligt mer äpplen mot äpplen så ser vi att 2017 kunde Intel erbjuda 4x 12 kärnor på upp till 4,2 GHz maxfrekvens. Rent logiskt (och även praktiskt sett till hur programmen upplever systemet) är det system identiskt med en Epyc paketering. Så sett ur den synvinkeln går det redan att köpa system med 48 kärnor med maximal frekvens på 4,2 GHz, det på 14 nm+ (Skylake SP delar tillverkningsnod med desktop Kaby Lake, under detta år kommer Cascade Lake på 14 nm++).

ThreadRipper drar jämnt med Skylake SP med motsvarande antal kärnor förutsatt att problemet består av många oberoende enkeltrådade applikationer, d.v.s. latens mellan kretsens olika delar är irrelevant. Om latens eller bandbredd mellan kärnor är viktigt är TR chanslös, Skylake SP (och även SKL-X) har ungefär halva latensen och nästan en tiopotens högre bandbredd mellan kärnor jämfört med vad man har mellan CPU-kretsarna i TR.

Och då har TR ~80 % högre bandbredd krets till krets då TR har två länkar mellan sina två CPU-kretsar medan Epyc har något högre klockade länkar, men en länk går till varje av de tre andra kretsarna. Latensmässigt verkar det inte vara något relevant skillnad mellan Epyc och TR.

Epyc har så här långt definitivt hittat en nisch där den är en klart bättre match jämfört med Skylake SP: HPC-laster som fungerar väl på kluster och är väldigt beroende av minnesbandbredd. Går att bygga en snabbare Skylake SP, bara välja 4-8 kärniga modeller och fyra sockets (vilket ger 4x 6-kanaler mot Epycs 4x 2-kanaler). Men i dessa fall har man normalt väldigt många CPUer, så går inte att motivera prisskillnaden (och fördelen med 6-kanaler över 2-kanaler per CPU är allt annat än linjär).

Akilleshälen med att alltid vara låst till fyra NUMA-noder är, förutom de fall som redan diskuterats, I/O! Detta är ett problem med tanke på vad de flesta server används för. I/O är ett problem då bara 1/4 av CPU-kärnorna (1/2 på ThreadRipper) har riktigt låg latens mot varje specifik I/O-enhet.

ThreadRipper/Epyc har inte 64/128 PCIe, de har 2x 32 st resp 4x 32 st (dual-socket Epyc har 8x 16 st) vilket spelar roll för nätverkstrafik och disk-trafik med väldigt hög I/O-frekvens. Med Infiniband (och möjligen 100 Gbit/s Ethernet) blir det både ett latens och bandbreddsproblem! Redan vid 10 Gbit/s Ethernet utrustas vissa dual-socket system med en NIC per NUMA-nod (våra system är uppsatta så), blir inte speciellt prisvärt om man ska behöva fyra st av varje kritisk I/O-enhet per CPU-sockel...