Review: Intel Core i9-7900X (14nm Skylake-X)

Läs och begrunda någon släppte den innan måndag.

BTW: Kolla in SGEMM resultatet i GB för i9-7900X (Single precision floating General Matrix Multiply), GB4 använder samma bibliotek som t.ex. programspråket R, Octave och en rad andra open source verktyg för vetenskapliga beräkningar. i9-7900X har lika hög flyttalskapacitet med en kärna än vad R7-1800X har över alla åtta (för sådant som kan vektoriseras, för "vanliga" flyttal är inte SKL-X bättre än SKL-S och här är Ryzen grym)!

Nej, är MSVC på Windows, GCC på Linux och LLVM på OSX. Jag kör en del "R", på Ubuntu med R + OpenBLAS ur Ubuntus standardarkiv (som är helt byggt med GCC) får jag mer eller mindre identisk FLOPS som i GB4 (så min tvåkärniga i7-6650U matchar nästan en R5-1600 i SGEMM).

GCC > MSVC samt LLVM > MSVC nu för tiden, i just GB får man också högre resultat på Linux och OSX. Men just fallet OpenBLAS så är det AVX2+FMA alt AVX512+FMA via compiler instricts så just detta deltest presterar i det närmaste identiskt oavsett kompilator.

Edit: Ah, ser vad du menar med att det inte borde vara x8 bättre. Teoretisk sett har Zen samma kapacitet för SSE som AVX, det är ett designval man gjorde för att hålla ner antalet transistorer. Vidare är i9-7900X klockad till 4,5 GHz när max två kärnor är lastade.

Så borde vara 4(AVX512 vs SSE)*4,5/4 (frekvensskillnad) = x4,5

Men sedan är FMA den enda x86 instruktionen som tar 3 argument, det blir två "loads" och en "store" för en enda instruktion. Haswell och senare kan göra två load/store och en store per cykel, Zen kan göra två load/store per cykel. Så i praktiken verkar FMA instruktionen inte kunna nå teoretiskt max för Zen, det kan inte riktigt Haswell/Broadwell heller (de når ~80-85 % av max i praktiken, flaskhalsen här verkar vara för låg cache-bandbredd för att maxa AVX+FMA) men Skylake når över 95 % av teoretisk max i praktiken.

Syns även i detta test (från en AnandTech-tråd). Även detta test använder AVX2+FMA, alla modeller har 4C/4T aktiverade och kör 3,5 GHz.
http://i.imgur.com/OLiJZDz.png

Sedan angående AVX512. Den största fördelen med AVX512 är egentligen inte dubbel teoretiskt flyttalsprestanda (inte utanför HPC och program för vetenskapliga beräkningar). Det viktigaste man lagt till är finesser som kraftigt ökar flexibiliteten i hur man kan hantera kod som har villkorad körning där olika "lanes" tar olika väg.

Med SSE går det knappt att hantera villkorad körning (går men ineffektivt), så saker som matrismultiplikation och andra rena matematiska beräkningar är egentligen det enda som fungerar riktigt bra. AVX fick VMASKMOV, något som gjort det praktiskt möjligt att använda högnivåspråk för SIMD-programmering ("compiler instricts" suger som programmeringsmetod, avsaknad av möjlighet till att använda högnivåspråk är en väldigt stor orsak att SIMD inte används mer så här långt). AVX512 tar det ett jättekliv till genom att införa speciella register för att kunna maska "lanes" för i princip alla operationer, AVX512 fungerar därmed väldigt nära moderna AMD/Nvidia GPUer. D.v.s. varje AVX512 ALU (finns totalt tre SIMD-pipelines i Skylake) är som 16 CUDA/stream-"kärnor".

Att skriva program så de skalar är svårt. Vissa problem kan överhuvudtaget inte skalas över CPU-kärnor, men vissa av de problem kan skalas med SIMD. Andra problem (som t.ex. matrismultiplikation) går att skala både över kärnor och SIMD (och kan göras samtidigt vilket är exakt vad bibliotek som OpenBLAS gör).

Varken många kärnor eller SIMD är magiska, kommer fortfarande finnas (relativt många) problem som inte går att skala med någon av metoderna (de som är strikt sekventiella). Men dumt att inte utnyttja flera kärnor när det går, men minst lika dumt att inte utnyttja SIMD när det går då man lämnar upp till x4-16 (SSE-AVX512) prestandaboost på bordet för single-precission floats och 32-bit heltal (x2-8 för DP och 64-bit heltal).

AVX512 är användbart och jag hade hoppats att Ryzen skulle stödja det. Det är ju användbart i många fall.

Samtidigt så är det ju en benchmark som är lite speciell då få program stödjer det än. Kanske lite i stil med följande (från https://www.aida64.com/):

https://www.aida64.com/sites/default/files/shot3_hash_ryzen_en.png

Kanske inte helt jämförbart, men vill man visa på stora skillnader så duger den här också.

En stor skillnad: AIDA64, CPU-Z, Geekbench m.fl. ger resultat som i många fall har väldigt lite bäring på något verkligt program.

Just SGEMM-deltestet visar något som har en direkt koppling till hur lång tid dina beräkningar av stora matriser kommer ta i existerande program. I Matlab, Octave och Matematica behöver du inte göra något alls för att få denna prestanda, i "R" märkte jag att man själv måste installera OpenBLAS biblioteket (men ska gå att köra "R" med andra bibliotek som t.ex. MKL).

En annan stor skillnad också: hög prestanda för matrisoperationer är en generellt användbar egenskap inom väldigt många områden då väldigt många simuleringar och vetenskapliga beräkningar man beskrivas med matriser. Fallet du länkar för Ryzen, CPU HASH, är inte i närheten lika generellt + Zen är väldigt snabb på detta då den har HW-stöd för hash-operationer (så prestanda du ser där är helt irrelevant om du inte gör SHA)!

Poängen kring AVX512: den stora fördelen här är att man ökar mängden problem som effektivt kan lösas med SIMD. "SI"-delen i SIMD gör det utmanande att hantera fall med villkorad körning och utan relativt effektiv villkorad tappar man många potentiella fall.

Omöjliga områden för SIMD som ändå är parallella är där man utför olika saker samtidigt, detta problem går dock att lösa med flera CPU-kärnor.

Omöjliga områden för flera CPU-kärnor som ändå är parallella är fall där del-problemen ofta måste ha del-resultat från något som kör parallellt (vissa typer av flödessimuleringar samt x265 kodning är två exempel), detta problem går dock att lösa med SIMD (dessa fall går normalt inte att lösa effektivt med en GPU heller!).

Det här med parallellaprogrammering är svårt då det inte finns en generell lösning (något man trots allt trodde/hoppades på så sent som för ~10 år sedan). Framtiden för datorer är lite som framtiden för drivmedel till bilar. Bensin har används då det är energitätt, relativt billigt och finns i massor. Tyvärr verkar det inte finns någon bra generell ersättare. Att höga enkeltrådprestanda var under många många år en lysande lösning, allt blir snabbare utan att man behöver göra något alls. Nu kommer vi få massor med olika lösning + vissa problem går tyvärr inte att hantera bra (de strikt seriella).

Nej, är MSVC på Windows, GCC på Linux och LLVM på OSX. Jag kör en del "R", på Ubuntu med R + OpenBLAS ur Ubuntus standardarkiv (som är helt byggt med GCC) får jag mer eller mindre identisk FLOPS som i GB4 (så min tvåkärniga i7-6650U matchar nästan en R5-1600 i SGEMM).

GCC > MSVC samt LLVM > MSVC nu för tiden, i just GB får man också högre resultat på Linux och OSX. Men just fallet OpenBLAS så är det AVX2+FMA alt AVX512+FMA via compiler instricts så just detta deltest presterar i det närmaste identiskt oavsett kompilator.

Edit: Ah, ser vad du menar med att det inte borde vara x8 bättre. Teoretisk sett har Zen samma kapacitet för SSE som AVX, det är ett designval man gjorde för att hålla ner antalet transistorer. Vidare är i9-7900X klockad till 4,5 GHz när max två kärnor är lastade.

Så borde vara 4(AVX512 vs SSE)*4,5/4 (frekvensskillnad) = x4,5

Men sedan är FMA den enda x86 instruktionen som tar 3 argument, det blir två "loads" och en "store" för en enda instruktion. Haswell och senare kan göra två load/store och en store per cykel, Zen kan göra två load/store per cykel. Så i praktiken verkar FMA instruktionen inte kunna nå teoretiskt max för Zen, det kan inte riktigt Haswell/Broadwell heller (de når ~80-85 % av max i praktiken, flaskhalsen här verkar vara för låg cache-bandbredd för att maxa AVX+FMA) men Skylake når över 95 % av teoretisk max i praktiken.

Syns även i detta test (från en AnandTech-tråd). Även detta test använder AVX2+FMA, alla modeller har 4C/4T aktiverade och kör 3,5 GHz.
http://i.imgur.com/OLiJZDz.png

Sedan angående AVX512. Den största fördelen med AVX512 är egentligen inte dubbel teoretiskt flyttalsprestanda (inte utanför HPC och program för vetenskapliga beräkningar). Det viktigaste man lagt till är finesser som kraftigt ökar flexibiliteten i hur man kan hantera kod som har villkorad körning där olika "lanes" tar olika väg.

Med SSE går det knappt att hantera villkorad körning (går men ineffektivt), så saker som matrismultiplikation och andra rena matematiska beräkningar är egentligen det enda som fungerar riktigt bra. AVX fick VMASKMOV, något som gjort det praktiskt möjligt att använda högnivåspråk för SIMD-programmering ("compiler instricts" suger som programmeringsmetod, avsaknad av möjlighet till att använda högnivåspråk är en väldigt stor orsak att SIMD inte används mer så här långt). AVX512 tar det ett jättekliv till genom att införa speciella register för att kunna maska "lanes" för i princip alla operationer, AVX512 fungerar därmed väldigt nära moderna AMD/Nvidia GPUer. D.v.s. varje AVX512 ALU (finns totalt tre SIMD-pipelines i Skylake) är som 16 CUDA/stream-"kärnor".

Att skriva program så de skalar är svårt. Vissa problem kan överhuvudtaget inte skalas över CPU-kärnor, men vissa av de problem kan skalas med SIMD. Andra problem (som t.ex. matrismultiplikation) går att skala både över kärnor och SIMD (och kan göras samtidigt vilket är exakt vad bibliotek som OpenBLAS gör).

Varken många kärnor eller SIMD är magiska, kommer fortfarande finnas (relativt många) problem som inte går att skala med någon av metoderna (de som är strikt sekventiella). Men dumt att inte utnyttja flera kärnor när det går, men minst lika dumt att inte utnyttja SIMD när det går då man lämnar upp till x4-16 (SSE-AVX512) prestandaboost på bordet för single-precission floats och 32-bit heltal (x2-8 för DP och 64-bit heltal).

Då förstår jag varför det inte blev runt 2x som man antar vid AVX2 vs AVX512. Visste inte att Ryzen var såpass svag på SIMD och att även om de har AVX2 instruktioner så är det bara SSE kapacitet. Bra att veta då jag har funderat på att skriva lite SIMD kapabel OpenCL till ett planerat projekt som lär vara väldigt lätt att skala. Hmm, jag undrar om AMD vill hellre se HSA inom HPC då som du säger så tjänar dem lite samma syfte.

Besviken på prestandan då en 6950X presterar likvärdigt i en del applikationer och ibland tom är snabbare. Dessutom har saknad den lödd IHS, vilket är ett skämt för en CPU som kostar 10Tkr, endast 44 PCI-E banor, och blir fruktansvärt varm vid överklockning. Det är tragiskt att jag ska behöva delidda en HEDT CPU för att få temperaturer som kan anses rimliga.

Blir också kämpigt när Threadripper släpps med 16 kärnor och lödd IHS för 9-11Tkr, och på sätt och vis konkurrerar denna CPU även med Ryzen 7 och 7820X, ironiskt nog, fast då har Intel segmenterat med PCI-E banor istället vilket är rimligt om den sätts i jämförelse med Ryzen 7.

Hade dom haft lödd IHS på denna serie hade jag med glädje köpt någon av i9, tom den 18 kärniga, men som det är nu så är det en dealbreaker.

Spännande år hursomhelst.

MVH