AMD: "Samtliga Ryzen Threadripper får 64 kanaler PCI Express 3.0"

Att förutsätta att man behöver påkostade grafikkort för att göra avancerade arbeten tyder på en liten förenklad bild av verkligheten. Mycket av det jobbet som jag gör kräver inget som helst av grafikkort men kräver så många kärnor och så mycket RAM som jag kan få tag på.

Epyc är väl för serversegmentet (främst företag), Threadripper HEDT (High-End Desktop), främst privatpersoner.

Nu kommer jag köpa X399/Threadripper, men det är ju samma "problem"
Jag kommer köra en hypervisor på min och sedan ha 2 VM:ar med varsitt grafikkort utdelat + varsin nvme disk. Ytterligare en nvme disk för att boota hypervisorn.
Sedan skall det i 2 st 10Gbe kort. Detta blir 16+16+4+4+4+8+8=60 lanes. Var ju inte så svårt att göra slut på dom 48 eller var det nu var X399 plattformen hade

Tripple Crossfire och fortfarande tillräckligt med PCI-Express kanaler för att det ska räcka till annat.

Behöver du verkligen 8 lanes för 10 Gbit kort? Det låter väldigt mycket tycker jag.

Korten är 8X så det är inte mycket att göra, sen är det ju onödigt, precis som low-end grafikkort som är 16X när det hade räckt med 1X. Men det ser snabbare ut.

På Z270 t.ex. så är 16 kanaler reserverade för CPU:n och kopplade till 1x16X PCI-E eller 2x8X PCI-Express slot för ett eller två grafikkort. Så länge du använder ett grafikkort kommer det alltid gå i 16X.

Sedan finns det 14 ytterligare PCI-E kanaler på PCH:n (chipset) som är kopplade till CPU:n via en DMI 3.0 länk (motsvarande 4x PCI-E v3 eller ca. 3.94 GB/s). Dessa används för allt möjligt som Ethernet, ljud, M.2 slots o.s.v., eller så kan de göras tillgängliga som ytterligare PCI-E slots på moderkortet.
Så även om det finns 14 kanaler kan PCH:n och CPU:n bara kommunicera i ca. 30% av den hastigheten d.v.s. den totala hastigheten kan aldrig överstiga 4X PCI-E v3. Inget problem för vanliga gamers, men har du t.ex. 10 Gb/s Ethernet, ett par rejält snabba M.2 SSD:er, någon fet USB 3 SSD o.s.v. kan det bli en begränsning.

https://www.pcper.com/news/Motherboards/Intel-Z270-Express-an...

Och du tycker detta är en "nornal" användning? Du kan direkt kapa grafikkorten från 16x till 8x och då är du nere på 44 banor och sedan kan man ju verkligen fråga sig om 10Gbe kort behöver 8x. Utan att veta skulle jag gissa att de är lika snabba på 4x och då är du nere på totalt 36 banor.

Känns som PCIe banor har blivit det nya megapixelfenomenet.

Det kan bli en begränsning på ett Z270 chipset men knappast på ett X299 med en CPU som har 28 banor vilket var lite det som diskussionen handlade om.

Kan hålla med om att 16 PCIe banor som de "vanliga" CPU:erna från Intel och AMD Ryzen använder kan vara lite fattigt (kan fixas med PLX-chip). Skulle gärna se att 28 banor som finns på de enklare X99/X299 CPU:erna var standard.

För mig är det normal användning, men jag är nog knappast normalkonsumenten. Man kan definitivt som du säger klara sig med 36 banor utan att få sämre prestanda, men X370/Z270 ligger ju en bit under även det, därav mitt intresse för dom lite fetare plattformarna. Sen brukar ju virtualisering, IOMMU och sånt funka bättre på high-end grejorna vilket är hög prio för mig.

HEDT plattformarna är ju knappast riktade mot gamers då dom normalt har färre prylar i sina maskiner.

Givetvis finns det en anledning att lämna X370/Z270 för att man behöver fler PCIe banor. Gjorde själv det när jag ville testa 3-Way SLI 2015. Då behövde jag 28 banor och det enda alternativet var X99. Nu när SLI/Crossfire håller på att dö kanske behovet för HEDT minskar, vem vet....

Tror man kan hitta värre
https://www.youtube.com/watch?v=vL72lQ6dRZU

Sen förstår jag inte varför han testar en 65W Kylare @ 90+W... Tror ingen förväntar sig att den ska hantera 150% av sin spec... eller gör du? Inte så komplext att ordna en 65W CPU att testa med...

Vad är vitsen med en 65W kylare på en BCM2837 som genererar någon enstaka watt värme? (bortser från de praktiska problemen med en så pass stor kylare)

Om du bara är ute efter att det skall se fräckt ut så gör du nog bättre i att skaffa en kylare med lite mindre footprint, tex en northbridge kylare, overkill som attans men du slipper blockera allt på kretskortet

Evercool, nordbrygge kylare kanske.

Helt korrekt. Att man envisas att få strypta och begränsade saker, på en nivå där CPUer är trots allt flera tusen kronor.

Vet att jag låter så, och det ber jag ursäkt för. Men Intel har faktiskt gjort en hel del skit på senaste åren som de faktiskt måste få skit för. AMD gör och har gjort en hel del skit också... Fury var rent skit... Bulldozer också samma skit. Man måste kunna ge kritik där kritik behövs utan att kallas partisk dock.

Intel har gjort en satans bra CPU dock... 5775c, en CPU jag både gärna betalar mer för och har i datorn. Sval, snabb nog för allt enkelt, och effektiv som tusan i spel.

EDIT:
Titta här nu på MSIs nya moderkort
Så hur många av dessa M.2, PCI-E och U.2 disk platser kan du effektivt använda med dessa gimpade 16/28-lane CPUer?

Förstår du nu poängen jag försöker säga? Du köper ett dyrt fint moderkort, och kan inte använda det.

På MSI:s nya moderkort och en 28 banors CPU kan du använda ett grafikkort och fem SSD:er. 8+5x4=28. Så visst kan du använda ditt dyra fina moderkort.

x299 har samma DMI (3.0) som Z170 & Z270, d.v.s. 3.93 GB/s. Du har alltså enbart 4 kanaler till sydbryggar där samtliga diskar, nic, ljud etc är kopplade till.
Dessa 28 Kanaler är inte och kan inte bli uppdelade på de sätt som du beskriver.

För 28 kanalers x299 CPU får du:
Pci slottar 1x16 + 1x8 därefter går 1x4 till DMI

För 44 kanalers x299 CPU får du
Pci slottar 2x16 + 1x8 därefter går 1x4 till DMI

Moderkortstillverkare kan (ev.) konfigurera PCI slottarna för 44 kanalers CPU till t.ex. 1x16 + 3x8, så länge det är max 40st då 4 av dessa 44 är reserverade för DMI.

Du kan alltså inte ha 5 SSD:er direkt på 28 kanalers CPU:n, måste då gå via chipset over DMI 3.0.
Däremot kan du ha den andra "grafikkort" PCIe slotten som är på x8, ett M.2 PCIe kort och ha SSD:n där. Men då blir det 2st x4 eller 4st x2 NVME. (Men varför betala en hel del extra för det..)

AMD har på I/O sidan utöver de vanliga PCIe till grafikkort och koppling till RAM, en extra PCIe + en USB kontroller på CPU:n.
Då kan du koppla 4st USB 3.1 Gen 1 samt en NVME över PCIe x4 (eller sata över x2 + NVME över x2) direkt på CPU utan att blanda in chipset. Därefter på Ryzen är det desamma med överföring på PCIe x4 till chipset (undrar hur TR kommer ha det, nästan så att kan kan ha ett sydbryggsfri design )
För intel måste all I/O utöver grafikkort och ram gå över DMI (PCIe x4)

Du kan alltså maxa DMI 3.0 /PCIe x4 om du kopierar mellan 2 NVME diskar, inte en deal breaker begränsning för vanliga konsumenter dock.

Det som @Paddanx pratar om är att du betalar för ett svindyrt premium-moderkort så är chipset I/O ändå begränsat till PCIe x4

Jaså... så du tror det är så det är balanserat? Tvivlar på det personligen, och tror mer att du kommer få 16x på GPUn, för att sen inte ha banor till de andra, då som jag sa ovan... du väljer det inte, moderkortstillverkaren gör, och jag tror de prioriterar SLI/CF... eller har 2x GPUer nu blivit en gammal teknik också enligt dig?

Och den 3:e kortplatsen då? Om du nu har fått exakt som du vill så vi säger att du har bara 1 GPU, och 5 SSDer. Kanske lite nätverksprestanda är i sin ordning då? Men du kan ändå inte använda den sista PCI-E platsen alls... Antar att 10Gbit NIC kortet inte fick vara med. Eller capture kortet för streaming?

Det är väldigt kul att höra hur du accepterar dessa budget lösningar på en entusiast plattform. 5000kr CPU, 2000kr+ moderkort... och tyvärr du kan inte köra SLI/CF eller några andra saker alls och detta är "okej"...?

Kommentaren du skrev ovan om jag uppenbarligen inte kan hålla mig opartisk vänder jag nog mot dig här.

För du istället för att ens kunna se problemet som är väldigt tydligt visat, och verkligen påverkar ett större bygge där vi trots allt tittar på nästan 10kkr för bara moderkort, CPU och RAM, i entusiast klass, anser att man nu ska köra 1 GPU och inga andra kort, bara för att kunna använda SSD platserna. Kan man inte se detta som ett problem, så är du inte direkt vidare opartisk heller här.

Och jag säger så här... vill du ha din åsikt, ha den, det är dina pengar och ditt beslut. Men kom då inte och gnäll på min "opartiska sida" om den när jag påpekar ett problem som trots allt finns och kan påverka en hel del potentiella köpare (även om det inte är dig specifikt).

Dina rants angående CPU:er har nu överstigit min toleransnivå. Lycka till med dina framtida noveller, jag lyssnar inte längre. Kan mycket väl tänka mig att lyssna på dig i andra sammanhang men inte när det gäller CPU:er.

Fast hur mycket "number game" är det där och hur stor praktisk betydelse har det? Rent teoretiskt klarar DMI-gränssnittet att hantera bulkkopering från två NVMe diskar som båda maxar sin 4x PCIe länk, det då kapaciteten är motsvarande 4x PCIe som har ~1 GB/s per kanal och riktning.

Applicerar man samma "number game" på Threadripper och gluttar lite högnivåstrukturen hos kretsen så går hälften av all I/O till enda 8-kärnorsdelen och hälften går till andra 8-kärnorsdelen.

L3$, I/O och RAM sitter alla kopplade till en Infinity fabric krets internt, bandbredden på denna är totalt RAM-frekvens * 256 bitar = 2666 / 2 (DDR4-2666 är högsta officiella hastigheten, frekvensen är 1333 MHz) * 256 / 8 (8 bitar per byte) = 43 GB/s

All I/O och alla RAM-accesser som går mellan 8-kärnorns blocken går via en annan Inifinity Fabric koppling som binder ihop de två kretsarna som utgör Threadrippers MCM-lösning. Denna koppling sitter sedan kopplad till respektive krets interna Infinity Fabric.

Så all I/O och alla RAM-accesser ska samsas på 43 GB/s, som jag förstår det är det totala bandbredden (annars skulle det behövas två 256-bitars linor). Även om det är noll RAM-accesser från CPU-kärnorna kan designen hantera I/O från mindre än hälften av alla PCIe-banor (tänk på att dessa kan köra data i full hastighet i båda riktningarna).

Är något av ovan ett problem i praktiken? Knappast för den tänka publiken för dessa plattformar. För vissa servertillämpningar kan båda vara ett problem, borde rimligen finnas en anledning till att Intel har mer än dubbelt så mycket intern I/O-bandbredd i Skylake (Omni-Path har en kapacitet på ~100 GB/s) och ovanpå det hanteras RAM-accesser utöver denna kapacitet (så där tillkommer motsvarande 6 DDR4-kanaler till med bandbredd).

Vad det gäller NICs. Man behöver lite drygt 1 PCIe 3.0 kanal för 10 Gbit/s. Tyvärr är det "lite drygt" så i praktiken 10 Gbit/s nätverkskort 4x PCIe för en länk, 2x är långt mer än nog för PCIe 3.0 men nästan alla instickskort tar även höjd för PCIe 2.0.

För Threadripper vill man ha separata NICs per NUMA-zon, det för att slippa I/O-trafik över Infinity Fabrik som binder ihop 8-kärnors zonerna. Detta slipper man bry sig om på Intels X-serie, det är en monolitisk krets så finns ingen teknisk nackdel att två virtuella instanser delar ett dual-NIC kort.

Poäng? Sifferexercisen där antal PCIe-lanes jämförs är i det närmaste totalt meningslös. I majoriteten av fallen lär det spela noll roll, precis som att saker som behöver max 4x PCIe kan utan problem kopplas mot sydbryggan då AMD/Intels länk dit knappast kommer bli flaskhals i praktiken.

Om man har en så pass krävande lösning att man slår i flaskhalsar kring I/O bör man nog tänka igenom alla flaskhalsar som finns i systemet (antal PCIe-banor är långt ifrån den enda parametern...).

+1 på det!