Intel Skylake-X med upp till 12 kärnor ingår i Core i9-serien

Uttjatat, men är nog få ställen som just för cache-design som uttrycket: det är inte storleken som räknas, det är hur du använder den... är så träffsäkert.

Om storleken på cache var den överlägset viktigaste parametern skulle Intel ha haft stora problem genom åren. Framfördes också väldigt mycket kritik kring designen i Nehalem när det stor klart att man minskade storleken på L2$ från 2 MB i Core2 till 256 kB. Kritikerna tystade rätt snabbt när såg hur Nehalem stod sig prestandamässigt mot Core2.

Den viktigaste egenskapen för en cache varierar beroende på arbetslast. För de flesta interaktiva applikationer, d.v.s. de applikationer vi typiskt kör på skrivbordet och där det finns ett stort mått av människa-dator-interaktion, vill ha lägsta möjliga latens.

En cache-miss ger väldigt hög latens, så en stor cache är absolut en fördel.
Men ju större man gör en cache, ju högre latens får den (och den drar mer ström) vid en träff. Så man vill bara ha en tillräckligt stor cache för att de flesta minnestransaktioner träffar cache. Specifikt L1$ måste vara riktigt liten då man inte vill se mer än några enstaka cyklers latens här. För L2$ har olika tillverkare kört lite olika nivå, Intel har siktat på 10-11 cykler, nästan alla andra har kört med en större L2$ och ~20 cyklers latens (inklusive AMD innan Zen).

Fast saker är långt mer komplex än så... Siffrorna på latens som man ser är tyvärr bara "best-case load-to-use", d.v.s. latens för ett läsanrop på en cache-line som nyligen används av samma kärna. Tittar endast på den siffran har numera Zen samma L2$ som t.ex. Skylake, det trots dubbelt så stor cache. Så AMD är bättre på cache-design?

Bilden ändras en hel del när man tittar på latens för cache-miss, latens för fallet där man får en cache-hit men på en cache-line som inte används på ett tag och fall där prefetcher inte har en möjlighet att gissa rätt.

PcPerspective har precis tittat lite på detta, access inom samma "page" (inom 4 kB i normalfallet, undviker TLB$ miss) så är det helt plötsligt enorm skillnad i latens mellan Kaby Lake och Ryzen (den förra har mer än en faktor 3 lägre latens)

Edit: det PcPer tittar på är egentligen minneslatens, men minneslatens är kraftigt beroende på cache-design. Bilden är främst för att illustrera hur hopplöst det är att beskriva prestanda för dessa saker med en enskild siffra.

Och om det inte vore komplicerat nog. Många serverlaster är långt mer känsliga för bandbredd genom cache än för latens (latens är fortfarande viktigt även här, men inte alls lika kritiskt som för desktopprogram). Ser mycket ut som Intel nu anser att en cache-design för alla segment inte längre håller, ju fler kärnor man har ju mindre användbar är CPUn för interaktiva laster och vice versa. Så ju flera kärnor man har, ju viktigare blir bandbredd över latens.

Ett kanske mer smakligt uttryck än det inlägget startade med är: cache is king!