Om AMDs Vega 10!

"Att döma"... "Jag tolkade"... "Du kan inte"...

Vet du ens vad du själv håller du på med? Det får stå för dig om du har problem att uppfatta ett solklart inlägg. Texten är till en bild i det ursprungliga inlägget, en så kallad bildtext och det har fortfarande inte haft med frekvens att göra. Inlägget har inte redigerats och skall inte så göras heller så det är bara att bita i det tills du greppar. Sen kan du få tjata och försöka vända det till helvetet fryser till is. Du är dig lik sist i en viss AM4 diskussion där du inte fattade. Jag avsäger mig att diskutera med dig överhuvudtaget någonsin mer då forumet inte är till för tjafs, vilket så blir med dig. Är väl antagligen därför dom fick gå in och städa i tråden...

Ja hårdvaran är kapabel till det så det vill helt klart till optimeringar i drivrutinerna som vi inte fått något av ännu. Frostbite är grymma på att knacka motorer, men det är desto mer upp till drivrutinerna i sämre optimerade spel att "reparera" och hitta "workarounds" på många problem/stalls som uppkommer, speciellt i dåliga portar av konsollspel. Detta gapet minskar ju dock i spel som kör t.ex Vulkan och där spelutvecklarna har betydligt mer ansvar för hur motorn rullar på en viss hårdvara, speciellt konsolspel som numera optimeras för GCN.

Ang konsoloptimeringar så är det exakt det man gjort. Man använder både async compute och anropar instruktionsuppsättningar med t.ex SIF på GCN i Doom. IDTech6 (Wolfenstein 2) och Farcry 5 blir ruskigt intressant att se hur det kommer fungera på Vega, men även fler titlar försås.

Kanske bra att länka var data kommer ifrån i en sådan här bitvis het debatt

Dvs, hade FuryX inte vart starkare per klockcykel än Vega64 så hade det aldrig kunnat prestera bättre i någon speltitel alls, så återigen, FuryX har högre IPC även om vi får se besvikna siffror i majoriteten av spel vilket inte beror på GPU'n i sig självt.

Mer seriöst: självklart finns det säkert områden där Vega är mer effektivt jämfört med Fury X räknat per klockcykel, men "IPC" för ett grafikkort är en väldigt svepande term.

Vad det här resultatet ger en stark indikation av är att i de spel som testades är den primära GPU-flaskhalsen någon del av kretsen där Fury X och Vega64 presterar i det närmaste identiskt.

Över alla titlar ser det ut så här

Subtraherar man Vega64 resultaten för varje titel med FuryX resultaten och skattar ett 95 % konfidensintervall ser man att noll hamnar inom det intervallet. D.v.s. på denna konfidensnivå visar detta resultat att det inte finns någon skillnad i "IPC" mellan FuryX och Vega64.

Nu förstorar du upp något som är både konstaterat och solklart och jag förstår faktiskt inte varför. Jag har gjort klart att Vega10 presterar under mina förväntningar, men att något på mjukvarusidan helt klart är fel när det många gånger presterar sämre än Fury X i samma frekvens.

Det jag gjorde var att förtydliga att personen hade rätt i sin sak då Vega bevisligen kan vara snabbare, därav ett av färre test där jag plockade ut ett exempel som visar att arkitekturen är starkare. Hade den inte vart det så hade den aldrig kunnat ta sig förbi Fury X i samma frekvens.

Som sagt, faktumet talar för sig självt...

Först skrev jag en vägg av text, sedan insåg jag att började låta som min professor i statistik och att det sannolikt bara var några väldigt få som skulle uppskatta innehållet, så jag försöker klara mig på färre ord.

Att säga att skillnaden inte är statistiskt säkerställd är i sig tekniskt korrekt, men givet de kontrollerade former som används för denna typ av testning så borde rimligen alla presenterade skillnader vara mer eller mindre statistiskt säkerställda. Därifrån blir det dock svårare, då vi saknar tillräckligt många speltest för att kunna prata om det generella fallet "alla spel" och bara har 2 enskilda kort testade för att kunna prata om Fiji vs Vega (kretsdesignerna) och de tester som presenteras är knappast OSU (obundet slumpvis urval). Allt som allt tvivlar jag på att grundförutsättningarna för att testa med Student t är uppfyllda (eller någon annan form av fördelning, heller) för att jämföra prestanda på det viset för att kunna dra några generella slutsatser, men att det specifika fallet sannolikt är tydligt.

Den enda fråga vi vill ha svar på är: "givet allt annat lika, finns det en statistisk säkerställd skillnad i spelprestanda mellan FuryX och Vega64 när de är båda klockade till 1050 MHz". Det test som med störst säkerhet kan svara på den frågan är ett "Paired t-test".

Det är mer eller mindre exakt den metod som föreslås i boken "Performance evaluation and benchmarking" som handlar exakt om den typ av frågeställningar vi har här.

Ett typexempel de ger är att man kör ett uppsättning program (Exempel 5.5. i boken som finns med i "preview"), ändrar en enda parameter (t.ex. RAM eller GPU) och kör om resultatet. Ser inte att förväntningen här är att det ska vara en varians mellan körningar med samma konfiguration, d.v.s. det finns inget krav att en viss enskild benchmark med fixerad konfiguration ska vara normalfördelad eller ens slumpmässig på något sätt. Det man vill ha svar på är om förändringen av HW-konfiguration påverkar benchmark resultat på ett statistiskt säkerställt sätt.

Tycker även detta stämmer väl överens med de exempel jag sett i den statistikkurs jag läser för tillfället, peka gärna på var boken har fel (eller hur jag missförstått den) annars.

Det som är "slumpmässigt" i detta fall är hur olika spel nyttjar olika delar av GPUn. Då både Vega64 och FuryX är det något snabbare kortet beroende på titel, en skillnad som med största sannolikhet är helt reproducerbar, blir "IPC" här lite suddigt och representerar något form av genomsnittligt antal FLOPS kortet producerar i olika titlar.

Vår nollhypotes blir: det finns ingen IPC-skillnad mellan Fury X och Vega64

Vår alternativ hypotes är: det finns en skillnad i IPC mellan Fury X och Vega 64 (bryr oss inte om vilken som är snabbare, börjar med att bara visa om det finns en skillnad åt något håll)

Är skillnaden i spelprestanda någorlunda normalfördelade? Tja, rätt få värden så blir rätt mycket aliasing. Men ser rätt normalfördelat ut givet förutsättningarna

Visa innehåll

FuryX-Vega64-before-after-test-histogram

> t.test(vega,fury,pared=TRUE,conf.level=.95)

         Welch Two Sample t-test

 data:  vega and fury
 t = 1.8046, df = 31.453, p-value = 0.08071
 alternative hypothesis: true difference in means is not equal to 0
 95 percent confidence interval:
  -0.4113186  6.7642598
 sample estimates:
 mean of x mean of y
  98.11765  94.94118

Noll är inom konfidensintervallet. Normalt anser man att nollhypotesen kan förkastas om p<0,05 vilket inte är fallet här (p=0,08) så nollhypotesen bör inte förkastas!

Det skrivet: är helt övertygad om att det finns specifika områden där Vega64 presterar bättre än FuryX per cykel, men av allt att döma finns det även några områden där det omvända gäller. I de flesta fall verkar flaskhalsen ändå vara något där båda korten presterar i det närmaste identiskt.

@Yoshman: Jag är inte säker på att en statistisk metoddiskussion är att anse som On-topic, å andra sidan är frågan om det skett någon utveckling från Fiji, så vi fortsätter en vända till, men om ni som läser vet att ni har begränsat intresse för statistik: Ni har blivit varnade!:) Jag vill också varna för att jag kan komma att bli övertydlig. Det är på det viset jag förklarar, så jag hoppas att ingen tar illa upp. Sedan får jag också tillägga att boken med största sannolikhet korrekt beskriver vetenskapens bästa förståelse för de statistiska skeendena, då finner jag det långt mer sannolikt att det finns brister i min och din förståelse för densamma. Jag tänker med andra ord inte förklara var boken har fel ^^

Min poäng är att om vi tar prestanda för Vega i AOTS och testar den 5 gånger med exakt samma förutsättningar, så förväntar vi oss att få samma resultat. Eftersom det är ett kontrollerat test där vi bestämmer alla variabler så kan vi med säkerhet säga att det här kortet kommer alltid att ge detta resultat under dessa förutsättningar.
Detsamma gäller för Fijikortet. Vi kan med säkerhet säga vilken prestanda det kortet har under precis de förutsättningar som vi nyss mätte Vegakortet. Eftersom vi pratar om kontrollerade experiment så har vi (bör vi ha!) en varians nära noll, vilket ger att båda värdenas standardavvikelse (varian²) är nära noll och skillnaden i prestanda mellan de båda korten i det specifika deltestet är statistiskt säkerställd.

Om vi sedan gör om samma test där vi endast ändrar på den testade programvaran så får vi fler sådana par med statistisk säkerställd skillnad (eller likhet) i prestanda och alla dessa test.

Nu blir ju den stora frågan varför vi inte sedan kan använda dessa resultatpar för att dra slutsatser om hur Fiji och Vega presterar i det generella fallet? Resultaten i våra inledande tester är ju statistiskt säkerställda!

Den största anledningen är att vi helt byter frågeställning! Vi har ingen data för att kunna dra några som helst slutsatser i det generella fallet. Det kan se ut som att vi har det, men vår frågeställning har ändrats helt på minst 2 grundläggande sätt:
1. För att dra slutsatser om det generella fallet programvara måste vi antingen testa båda kretsarna med all mjukvara som vi kan komma att tänka på att påståendet "Vega är X snabbare/långsammare än Fiji vid samma frekvens". Det vi har data för gäller en godtyckligt sammanställd mängd mjukvaror, men hur skall vi kunna påvisa att resultatet vi har fått gäller någon som helst annan mjukvara än just den som testats här?
2. För att dra slutsatser om det generella fallet kretsarkitektur måste vi antingen leda i bevis att alla Vega- resp. Fijikretsar har precis samma prestanda vid de givna förutsättningarna, ELLER testa en så stor mängd kretsar med samma förutsättningar att vi med någon form av statistisk säkerhet kan säga vilken den förväntade prestandan av arkitekturen är vid givna förutsättningar SAMT att vi testat i princip alla rimliga kombinationer med förutsättningar för att kunna uttala oss på ett sätt som gäller oavsett förutsättningar. Argumentet ovan skall förstås som (A||B)&C logiskt. Jag ser ett syftningsfel som jag inte orkar räta ut i svenskan:)

Du ser att vi med utgångspunkt i det refererade testet inte har någon som helst data för att dra några slutsatser om prestanda på statistiska grunder i något generellt fall, då data helt enkelt inte räcker till. Den enda slutsats vi kan dra är att i testet får just dessa 2 kort (specifikt just dessa två grafikkort) olika resultat i de benchmarks som presenteras.

Varför kan vi inte använda paried t-test? Nu kommer vi inte på ämnet kontrollerbara experiment.
Den största skillnaden mellan det som jag grovt generaliserande och förenklat brukar tänka på som "den naturvetenskapliga statistiken" och det jag brukar tänka på som "den samhällsvetenskapliga statistiken" (anledningen till namnen är att jag och hustrun läste statistik samtidigt i Uppsala, hon läste en naturvetenskaplig kurs och jag en kurs på den samhällsvetenskapliga fakulteten. Vi kunde inte diskutera ämnet tillsammans, kursinnehållet var så olika) är att inom samhällsvetenskapen kan du aldrig upprepa ett test, vilket är själva grunden i många av de tester som man tagit fram inom statistiken. Paired t-test är ett av de testen. Resultatsetet med värdepar mellan kretsarna är helt annorlunda än de förutsättningar som verkar gälla (det är 15 år sedan jag läste statistik, mycket har hunnit bli luddigt!) för ett paired t-test, då detta skulle mäta skillnader i prestanda hos samma hårdvara före och efter en ändring (spänning, frekvens, drivrutiner etc.) så som det beskrivs både på de sidor du länkar och i den snabba google-sökning jag gjorde. Inte mellan kretsarna.

Slutligen vill jag också motivera varför jag i denna diskussion om prestanda hit och prestanda dit och med svepande generaliserande utsagor om olika kretsars prestanda jämfört med varandra baserade på enkel eyeball econometrics valt att diskutera just ditt inlägg, så ligger motiveringen just där: Vem som helst kan titta på ett test och göra sig en (miss)uppfattning om vad som presenteras och välja att (miss)förstå de begränsningar som ligger till grund för de slutsatser som dras mot den grunden, men skall vi börja dra in kvantitativa metoder så känner jag att de slutsatser vi kommer fram till behöver ha härletts på korrekta grunder. Annars är situationen, att vi är övertygade om korrektheten i en felaktig slutsats, sämre än om vi helt enkelt kan vara överens om att vi ännu inte kan göra anspråk på att ha hela sanningen.

Huruvida det faktiskt föreligger skillnad i IPC mellan Vega och Fiji idag i spellaster tar jag inte någon ställning till. Baserat på det enda test som presenterats tycker jag inte att vi har tillräckligt med data för att säga något generellt, utan det verkar bero på den specifika lasten. Rådet fär hugade spekulanter måste bli detsamma som alltid när man bygger en dator för ett specifikt ändamål: Känn din last!

/Off-topic

Hur hör vad du anser kring huruvida det finns tillräckligt data hit? Hela poängen med hypotestesting är ju att, givet den mängd data man faktiskt har, avgöra om data är konstruerat på ett sätt så man kan avfärda nollhypotesen men "tillräckligt hög" (vad det är godtyckligt, vilket också gör valet av cut-off för p-värdet godtyckligt).

Jämförelsen man gör på kursen och som jag nu även sett de flesta använder är hur en rättegång fungerar i en rättsstat. Nollhypotesen motsvarar: "det går inte att styrka brott" (vilket inte är samma sak som att säga, "vi har bevisat att den åtalade inte gjorde brottet"). Den alternativa hypotesen är då att bevisen är "tillräckligt starka" för att det ska anses osannolikt att bevisen bara är en samling slumpmässiga tillfälligheter.

Enskilda mätningar

Du skriver att om vi kör om AoS fem gånger får vi i princip exakt samma resultat. Ja, det får man hoppas annars är det ett väldigt värdelöst test. Gamers Nexus har nämnt någon gång att resultatet i enskilda mätningar varierar med någon enstaka procent mellan körningar.

Men vi är inte ute efter att avgöra om det finns en skillnad i en specifik titel, vi är ute efter att avgöra om dessa tester gör hypotesen "den generella spelprestanandan är samma för Fury X och Vega 64 när de körs på samma frekvens".

Jämför med ett skolboksexempel för t-test: jag hävdar att medellängden på SweClockers medlemmar är 1,80m (detta vore då nollhypotesen i detta fall). Om jag då ingår i det sample man plockar ut för att testa denna hypotsen kan ni mäta min längd hur många gånger som helst, längden kommer alltid blir 1,88m. Men det är inte huruvida jag är är medellängd som testas här, det är huruvida medellängden för alla medlemmar är 1,80m och givet en sample med en fraktion av medlemmarnas längd som "bevis" försöker vi avgöra om det verkar sannolikt.

Få samples

Om du har rätt måste boken "Performance Evaluation and Benchmarking" vara helt ute och cykla. Det typexempel man ger där är att man kör endast fem benchmarks (som ger i princip samma resultat varje gång de körs). Man ändrar sedan en parameter, kör om dessa fem tester och gör ett t-test.

Är exakt sådant jag själv behöver bättre kunskapar i statistik för (är ca 20 år sedan jag läste lite statistik på KTH, så det är dimmigt). Jobbar väldigt ofta med optimeringar och vill ha mer vetenskapliga metoder för att bedöma om en viss modifikation ger en effekt (och även för det jag gör är variansen för ett specifikt test väldigt nära noll, vi har trots allt med datorer att göra och de gör exakt samma sak varje gång med nästan identisk timing, den är identisk i avsaknad av extern stimuli).

Få samples kopplat med att vi faktiskt inte vet standardavvikelsen, utan måste skatta den ökar osäkerheten i de utsagor man kan göra. Men är precis det som är poängen med "students t-fördelning", den ger en lite annorlunda form på klockkurvan som är tänkt att matematiskt representera den högre osäkerheten en skattad standardavvikelse från relativt få värden ger. Empiriskt är det ändå så att när man passerar 25-30 samples blir felet i skattningen i praktiken ett avrundningsfel och matematiskt konvergerar den klockkurva man får till normalfördelningskurvan.

D.v.s. ja, vi har få samples, ändå hävdar "Performance Evaluation and Benchmarking" att det går att göra motsvarande med mindre än hälften så många samples. Det vi förlorar är säkerhet i att avgöra om resultatet vi ser är orsakad av slumpen eller faktiskt orsakad av att nollhypotesen nog inte är rimligt.

TL;DR
Vad som sägs är absolut ingenting om enskilda mätningar, råder inget tvivel om att Vega64 presterar lite bättre i BF1 medan Fury X presterar lite bättre i AoS.
Vad beräkningen visar är att, givet det data vi har, kan vi inte på 95 % konfidensnivå med någon större trovärdighet hävda att Vega64 generellt sett presterar bättre än Fury X när båda är klockade till 1050 MHz. Bevisen mot nollhypotesen, d.v.s att de presterar lika, är allt för svaga och motsägelsefulla.

Tycker inte denna diskussion är det minsta off-topic här. Oavsett om jag är ute i spenaten eller inte är frågan intressant för den här typen av diskussioner då sätter strålkastarljuset på vad man faktiskt rimligen kan dra för slutsatsen från benchmarks som den ovan.