GTX 470 eller ati radeon 5xxx series

Va det bara jag som reagerade på att 5970 inte klarade en simpel upplösning som 1680x1050 men klarade testet utan problem i högre? Blev en dubbel-WTF där :\

Tyvärr inte. Och jag börjar mer och mer inse att vanliga bänkningar inte säger oss någonting alls om de kan ge +50% mer i bänkning än i spel beroende på kort och drivrutin.

Jag har som sagt alltid gillat förfarandet som [H] ger men jag hade missat den äldre artikeln där de jämför bänkningsförfaranden.

Det här har blivit något av en ögonöppnare för mig och jag kan helt klart säga att bakgrundsbruset ter sig mycket högre än prestandaskillnaden man försöker mäta i vanliga bänkningar. Fullständigt oanvändbart alltså.
Jag vet att det låter provokativt men i alla bänkade tester önskar man bara att man mäter på något relevant.

Dett gäller självklart bara så länge skillnaden mellan bänk och spel är i i samma storleksordning prestandaskillnaden mellan grafikkorten. Men om siffror 'är i stil i stil med de [H] fannför Crysis så är det ju ännu värre: skillnaden mellan bänk och spel är närmare en storleksordning större än själva skillnaden på dagens kort.

Slänger in länken igen:

http://www.sweclockers.com/forum/4-grafikkort/932161-gtx-470-...

Tror verkligen inte Techspot fifflar med tester. Och det tror väl egentligen inte du heller? Det är en extremt allvarlig anklagelse som vi inte har någon som helst indikation på. De har bara ändrat från bänkar till egeninspelade timedemos. Det redovisar de själva. Kolla in deras tidigare test som de gjorde med samma typ av autobänkning som Xbitlab, Guru3D och Anandtech.

Problemet är att skillnaden mellan de två testsätten kan äta upp hela den riktiga prestandaskillnaden när du går från HD5850 till GTX480.

Det är väl därför Techspots test verkar stämma bättre med det här från [H]:

Introduction - Gigabyte R585OC Video Card Review | [H]ard|OCP

Som är ett rent speltest.

Som sagt, jag tror inte att någon har fuskat med siffror. Det är bara det att bakgrunden dominerar mätsignalen på Xbitlab, Guru3D och Anandtech.

GTX470 är ju ändå ett skitbra kort

De finns väl inget riktigt benchmark för alla spel, t.ex. Bad Company 2? Då testas dom garanterat såna där tillfällen där allt går på en rail, du kan alltså inte styra själv, vilket betyder att alla test ska ha samma resultat på alla sidor. 5850 är ett bra kort, men de skenar faktiskt iväg lite väl mycke i Techspots test. Men dom kanske har testat helt in action utan rails? Vilket enligt mig är rent idiotiskt, inget spel är exakt samma varje gång du spelar de, de kan skilja en hel del med explosioner, vilket drar ner avg fps... Vet faktiskt inte va ja ska tycka om olika sidors sätt att testa på, de bästa är nog att testa själv Men en sak vet jag iaf, 5850/70 och 470/480 är alla jävligt grymma kort, och alla kort har sina för och nackdelar.

Edit: Alla testsidor testar ju heller inte på samma ställen i spel, vilket kan göra att resultaten skiljer, Radeon är kanske bättre i vissa miljöer medan Geforce är bättre i andra.

Säger som jag sagt tidigare resultaten varierar för mycket mellan testsiter tom de som kör liknande testupplägg för att de ska gå och dra några vettiga slutsatser..

jag har nästan lust att köpa 5850 och tsta igenom några spel själv bara för att jämföra

dock så tror jag fortfarande SLI skalar lite bättrre än Crossfire generellt sätt, finns ju givetvis undantag..

Helt utan rails är faktiskt avsevärt säkrare. Du får lätt en variation på mindre än 5% mellan olika rundor. Och som [H] gör det så uprepar de rundan flera gånger. På så sätt får de ett snitt och kan se att det inte beror på variationer mellan rundorna. Den variationen är mycket säkrare än när spelet får mer än 50% högre fps för ett kort bara för att det körs på rails istället. Spelprestandan får du ju inte reda på ett enda dugg om med rails. Medan en osäkerhet på 5% är helt OK.

Det kvittar ju om du lättare kan upprepa resultatet om det inte säger någnting. Eller hur?

[H]ard har faktiskt redan hunnit testa HD5850 mot GTX470 tre gånger och HD5870 mot GTX480 två gånger. Så vi kan faktiskt kolla om testförfarandet är osäkert:

Introduction - NVIDIA Fermi - GTX 470 - GTX 480 - GTX 480 SLI Review | [H]ard|OCP
Introduction - Galaxy GeForce GTX 470 GC SLI Review | [H]ard|OCP
Introduction - Gigabyte R585OC Video Card Review | [H]ard|OCP
Introduction - ASUS ROG Matrix 5870 Platinum Video Card Review | [H]ard|OCP

Resultaten är helt konsekventa. Trots olika drivrutiner. GTX470 och HD5850 är extremt jämna. GTX480 har en marginell fördel på HD5870. GF100 korten skalar väldigt bra i SLI, bättre än RV870 korten i CF. Men RV skalar också bra. Inte lika bra dock.

De här resultaten visar att det inte finns någon osäkerhet att tala om med rena speltester. Bara de görs på rätt sätt.

Den andra slutsatsen man kan dra är att GtX480 och GTX470 bänkar bättre än Radeon korten men de är inte bättre på spel.

Det är hugget som stucket om man köper ett GTX470 eller ett HD5850. Målfoto minst sagt.
Samma sak med GTX480/HD5870, även om GTX480 ligger en noslängd före.

SLI skalar lite bättre dessutom. Det är kul att se hur bra SLI och CF skalar nuförtiden.

I mina ögon säger de här testerna mer om korten än i princip alla andra tester tillsammans . Vi kan bara (i bästa fall) hoppas att skillnaderna i benchmarken är någorlunda kopplade till spelprestandan mellan spel, kort och drivrutiner. Men ärligt vi har inget riktigt bra skäl att tro att det är så.

Resultaten från Hardocp kan mycke möjligt stämma, men resultaten som 5850 fick av techspot ser för bra ut, dom stämmer inte med Hardocp's resultat, inte ens i närheten. 470 gick en avg på 47 av båda i Bad Company 2, vilket inte låter helt omöjligt, men Techspot gav 5850 56fps och Hardocp gav de 39.9fps, alltså känns de ju som att något inte stämmer, någon har inte gjort testet på ett bra sätt när de kan skilja så mycke, och jag litar nog mer på Hardocp har gjort de korrekt i de här fallet.

Ja, den siffran är lite udda. Men som du säger, det kan hänga på mycket. Dåligt val av testområde etc.

Så ska man sammanfatta det hela då
singelkort 5870 eller 5850 mest spelglädje

2 grafikkort blir bäst med
SLI GTX 470 eller (om man har råd) SLI GTX 480..

Skulle vilja se ett test med real gameplay där båda korten klockas en hel del
alltså 5850 5870 vs GTX 470 480

själv upplever jag skalningen med överklockning på korten större än med tidigare Geforce generation..
kan få 20 FPS eller mer i nya DX11 spel med korten överklockade mot default klock..

Kan man säga. Sen så blir det en prisfråga också iofs.

GTX470 SLI är en bit bättre än HD5850 CF men det kostar mer. Skillnaden i effektivitet i SLI/CF är som sagt inte stor och HD5870 CF kommer att vara bättre än båda (Nu testade de inte just HD5870CF dock.)

Samtidigt är HD5870 CF dyrare än GTX470 SLI så GTX470 SLI ligger helt rätt prismässigt.

Förstå hur svårt det skulle vara att testa ingame såvida spelen inte är statiska vilket få spel idag är. De flesta spelen är dynamiska och samma bild från en save eller en början upprepar sig inte överlag.

Testar man grafikkort A och det råkar regna lite grann under testfasen medan man i test 2 med kort B så regnar det inte alls, kanske lite, eller super mycket men helt plötsligt med någonting annat som renderas på skärmen som det inte gjorde i test ett med kort A.

Det är därför betydligt mycket lättare att testa i demos. Att det sedan skulle skilja mycket mellan demos och ingame kan jag inte tänka mig då de som har programmerat demos har haft (tror jag och logiskt sätt ja) en idé om vad som kommer att dyka upp i spelet och försöka krydda på så mycket som möjligt med effekter av det som kommer komma i spelets gång då och då.
Dessutom är timedemos byggda på samma grafikmotor som du spelar i.

Låter det otroligt?

jag vet ett kort som piskar de andra i de flesta testerna. Ta det och smacka på en artic kylare (se upp bara, det är en farlig tredjepartskylare) och du har ett tystgående prestandamonster.

Kolla in [H]s test av benchmarksförfaranden. Det är länkat flera ggr i tråden:

Skillnaden mellan bänkläge och timedemo (för samma "bana") är 38%. Den skillnaden raderar ut alla försök att jämföra prestanda på kort. Det enda du mäter på är hur mycket Ati eller nvoidia har lyckats optimera bänken.

Att köra en egen timedemo istället för ingame spel hjälper inte heller:

Klart att det är svårare att köra ingame. Man måste vara noggrannare, dubbelkolla och upprepa testerna. Man får inte heller springa och dö hela tiden. Och självklart kan man inte testa ena gången ii regn och sen i solsken.

[H] spelar faktiskt igenom hela spelet och väljer sedan ut en representativ, grafikkrävande del. Sen spelbänker de. De har gjort så här i åratal utan problem. Men självklart måste det göras rätt.

Samtidigt så hjälper det inte att ren bänkning är lättare när prestandaskillnaderna mellan korten är inom 20% (HD5850 upp till GTX480) och det okända felet är runt 20%. Bänkning säger dig ingenting om den relativa spelprestandan. Egeninspelade timedemos kan möjligtvis vara bättre än inbyggda benchmarks men det är en ren gissning.

Det i signaturen? Tss

Möjligt jag har fel men optimerar man för en spelmotor spelar det ingen roll om det är en timedemo eller spelet i fråga. De flesta timedemos är inte statiska, bara uppbyggda på ett sätt som är linjärt och alltid likadant. Men dynamiken med mera är identiskt från spelet ingame. Skillnaden är som sagt det statiska och linjära.
Kör du om din demo ser det inte exakt likadant ut har jag för mig, möjligt jag har fel.
Men självklart blir det annorlunda siffror när en timedemo är en timedemo mot om du spelar själv. Det förstår nog de flesta.
Jag kan inte se hur det skulle skilja 20% mellan en timedemo och ingame experience, helt ärligt. Det låter för mig som ett mysterium och jag kan inte tänka mig att [H] skulle vara den ända sidan som uppger "korrekta" siffror av alla de mängd sidor, som dessutom anses vara seriösa och respekterade sidor på nätet när det gäller prestandatester av grafikkort.

Jag säger fortfarande inte att jag har rätt och andra fel utan vissa saker faller inte naturligt om du frågar mig.

Skulle timedemos vara ett "ej korrekt" sätt att prestandatesta på eftersom det nu enligt [H] skulle skilja 20% mellan timedemoprestanda och ingameprestanda, skulle detta inte vara acceptabelt av konsumenterna och man hade börjat kritisera. Men det kanske är det som händer nu?

Vissa saker går inte att genomföra och detta tror jag är ett bra exempel på vad som inte skulle kunna gå att genom föra om det inte var korrekt. Det skall ju inte ta tio år för konsumenter att reagera om nu ingame prestandan skiljer sig markant som [H] menar på, eller? Men är du med på vad jag menar?

/Albin Loan

Skillnaden är väl att i timedemo så är en massa som inte händer:

AI, Input från spelaren, fysikuträkningar etc. En massa bakgrunsdprocesser i spelet.

Du kan förmodligen plocka bort en massa anrop eftersom grafikkortet inte behöver vänta på cpu och andra saker som inte görs i timedemon. Totala systemet belastas förmodligen inte alls samma sätt.

För mig låter det vettigt att det är stor skillnad men jag är ingen programmerare.

Eftersom [H]ard bara är En testsite dock med ett väldigt intressant testförfarande så måste jag hålla med AlbinLoan här.

Jag stirrade mig lite blind på deras tesförfarande som jag fortfarande tycker verkar vettigt, men glömde lite bort att det fortfarande bara handlar om en testsite. Dock tyckte jag rent intuitivt att FPS som endpoint i real gameplay kanske inte var det bästa pga vad andra redan har tagit upp med skillnaderna mellan de olika rundorna som kan förekomma.

Jag tycker också att det verkar skumt att det skulle skilja sig så mycket från timedemo vs real gameplay i samma spel det är ju som sagt samma spelmotor som har samma källkod emellan.
lägg till AI i real gameplay men det brukar ta på CPUn ist, fyisk effekter borde snarare ge en fördel för Fermi..
likaså tesselering i nya spel..

Såvida ingen annan testsite uprepar [H]ards resultat i real gameplay kommer jag ta deras slutsatser med en nypa salt i sann vetenskaplig anda som säger att en iaktagelse blir bevisad först när andra kan upprepa den, först då vinner den trovärdighet

Ja väldigt skumt är det att time demos/riktigt spelande skiljer sig så markant åt. Troligen är det som några har påpekat- de förbaskade grafikkortstillverkarna tweakar deras drivrutiner för att vara "bäst i test". Sen är det även ytterst konstigt att det inte finns någon standard för hur man mäter fps;n. Några sidor kör på med max fps och struntar helt i de viktiga medel/mini.

Max fps är ju helt värdelöst i real gameplay.
snarare är det Min FPS samt hur ofta man har FPS drops samt hur länge dropsen varar som egentligen är relevant för spelupplevelsen.

Måste säga att tråden blivit otroligt oftopic, hade varit trevligt om någon moderator ville flytta ut allt "of-topic" i en separat tråd då det är väldigt intressant att följa resonemanget.

Personligen gillar jag [H] val av tester då de inte speglar det typ alla andra sidor gör. Uppenbarligen verkar ju saker skilja, och varierar resultat kraftigt mellan speltest och benchmarktest så får iallafall jag en känsla av att allt inte går rätt till. Sedan går jag inte bara på ett enda test utan så många som möjligt för att få en klarare bild av produkten i fråga, samt ser om någon testare har varit partisk och då får resultat som känns opålitliga. Eller att en produkts problem inte tas upp.

Du måste bara göra fler rundor isf.
Och att FPS:en skulle variera nämnvärt mer än med timedemos, är ni säkra på det?

Här är en aktuell tråd från anandtech där någon försökte bevisa att det är svårt att få repeterbara körningar. Han visade omedvetet att det var lätt En klassisk Pauli

Fermi's lead over Cypress shrinks w/ new drivers - Page 9 - AnandTech Forums

Fysik på CPU borde jag kanske förtydligat, AI etc. Det är en massa saker som inte behöver göras om i en timedemo. Tänk efter, det är precis det jag säger du kan ta bort fruktansvärd mycket tid bara genom att plocka bort de tillfällen som GPUn väntar på övriga systemet. Det är hela systemet som bestämmer prestandan. Det här kan säkert vara den mest uppenbara och lättaste delen av optimeringen. Ju mer övriga flaskhalsar du har, desto lättare är det att optimera.

Låter det verkligen otroligt att det inte går att optimera för tidsdemon bara för att det är samma spelmotor?
För mig låter det som en väldigt stor förenkling att säga att det är samma sak.
Och hur förklarar vi då [H]s resultat i den här artikeln och de ändrade resultaten när Techspot ändrade testförfarande?

Men du håller också väl med om att, i sann vetenskaplig anda, att om den individuella timedemooptimeringen av spelet ger större effekt än skillnaden är mellan korten så mäter du på inte längre på skillnaden i kortprestandan i första hand?

[H] må vara ensamma, men det är det här förfarandet som gör att de anses vara en av de absoluta toppsidorna för grafikkortstest.

Tänk på det så här: Att [H]s testresultat konsekvent skiljer sig från mängden av resultat visar just att deras metod belyser något annat än ren bänkning. Om bänkning hade funkat lika bra, då hade det inte varit skillnad mellan bänkning och spel.

Det är mycket lättare, snabbare, och mindre riskfyllt att använda inbyggda benchmarks och timedemos. Jag tror att det är därför det görs av majoriteten. Inte för att det ger bättre resultat.

Jag tycker du skall läsa hela testen. Det är väldigt lärorikt. Det är en jämförelse mellan GTX8800 och HD3870x2. Åldern på korten spelar ingen roll (testen är bara två år gammal iofs). Det är benchmarkförfarandet de testar, inte korten först och främst.

Det enda som skulle göra testet inaktuellt är om vi tror att Ati och nvidia har slutat optimera för benchmarks och bara optimerar för spelprestanda...

Neh, trodde inte det

Tester skall mäta parametern du vill ha svar på. sen, måste man få till repeterbarhet.
Man kan aldrig sätta repeterbarhet först om man inte har garanterat att man mäter på rätt sak först. Det är väl ändå uppenbart.

Och som sagt, att upprepa en runda i spel med en någorlunda duktig spelare och statistiskt säkerställa resultatet. Det är inte särskilt svårt.

Om testsidan vill fuska är det ännu lättare att ändra i diagrammet eller datafilen. Om du inte litar på testsidan skall du inte ta hänsyn deras test. Att det skulle vara lättare att fuska är ett fullständigt ihåligt argument.

Självklart. Därför använder de självklart samma ställe. Upprepar, tar anteckningar. Dubbelkollar. Det tar tid men det mäter på spelprestandan.

Nu har jag blivit lite tjatig i den här tråden, men ni måste hålla med om att det är en intressant och tankeväckande diskussion. Så ha tålamod med mig nu:-)

Jag har aldrig varit förtjust i autobänkandet och personligen lagt mycket stäörre vikt vid [H]s tester än någon annan testsite. Ett skäl är deras höga integritet. De skriver vad de gillar och vad de inte gillar. Det andra är att de har ett genomtänkt testförfarande och testar verkligt spelande.

Vad jag inte har tänkt på innan är att optimering för bänkrundor och timedemos inte behöver vara mer än 10 % för att det skall bli svårt att avläsa skillnaden i grupp av grafikkort, som i det här fallet från GTX480 till HD5850.

Är optimeringen allt ifrån noll till 40% så måste den dominera i testresultatet om inte prestandaskillnaden mellan korten är större än 40% Man kan självklart förbättra statistiken lite genom att mäta på väldigt många spel men man ökar också isf felet med varje spel om en av tillverkarna har lite bättre bänkoptimering i just den drivern som används.

Bänktester är i värsta fall som foton utan blixt i ett mörkt rum. Väggarna blir svarta. Med fantastisk repeterbarhet

Det sura är dock att vi aldrig kommer att vete när värsta fall är om inte alternativa testförfaranden som [H]s görs.

Jag tror att min nya signatur kommer att bli: Ja, men inte i spel...
Åh, vad folk kommer att bli trötta på den

tannat du driver din tes hårt ser jag
Här utgår du ifrån att det bevisligen finns en skillnad mellan bänkning i tomedemos och spel,
jag sägert inte att [H]ards resultat är fusk eller fel, bara det att de är den enda tessiten som har satt fingret på det här. Som jag sa tidigare detta behöver upprepas av andra för att jag ska tro på det.

Jag tror inte gender Bender menade att de fuskar i det här, det är svårt att spela en runda i real gameplay och alltid ha identiska kartaktärsrörelser genom hela testrundan..

Ett känt psykologiskt fenomen är att:
När vi har en hypotes som vi tror på så
letar vi efter evidens som stärker den, men
vi bortser från evidens som talar emot den.
Jag säger inte att det är det du gör, men lite blundar du för de oklarheter som tagits upp

i mitt fall så tycker jag att det finns för många osäkerheter i testförfarandet som tagits upp för att jag ska svälja hela [H]ards resultat innan någon/några andra upprepar den..

För egen del så är det tvärtom litegrann jag får bättre prestanda i alien vs predator 3 spelet än i Bencmarken (timedemon) likvärdig prestanda i stalker call of pripyat bencmark och spel..
kan inte se H]ards iaktagelser själv..

De har ett intressant testförfarande, men såsom dom testar är det svårt att få reperterbarhet och validitet i testen. Lite kanske samma problematik som att alla testsiter undviker att tala om och testa Microstuttering, jag har väldigt svårt att se hur de skulle lägga upp ett vetenskapligt test för det med.

Fast det är inte riktigt sant. Nu spelar jag väldigt sällan spel något mer, men de timedemos jag har provat är det allt du kan tänka dig involverat, förutom att du själv styr. Men allt med fysik, ai med mera finns där vad jag kan minnas.

Fråga dig själv så här:
Skulle det finnas någon mening med en timedemo i ett spel för att _inte_ reflektera spelets prestanda genom spelets grafikmotor och dess features och om hur ditt system presterar? Då hade inte en timedemo haft något syfte. Glöm inte att om du programmerar någonting vill du skylta med det, i detta fallet ett spel men också en timedemo. Man skulle även kunna säga att en timedemo fungerar som en kort summering om vad det är du kommer att spela, hur det ser ut, hur det presterar.
Det är lite grann som en refräng i en låt.

Sannolikheten är inte speciellt stor att de som har utvecklat och programmerat ett spel stänger av massa saker och features i Deras egna timedemo som de för övrigt också har programmera och utvecklat. Låter det rimligt att dom skulle? Inte om du frågar mig.

Scenariot skulle kunna vara så här att spelutvecklare programmerar sina spel men ser till att göra det lättare för Nvidia för att de skall prestera bättre i spelets timedemo men att i själva spelet går öppen för världen:

1. Det låter i princip omöjligt eftersom det inte är någon skillnad i timedemo och spelet i sig eftersom du "spelar" i samma grafikmotor

2. Det låter för långsökt, partiskt och spelbolaget skulle förlora på det om det skulle fungera

Att spelutvecklare sedan ger viss information till Nvidia eller ATi för att de skall optimera lättare till själva spelet är ingen nyhet. Dock skall man inte förknippa detta med Nvidia eller ATi loggan i ett spel. Det betyder bara att något av företagen har sponsrat för att synas, inte nödvändigtvis för att det skulle fungera bättre.

Men, vet du att det här är så problematiskt som ni säger?. Om det skulle kunna ge en större variation mellan rundor så kan det uppenbarligen helt minimeras med upprepade rundor. Det är enkel statistik.

Dessutom: att det skulle vara mycket större mellan rundor för en van testare vid gameplay än med timedemos är bara ett löst antagande (Som låter rimligt vid första påseendet). Men som sagt kan det åtgärdas enkelt om det är så.

Jag vet att jag låter nyfrälst
Däremot hoppas jag inte att jag blundar för osäkerheter. Vad jag försöker göra är att sätt osäkerheterna i de två testförfarandena i proportion till varandra.

Mitt problem med osäkerheten med optimering och skillnad mellan bänk/timedemo och verkligt speltest är att det för många parametrar inbakade i osäkerheten:

1. [1)] Drivrutinsversion (hur optimera timedemon just nu är)
   [2)] Spel
   [2a)] (Hur stor skillnaden är mellan timedemon och spel pga optimering)
   [2b)] Generell skillnad mellan timedemo och spel för just det här spelet
   [3)] Kort - hur bra kortet utnyttjar skillnaden timedemo/spel (hänger det minnesbandbredd/shaders etc.)
   [4)] Tillverkare (hur mycket energi lägger de på specialoptimering för bänk/timedemo

Extra variation vid speltest kommer nödvändigtvis att gå asymptotiskt mot ett normalvärde med upprepning (om inte något är rent åt helvete). Det är ingen osäkerhet i meningen att den ger osäkerhet i resultatet Den kräver bara mer arbete. (förlåt matematikformuleringen förresten)

Jag inser att jag svarade på just det här ovan så bara för att inte tjata mer än nödvändigt

Men det är ju det du säger att du gör (Ett fel är ett fel, vare sig det är + eller minus): Du ser skillnad i bänk/timedemo gentemot spel. Optimering, som bara är en förbättring förvärrar den här skillnaden men det viktiga är att det är skillnad. Dessa skillnader blir lätt större än skillnaden mellan korten vilket gör just den mätningen bortkastad.

Som sagt repeterbarhet av felsignalen är inte repeterbarhet av mätsignalen. Är mätsignalen brusig så kan man alltid filtrera bort bruset med mer data. Är mätsignalen dold av felet så finns ingenting att göra.

Jag är faktiskt just nu tacksam för att ni har tålamod med mig

För att vara kortfattad:
1) Jag håller inte med dig om att spelbolaget skulle förlora på att timedemos går bättre än själva spelet. Tvärtom så skulle de säkert kunna uppskatta det.
2)Dessutom är det inte spelbolagen som optimerar drivarna. Grafikkortsföretagen tjänar helt klart på det.
3) Det räcker att det är en oförutsägbar skillnad mellan timedemo och ingame testning för att resultaten skall bli missvisande. Att optimering må vara den största boven är en sak, men att skillnaden är där, kan vara så stor, och att den hoppar omkring är basproblemet.
4) Att det helt enkelt skulle vara omöjligt att optimera olika mellan bänk/timedemo och ingame-spel. Jag kan inte tro på det överhuvudtaget. Isf skulle de alla alltid ge exakt samma resultat. Det vet vi alla att så är det verkligen inte.
5) För att förtydliga punkt fyra: Att det är skillnad mellan timedemo och spel vet vi. Spela in en, kolla med fraps när du spelade in och kör den sen och se om du fick samma fps med fraps.

6) Varför gör inte fler rena speltester isf? Det är en bra fråga. Vi ser att det är jobbigare, det tar längre tid. Dessutom är det uppenbarligen väldigt svårt att övertyga folk om att repeterbarhetsargumentet i verkligheten är ett nollargument

Det kan räcka med så lite som 3 gånger för att se att felet håller sig inom signifikans. Och för du statistik på på variationen från respektive medelvärden istället för totalprestandan så ger dig varje test med ett nytt kort bättre och bättre signifikans.

Du behöver helt enkelt inte testa samma ställe med samma kort. De behöver bara testa samma ställe ett visst antal ggr.

Dessutom 30ggr är fullständigt overkill. Det här är ett medelvärdestest inte ett sex-utfalls test. Matematiken är helt olika. Signifikansen ges enbart av hur stor variationen är i det här fallet. med 5% variation mellan rundor låter tre per kort och fler totalt fullständigt rimligt. Men det är lätt att räkna ut.

Ingen fara, alltid kul att diskutera utan pajkastning, börjar bli mer och mer sällsynt på det här forumet
hinner inte skriva mer än så just nu....