Testresultat: AMD FX-8150 med KB2592546 – uppdaterad schemaläggare i Windows 7

Intervall är antagligen bättre än standardavvikelse i detta fallet, om man vill ha ett spridningsmått på så få värden. Men det blir ändå svårt att tolka då du inte vet vad spridningen beror på i det enskilda fallet, tänker jag, särskilt utan att ha standardiserat hur många gånger man kör varje test. Om man jämför 2 olika testprogram på 2 sorters hårdvara 3-5ggr och bara en av de totala körningarna drabbas av "otur" av något slag, då kommer intervallen i ena testet kanske att överlappa men inte i andra, utan att det har något med testprogrammen eller hårdvaran att göra. Därför tycker jag att det är bättre att strunta i de avvikande värdena och testa tills man har några som konvergerar kring ett typiskt värde (sen kan man räkna medel och ev spridningsmått på de mätpunkterna, men då har vi ännu färre).

Jag tycker absolut att det är bra som regel att påpeka redan i testresultatet när skillnader kan antas vara inom felmarginalen, som Swec lade till i artikeln när det påpekades här i tråden, men jag menar att kvalificerade gissningar funkar bättre för detta än statistiska metoder när man har få datapunkter. Samlar man mer data så blir ju statistik mer intressant, såklart, men då kommer ju tidsaspekten in.

Fast denna otur drabbar ju medelvärden också fast utan standardavvikelser eller intervall vet vi inte hur mycket det påverkar. Om en standardavvikelse på 3 mätvärden är opålitlig så är ju medelvärdet lika opålitligt eftersom även det färgas av "otur".

Problemet med att köra konvergerande är att det kommer ta ännu längre tid. Jag körde tio omgångar och fick stor spridning på alla. Hela problemet är ju att de inte har tid att köra massa körningar så att stokastiska avvikelser från medelvärdet tar ut varandra. Alltså behövs någon sorts mått på hur bra mätningarna faktiskt är.

Intressant är för övrigt att det i min bok i analytisk kemi står att man ofta bara har tre till fem mätserier att utgå från och sedan följer ett helt kapitel med statistiska metoder för att avgöra hur säkra mätvärdena är. Så tydligen är det inom kemin tillräckligt med tre till fem mätvärden.

Problemet är ju att det ytterst sällan uttryckligen påpekas hur säkra värdena är eller när det är obetydlig skillnad.