Futuremarks opartiskhet ifrågasatt

Problemet är väl att programmet går efter vem som tillverkat CPUn istället för att kolla vilken instruktionsuppsättning den verkligen har. Mig veterligen har AMDs CPUer haft SSE3 sedan April 2005 (Venice/San Diego), och det finns ingen anledning för en benchmark att välja att inte använda instruktionsuppsättningen bara för att CPUn inte kommer från Intel.
Det kan ju naturligtvis vara ett ärligt misstag från Futuremark, men i så fall borde man verkligen ifrågasätta deras kompetens att tillverka och sälja benchmarkprogram (eller vilka program som helst som är mer avancerade än pong för den delen) Troligare är väl i så fall att en säck pengar, en pricessa samt ett halvt, mindre kungarike har bytt ägare i samband med att FMs kodare råkade markera en massa text i koden och trycka på DEL..

AMD´s 3DNow sög ju fruktansvärt på K6-2, då den hade en hemsk matte del
Cyrix hade definitivt roligare matematik del men ägs ju av Via nu så...

Kan det bero på kompilatorn?

http://techreport.com/discussions.x/8547
http://yro.slashdot.org/comments.pl?sid=155593&cid=13042922

Jag undrar hur prestandaskillnaden varit mellan Core 2 och Phenom om Intel inte hade sånt inflytande på mjukvaruindustrin.

Vilka konspirationsteorier

Att de inte gjorde annat än att kolla på cpuid vad det var för en processor är väl inte särskilt konstigt eftersom det vid den tiden bara fanns processorer där detta var endast läsbart.
Vidare så fanns inte någon Nano på den tiden och således kan inte programmet begripa vad det är för processor och faller troligen tillbaka på det mest grundläggande testet trots att processorn stödjer nyare instruktionsuppsättningar.
När man sen ställer om cpuid så nyttjas nyare/effektivare instruktioner och resultatet varierar.

Men man kan ju givetvis hitta på illvilliga och lömska baktankar bara man vill...

Her du missat problemet? Att programmet går långsammare oavsett vad processorn klarar av så fort det inte är en Intel. Varför inte köra koden likadant på alla processorer?

Men när det gäller konverteringar och att packa/packa upp filer har väl minnesfrekvensen väldigt stor betydelse? Då om du körde 667 på intel och 800 på amd så är det ju inte så konstigt att de blev sån stor skillnad... Men jag vet inte säkert.
Nån som kan får rätta.

dundermuppen:

Hur kan Futuremarks program visa detaljerad information om datorns hårdvara om man inte klarar av att identifiera den? Eller menar du att vissa av deras programmerare klarar av detta, medan de som jobbar med optimeringar är mindre kunniga?

Hur förklarar du prestandaskillnaden då processorn identifieras som AMD eller Intel? Så enligt dig är allt detta en ren slump?

Hare/PeSi

Detta börjar likna Toms hardware/Intel vs Vanshardware + SysMark 2002.

Om det är någon som minns.

Devil May Cry:

Det är Vias Nano som presterar markart annorlunda beroende på hur den identifieras i ett testprogram enligt det test som nyheten refererar till. Har du överhuvudtaget förstått vad vi pratar om?

Hare/PeSi

Jodå jag minns. Tycker det är ruskigt illa att sysmark används över huvudtaget med tanke på den kraftiga Intel-favoriseringen.

Det hela handlar om att ett program automatiskt körs långsammare när det inte känner av en intelprocessor. Vem vet, AMD kanske varit bäst på superpi med annan kompilator.

kan man inte göra samma test på deras andra program 3dmark06,vantage,pcmark2002,pcmark2006 så får man se hurdana skillnaden är

Ja det skulle vara trevligt och se. Kanske på en Athlon64 eller Phenom också.

Jag är väl iofs inte direkt förvånad egentligen då jag har rätt mycket skit som Intel gjort genom åren, men det här är iaf en sak som gör att jag hellre håller mig borta från Intel.

dåligt, mkt dåligt av futuremark. om det nu stämmer med CPUID och inte det bara är optimering.
fast det känns lite wierd... låter för bra för å va sant med att bara ändra CPUID och få bättre prestanda i PCmark. skulle vilja se hur många poäng en amd får med "genuineINTEL" CPUID

Problemet är väl snarare att AMD har fått för låga poäng än att Intel har fått för höga.

/Adrian

Jag har inte läst era inlägg men.

Då jag pluggade så hade jag en i klassen som var ca 40-45. Jag var då 20. Hans bakgrund var elektronic uveklare på Ericsson. Han kunde el och kretskort, men inte mjukvara. (han har några patent i AXE(telefon ni vet)) Han hade då forskat en del på intel och amds procesorer. Då vi börjde klassen så var det P4 och K7 vi pratade om, det han/de kommit fram till då var att AMD hade lagt in optimeringer i sin CPU för vanliga operationer. (mer än mindre windows operationer). Medan Intel var mer generic (eller o optimerad, hur man nu ser det) och inte verkade ha någon övergripande optimering för vanliga operationer. Det har hänt mycket sedan dess. Då var det 3dnow och SSE, MMX, MMX ex. Men nu använder alla tillverkare optimering i CPUn, de vore dumma annars. Vi vill ha prestanda och prestanda / watt, eller bara prestanda, inte hög watt men ingen prestanda. Det är möjligt att futuremark ger mer till sponsorer.

MEN...
Jag tror snarer att, precis som GPU programere gör olika rutiner för ATI och nVIDIA för att få bästa prestandad, så gör även programerare av "vanlig" mjukvara det. Och om man ska jämföra cpu, gpu och även plattformer så måste man tänka på det.
Så om futirmark använder CPUID för att avgöra hur man bäst använder CPUn är det inte konstigt. Tvivlar på att pattern för Nano finns. Så om jag var en cpu tillverkare som vill slå alla. (Core 2 bankade ner AMD ... (jag körde AMD från K6(DÅLIG, vi brukade skämta om att världen energi problem var lösta. K6 gav mer värme än vad den drog i watt, K7 var vändingen, som ni vet) till Opteron 186, sen kom Core 2(Intel P M var vändningen,)

Så om jag skulle jag satsa på att slå mig in på low P markaned så skulle det vara watt / prestanda / pris. Då pratar vi beräkningar / mhz och watt och framföralt att vara kompatibel med så många optimeringer som möjligt.
Så att vi kan få bra prestanda i alla gamla program som folk annvänder. Så ha AMD och Intel optimeringar skulle inebärra att jag kan få optimeringar i alla program som har en opimering för AMD eller Intel.

Det skulle vara intresant att se om AMD och INTEL poäng hade varit olika med varandras CPUID.(och med VIAs för de nelen) Men mer intressant med AMD INTEL INTEL ATOM VIA NANO i ett program som vi VET optimerar rutinerna efter funktioner som hittas i CPUn och avgörs av CPUID. (BDW har ingen aning hur futurmark känner igen hårdvarva, vet bara att de aldrig ser att man har SLI)

Hoppas min lilla uppsats uppskatas. XD

Om du läser mitt inlägg igen så ger jag en möjlig förklaring där.

Det kan man ju undra. Programmerarna av detta testet kanske ville nyttja optimerad kod för varje processor? Eftersom de omöjligt kunde veta hur snabb implementeringen av SSE på nano skulle bli tre år senare så föll de tillbaka på default.
Jag säger inte att det är på detta viset, bara att det är en rimlig anledning.

Om man vänder på resonemanget. Varför köra kod på en speciell processor på ett sätt man vet om är ineffektivt när man känner till bättre vis för just den processortypen? Kanske bäst om alla prestandatester förutsätter CGA och 8 bitars kod?

Precis min tanke. Såg inte ditt svar innan jag uppdaterat mitt inlägg.

Kommer på 4 typer av förklaringar.
1) Futuremark har gjort något misstag och var inte medvtena om detta
2) Futuremark valde att göra så här.
3) Kombination av 1 och 2. Man tänkte så här.. det blev kanske lite fel .. etc
4) Det finns någon annan förklaring till ArsTechnicas testresultat som inte har med pcmark att göra.

Ignorerar 4 eftersom den förklaringen snart säkert kommer vara dementerad eller bekräftad och inte tillför diskussionen något i vilket fall.

Det brukar handla om "politik" och pengar så det är tveksamt om futuremarks förklaring kommer vara den faktiska anledningen om inte den riktiga förklaringen även råkar vara det som låter bäst och som folk kan tro på.

1) skulle inte vara bra för futuremarks trovärdighet och kompetens-framtoning. Å andra sidan skulle många antalgligen svälja den förklaringen, även om futuremark indirekt förklarar sig inkompetenta eftersom det här gissningsvis handlar om hur man hanterar mycket grundläggande hårdvarufunktioner. Och futuremark lever väl på att vara "experter" på att testa ... hårdvara.

2) tycker jag verkar mest troligt för tillfället. Om man tänker att så här kan väl inte de lilla krambjörnarna till företag göra så lär man leta efter andra förklaringar.
Om man bortser från enklare men mindre kramgoa förklaringar som att Intel var så kallade futuremark medlemmar och inte AMD eller att Intel kanske utövade mer "inflytande", så kan man tänka sig övertalningsargument som: "Men våran Intel-kompiler slår ju bara på SSE för intel processorer så på ett sätt kan man ju faktiskt säga att endast Intel processorer har SSE" osv...

3) gissar jag blir futuremarks officiella förklaring. Mest utrymme för att tänka ut förklaringar som låter ok som inte får futuremark att framstå som inkompetenta.
Det smidigaste borde vara någon variant av att man glömde att AMD hade SSE. Även om det egentliga problemet med det fortfarande blir att de valt att ge processorer de egenskaper de känner för genom cpuid i stället för de funktioner som processorn säger att den har som det är meningen man ska använda.

Det där stämmer mycket dåligt med våra erfarenheter att P4 var riktigt bra i optimerad kod men horribel när koden inte var optimerad. Samtidigt som Athlon blev känd för att den tuggade igenom all kod bra oavsett optimeringar. Detta skulle ligga i AMDs starkare decoder. Och var en nödvändighet då man aldrig optimerade sin kod för AMD men gärna för Intel.
AMD var helt enkelt tvugna att göra ett litet monster som käkade all kod med samma goda aptit för att kunna konkurera tillräckligt bra.
Att P4 dessutom hade en lång pipeline gjorde den ännu känsligare för oförutsedda beräkningar.

Mycket skummt tycker jag, om man gör specialoptimeringar för olika processortyper som trotts allt har samma extensions påslagna blir det sju kasst resultat ändå som inte går att använda till att jämföra.

Inser du vad din förklaring innebär?
Att FMs programerare istället för att göra "kolla tillgängliga optimeringar" valde att förbestämma vilka optimeringar som skall användas för en TILLVERKARES processorer - detta är i bästa fall oförsvarbart slarvigt och automatiskt medför att opartiskheten och kompetensen blir ifrågasatt (vilkoren för jämförelsen blir inte lika i grunden).

Nästa problem med att enbart kolla på cpuid är skillnaderna mellan tillverkares olika generationer - har P3 SSE2? nä.... vad säger cpuid om det? inget...
det skulle innebära att testet kontrolerar processormodell för att avgöra vilka optimeringar som körs... varför inte bara bestämma ett tal det skall spotta ut beroende på modell och klockfrekvens? med några gångers skillnad mellan olika generationer och alltid dubbellt så högt för den tillverkare som bjuder på flest krogrundor.

Litar inte ett dugg på Futuremark när de gäller prestandatester när man varken kan lita på dom eller hårdvarujättarna.