Fredagsfokus 9: Påtryckningar från tillverkare

Permalänk
Medlem
Skrivet av cyklonen:

Nej, du förstår inte vad jag menar. Det jag menar är att Steve återkommande framställer ett övertag för AMD i ett resultat med starkt positiva formuleringar, medan ett lika stort övertag för Intel/Nvidia i ett annat resultat viftas bort som "inte så stor skillnad" eller "det där märks inte i vardagligt användande".

Jag tror absolut inte att de är köpta av nån. Jag tror bara att Steve låter sin personliga preferens för AMD gå ut över formuleringar i redaktionellt material, och det ser inte snyggt ut. Märker man det inte så märker man det inte. Men vi är många som märker det, och det ger viss avsmak. Och, än en gång, det har inget med att det är AMD att göra. Jag hade reagerat exakt likadant om det hade varit Nvidia eller Intel som Steve hade favoriserat formuleringsmässigt.

Okej, jag kan inte hålla med då jag tycker att de ofta på sistone har sagt att Nvidia totalkrossar i vissa test osv. Vad de gör och vad andra gör är avfärda skillnader på ett par procent inom titlar då det inte är stor nog skillnad för att spel roll, det tycker jag de gör åt både hållen dock.

Men som sagt, finns många reviewers, jag har varit rätt missnöjd med allt sedan pascal fram tills ampere och har väl dragit mig till reviewers som varit öppna med samma missnöje. Det missnöjet har varit mot nvidia för deras pushade av teknologi som inte är färdig för ett högt pris med Turing, högt pris både i pengar och avsaknad av vanlig prestandaökning. Det har varit mot AMD för att ha skitit I high-end segmentet så länge och för den idiotiska releasen som var VII medan de hypade RDNA som någon slags saviour trots att de aldrig släppte något flaggskepp där. Mot Intel för att deras försök att skriva om narrativ med vilka tester som är relevanta osv, och mot ett gäng reviewers som bara apade variationer av "just buy it" för Turing medan jag själv upplevde med 2060 och 2080S att RT helt enkelt inte var redo.

Har uppskattat HU då de verkat dela dessa frustrationer vilket även de flesta vettiga reviewers har gjort till viss del, även om de undvikit att säga så mycket om det.

Visa signatur

Gamingrigg: MEG x570 ACE, 5950X, Ripjaws V 32GB 4000MT/S CL16, 6800XT Red Devil LE, HX1200i.
Laptop: XPS 9570 x GTX 1050 x 8300h + 16GB Vengeance 2666Mhz + Intel AX200
Valheim server: i7-8559 + Iris Plus 655 + 32GB + 256GB
Printers? Yes. Ender 5, Creality LD-002R, Velleman VM8600, Velleman K8200

Permalänk
Medlem
Skrivet av Shiprat:

Okej, jag kan inte hålla med då jag tycker att de ofta på sistone har sagt att Nvidia totalkrossar i vissa test osv.

När krossen är stor är det svårt att inte erkänna det utan att framstå som löjliga.

Skrivet av Shiprat:

Vad de gör och vad andra gör är avfärda skillnader på ett par procent inom titlar då det inte är stor nog skillnad för att spel roll, det tycker jag de gör åt både hållen dock.

Det är just det de inte gör. De gör det inte på samma sätt åt båda håll. Och det är det som fått mig och många andra att tycka att det finns en AMD-bias hos dem (Steve) som andra inte har.

Visa signatur

Moderkort: Gigabyte X570 Aorus Master | CPU: AMD Ryzen R9 5900X | CPU-kylare: Noctua NH-D15 chromax.black | RAM: Corsair Vengeance LPX 64 GB (4x16) DDR4-3600 CL18 | GPU: Gigabyte RTX 4080 Eagle OC | SSD: 2 x Samsung 970 EVO Plus 1 TB NVMe + Kingston A400 480 GB + Samsung QVO860 1 TB | PSU: EVGA SuperNOVA G2 1000 W Gold | Chassi: Lian Li O11 Dynamic XL | Skärm: BenQ PD3200U @ 3840x2160 + ASUS ROG Strix XG32VQ @ 2560x1440 | Tangentbord: Corsair K68 RGB Cherry MX Red | Mus: Logitech MX Master 2S

Permalänk
Medlem

Bra att ni står på er !

Visa signatur

🖥️ Fractal Design Node 804 • Asrock Fatal1ty X99M Killer • Intel 5820K • Noctua NH-U12S • Corsair Vengeance 16GB • Gigabyte GTX 970 • be quiet! Dark Power Pro 550w • 2x Intel 520 120GB • 2x 1TB • 1x 3TB
💻 Microsoft Surface Pro (8GB/128GB)
 iPhone 11 64GB 🎧 SONY WH-1000XM3
🎵📲 SONY NW-ZX300 64GB [Region changed & Mr Walkman custom firmware loaded] + 256GB xtra • Audio Technica ATH-M50X

Permalänk
Medlem
Skrivet av cyklonen:

När krossen är stor är det svårt att inte erkänna det utan att framstå som löjliga.

Det är just det de inte gör. De gör det inte på samma sätt åt båda håll. Och det är det som fått mig och många andra att tycka att det finns en AMD-bias hos dem (Steve) som andra inte har.

Okej, för att göra det mer översiktligt tog jag recensionen på 6800XT där de huvudsakligen jämförde mot 3080 och la en procent där 6800XT's avg fps är delat med 3080, färgkodningen går mot rött vid fördel för AMD och mot grönt vid fördel för nvidia. Jag la till kommentaren om varje resultat och highlightade de delar som jag tyckte stack ut.

https://drive.google.com/file/d/1oqyFlsIJk4iqK0q9NhD15m5TWkBK...

Vad som definitivt kan noteras är att de är väldigt positiva över kortet- detta skiftade ju en del sedan när de fick reda på de "riktiga" priserna, men det visste de inte än i denna review. Steve har en tendens att nämna den positiva ökningen mot 5700XT när 6800XT har presterat särdeles dåligt jämfört med 3080 vilket är lite udda- nästan som att han känner att han vill ta fram något positivt- men å andra sidan gör han även tvärtom och nämner vid ett tillfälle att det är än väldigt dåligt ökning jämfört med 5700XT och en gång att ökningen är bra men inte med tanke på prishöjningen. Vad jag kan säga är att jag känner att de borde lägga till en bumper eller något i slutsatsen om att denna review var med dåvarande priser och tillgänglighet i åtanke- inte med hur marknaden visade sig vara efter release, något de borde gör för Ampere också. Dock har de gjort ett flertal videos om detta därefter där nvidia först fick en del skit, och AMD (med rätta) fick ännu mer för hur mycket sämre deras release var än nvidias redan frustrerande release, rent logistiskt.

Det är svårt att göra en motsvarande jämförelse med deras review på nvidia då RDNA2 inte fanns än då- den var egentligen mest satt mot turing och var givetvis väldigt positiv där då turing var en ovanligt svag generation. Närmsta man kan komma är 3060Ti vs 5700XT men de jämför 3060Ti mest mot 2080S som det presenterades som att vara i samma prestandaklass med (fortfarande ett stick av bitterhet varje gång jag tänker på vad jag betalade för 2080S) och 2060 vilket det ersätter i tilltänkt prisklass.

Jag ser lite vad ni menar när jag sammanfattade kommentarerna i dokumentet, dock tycker jag inte de är "out of line" riktigt, särskilt inte med tanke på hur (känslan jag har fått iallafall) en del reviewers korsade gränsen mellan oberoende journalist och ren marknadsföring åt nvidia under Turing-releasen.

Eldprovet blir väl deras review när nvidia kommer fram med ett 3080Ti eller dylikt, något som kan ställas som konkurrerande produkt till RDNA2 nu efter att RDNA2 redan recenserats. Oddsen är att de fortfarande kommer visa lite andra resultat än andra reviewers på grund av sitt större/nyare urval av spel, men vid det laget kommer varken Ampere eller RDNA2 vara nya och spännande så vi får se om de sätter "spin" på kommentarerna tillhörande siffrorna eller ej.

Visa signatur

Gamingrigg: MEG x570 ACE, 5950X, Ripjaws V 32GB 4000MT/S CL16, 6800XT Red Devil LE, HX1200i.
Laptop: XPS 9570 x GTX 1050 x 8300h + 16GB Vengeance 2666Mhz + Intel AX200
Valheim server: i7-8559 + Iris Plus 655 + 32GB + 256GB
Printers? Yes. Ender 5, Creality LD-002R, Velleman VM8600, Velleman K8200

Permalänk
Skrivet av Shiprat:

Jo det borde man absolut kunna få. Vet inte var du fått den här iden om att alla riggar garanterat kommer prestera likadant ifrån, det har aldrig stämt och tvivlar på att det någonsin kommer stämma i entusiastområdet. Du har å ena sidan visat att du uppskattar värdet i att aggregera resultat för att få ut ett genomsnitt- men sedan menar du att det inte borde få finnas utstickare? Isåfall, varför har du inte vänt den här diskussion mot LTT som enligt den data du själv presenterade borde vara största boven i dramat, de har ju mer avstickande resultat än någon annan?

Vad menas med att test ska försöka "efterlikna verkligheten"? De har ju alla testat spel som riktiga personer spelar på hårdvara som riktiga personer använder, varför är inte det "verkligheten?".

Ta en titt i nvidias forum, amd och nvidias subreddit, techsupport delar av forum som sweclockers eller LTT... om du tror att ett par procents skillnad i resultat på olika system är så stort så har du helt fel uppfattning av hur "verkligheten" ser ut. Om något är det ett tecken på hur pass erfarna och seriösa de flesta stora reviewers är just nu att de lyckas få så pass närliggande resultat alls.

Att olika system sticker ut är inte konstigt. Men när samma recensent sticker ut åt samma håll över flera olika grafikkortslanseringar över flera olika testriggar, då blir det ett problem. Det är också anledningen varför jag inte kommenterar Linus Tech Tips då det är just beteendet att de svänger mycket gör att man kan vara säker på att dom inte är biased mot någon produkt. Att Linus Tech Tips svänger mycket säger dock att det inte är en recensent man ska gå till om man vill ha bra representativa spelbenchmarks.

Skrivet av Shiprat:

Okej jag har läst igenom igen och försökt förstå mig på vad du försöker göra, men i slutänden är det enda jag kan få ut av det att du visar skillnaden i en benchmarksvit från en annan? Kan du förklara igen hur exakt detta ska åtgärdas? Ska någon slags myndighet bildas som meddelar vilka spel som får testas varje generation? Ska DX12/vulkan regleras i test så att inget får användas som funkar bättre på en GPU än en annan, och ska de som avviker (i detta fall HU och LTT) få någon slags varning och instruktioner om hur de ska testa i framtiden för att falla i linje med de andra?

Jag försöker inte vara dramatisk, jag förstår faktiskt inte vad du är ute efter. Du har bevisat att när man testar olika saker får man olika resultat, men var är resten av bevisen för något alls? Det är fine att säga att du inte gillar deras attityd och att de känns biased när de pratar, men jag kan inte se att siffrorna du tagit fram visar något annat än olika testmetoder vilket är nödvändigt om man vill ha en bra helhetsbild av en produkt.

Det jag jämför är hur AMD mot närmaste NVIDIA kort presterar i vardera recensents prestandaindex, om det inte finns ett prestandaindex har jag skapat ett sådant genom att ta snittet från alla titlar testade. Det jag visar är att i Hardware Unboxed prestandaindex så har AMDs grafikkort fått en högre score jämfört med andra recensenter över perioden jag undersöker. Tycker du inte själv att det är konstigt om en recensent konsekvent över flera olika grafikkortslanseringar alltid har ett prestandaindex (och prestanda/dollar-grafer) där resultatet alltid tycks vara mer fördelaktigt för en hårdvarutillverkare än en annan?

Skrivet av Shiprat:

Okej, för att göra det mer översiktligt tog jag recensionen på 6800XT där de huvudsakligen jämförde mot 3080 och la en procent där 6800XT's avg fps är delat med 3080, färgkodningen går mot rött vid fördel för AMD och mot grönt vid fördel för nvidia. Jag la till kommentaren om varje resultat och highlightade de delar som jag tyckte stack ut.

https://drive.google.com/file/d/1oqyFlsIJk4iqK0q9NhD15m5TWkBK...

Vad som definitivt kan noteras är att de är väldigt positiva över kortet- detta skiftade ju en del sedan när de fick reda på de "riktiga" priserna, men det visste de inte än i denna review. Steve har en tendens att nämna den positiva ökningen mot 5700XT när 6800XT har presterat särdeles dåligt jämfört med 3080 vilket är lite udda- nästan som att han känner att han vill ta fram något positivt- men å andra sidan gör han även tvärtom och nämner vid ett tillfälle att det är än väldigt dåligt ökning jämfört med 5700XT och en gång att ökningen är bra men inte med tanke på prishöjningen. Vad jag kan säga är att jag känner att de borde lägga till en bumper eller något i slutsatsen om att denna review var med dåvarande priser och tillgänglighet i åtanke- inte med hur marknaden visade sig vara efter release, något de borde gör för Ampere också. Dock har de gjort ett flertal videos om detta därefter där nvidia först fick en del skit, och AMD (med rätta) fick ännu mer för hur mycket sämre deras release var än nvidias redan frustrerande release, rent logistiskt.

Det är svårt att göra en motsvarande jämförelse med deras review på nvidia då RDNA2 inte fanns än då- den var egentligen mest satt mot turing och var givetvis väldigt positiv där då turing var en ovanligt svag generation. Närmsta man kan komma är 3060Ti vs 5700XT men de jämför 3060Ti mest mot 2080S som det presenterades som att vara i samma prestandaklass med (fortfarande ett stick av bitterhet varje gång jag tänker på vad jag betalade för 2080S) och 2060 vilket det ersätter i tilltänkt prisklass.

Jag ser lite vad ni menar när jag sammanfattade kommentarerna i dokumentet, dock tycker jag inte de är "out of line" riktigt, särskilt inte med tanke på hur (känslan jag har fått iallafall) en del reviewers korsade gränsen mellan oberoende journalist och ren marknadsföring åt nvidia under Turing-releasen.

Eldprovet blir väl deras review när nvidia kommer fram med ett 3080Ti eller dylikt, något som kan ställas som konkurrerande produkt till RDNA2 nu efter att RDNA2 redan recenserats. Oddsen är att de fortfarande kommer visa lite andra resultat än andra reviewers på grund av sitt större/nyare urval av spel, men vid det laget kommer varken Ampere eller RDNA2 vara nya och spännande så vi får se om de sätter "spin" på kommentarerna tillhörande siffrorna eller ej.

Mycket intressant textanalys. Men ja precis som du säger så kan man inte jämföra med någon 3080-recensionen då AMDs 6000-serie inte var släppt än. Jag skulle gärna dyka in i denna typ av språkanalys också men nånstans måste man lägga band på sig själv hehe.

Permalänk
Medlem
Skrivet av Rödskägg d ä:

Att olika system sticker ut är inte konstigt. Men när samma recensent sticker ut åt samma håll över flera olika grafikkortslanseringar över flera olika testriggar, då blir det ett problem. Det är också anledningen varför jag inte kommenterar Linus Tech Tips då det är just beteendet att de svänger mycket gör att man kan vara säker på att dom inte är biased mot någon produkt. Att Linus Tech Tips svänger mycket säger dock att det inte är en recensent man ska gå till om man vill ha bra representativa spelbenchmarks.

Då har vi väl nått slutänden där vi inte kan göra annat än att inte hålla med varandra. Jag tycker inte det är ett problem då olika saker testas. Jag vägrar gå med på att att recensenter ska förväntas få homogena resultat när de testat olika saker. Att göra ett index över det hela gör absolut ingenting annat än att berätta hur den testsviten presterar på ett kort gentemot en annan svit.

Du tittar på den graf du har gjort och extrapolerar enormt överdrivna slutsatser därav- att LTT skulle vara mindre biased på grund av att de avviker vildare, att HU skulle vara mer biased trots att de har en konsekvent offset med sin testsvit vilket du själv visar.

Detta tycker jag bleknar i jämförelse med saker som är mycket mer sannolika att indikera bias: LTT gör nvidia-sponsrade videos, HU har blivit direkt hotade av nvidia att bli uteslutna om de inte ändrar sin ton. Det betyder inte att jag tycker att någon av dem är biased, det tycker jag inte.

Skrivet av Rödskägg d ä:

Det jag jämför är hur AMD mot närmaste NVIDIA kort presterar i vardera recensents prestandaindex, om det inte finns ett prestandaindex har jag skapat ett sådant genom att ta snittet från alla titlar testade. Det jag visar är att i Hardware Unboxed prestandaindex så har AMDs grafikkort fått en högre score jämfört med andra recensenter över perioden jag undersöker. Tycker du inte själv att det är konstigt om en recensent konsekvent över flera olika grafikkortslanseringar alltid har ett prestandaindex (och prestanda/dollar-grafer) där resultatet alltid tycks vara mer fördelaktigt för en hårdvarutillverkare än en annan?

Igen, tänk på vad du säger här- Prestandaindex baserat på andra testade spel?
Prestanda/dollar grafer som har varit baserade på att AMD har haft billigare kort på marknaden då nvidia tagit ett premium för RTX och senare på att AMD gett helt fel pris till HU som inte sågs i verkligheten?

Tycker jag det är konstigt att de får andra resultat i en annan testsvit? Nej. Tycker jag det är konstigt att de får ickerealistiska dollar/prestanda jämfört med priser i svenska butiker efter launch? Nej.

Om du verkligen vill undersöka detta- jämför äpplen mot äpplen som de säger- spel mot spel.
Det känns som att du kommit fram till att de är biased och försökt plocka fram den statistik som stödjer den känslan, men utan att göra en nogrannare analys av datan så betyder det ingenting.

Att datan känns fel betyder ingenting, om den är fel går det att konstatera genom att titta djupare och jämföra normaliserad testdata så långt som det går. Jag gjorde ett exempel där som visade att i gemensamma spel mellan swec och HU hade amd 0.78% fördel hos HU vilket är oerhört jämnt om man har i åtanke hur olika deras system är. Om du vill göra motsvarande jämförelse mot andra recensenter så kan det faktiskt ge en bild på om bias finns i siffrorna. Om du envisas med att säga att det är biased för att de testar andra spel; ha i åtanke att vad du då säger är att spel där AMD presterar bra inte borde vara giltiga för recensioner, för det är det man kommer till i slutändan isåfall.

Visa signatur

Gamingrigg: MEG x570 ACE, 5950X, Ripjaws V 32GB 4000MT/S CL16, 6800XT Red Devil LE, HX1200i.
Laptop: XPS 9570 x GTX 1050 x 8300h + 16GB Vengeance 2666Mhz + Intel AX200
Valheim server: i7-8559 + Iris Plus 655 + 32GB + 256GB
Printers? Yes. Ender 5, Creality LD-002R, Velleman VM8600, Velleman K8200

Permalänk
Medlem
Skrivet av Shiprat:

Då har vi väl nått slutänden där vi inte kan göra annat än att inte hålla med varandra. Jag tycker inte det är ett problem då olika saker testas. Jag vägrar gå med på att att recensenter ska förväntas få homogena resultat när de testat olika saker. Att göra ett index över det hela gör absolut ingenting annat än att berätta hur den testsviten presterar på ett kort gentemot en annan svit.

Du tittar på den graf du har gjort och extrapolerar enormt överdrivna slutsatser därav- att LTT skulle vara mindre biased på grund av att de avviker vildare, att HU skulle vara mer biased trots att de har en konsekvent offset med sin testsvit vilket du själv visar.

Detta tycker jag bleknar i jämförelse med saker som är mycket mer sannolika att indikera bias: LTT gör nvidia-sponsrade videos, HU har blivit direkt hotade av nvidia att bli uteslutna om de inte ändrar sin ton. Det betyder inte att jag tycker att någon av dem är biased, det tycker jag inte.

Igen, tänk på vad du säger här- Prestandaindex baserat på andra testade spel?
Prestanda/dollar grafer som har varit baserade på att AMD har haft billigare kort på marknaden då nvidia tagit ett premium för RTX och senare på att AMD gett helt fel pris till HU som inte sågs i verkligheten?

Tycker jag det är konstigt att de får andra resultat i en annan testsvit? Nej. Tycker jag det är konstigt att de får ickerealistiska dollar/prestanda jämfört med priser i svenska butiker efter launch? Nej.

Om du verkligen vill undersöka detta- jämför äpplen mot äpplen som de säger- spel mot spel.
Det känns som att du kommit fram till att de är biased och försökt plocka fram den statistik som stödjer den känslan, men utan att göra en nogrannare analys av datan så betyder det ingenting.

Att datan känns fel betyder ingenting, om den är fel går det att konstatera genom att titta djupare och jämföra normaliserad testdata så långt som det går. Jag gjorde ett exempel där som visade att i gemensamma spel mellan swec och HU hade amd 0.78% fördel hos HU vilket är oerhört jämnt om man har i åtanke hur olika deras system är. Om du vill göra motsvarande jämförelse mot andra recensenter så kan det faktiskt ge en bild på om bias finns i siffrorna. Om du envisas med att säga att det är biased för att de testar andra spel; ha i åtanke att vad du då säger är att spel där AMD presterar bra inte borde vara giltiga för recensioner, för det är det man kommer till i slutändan isåfall.

För att bygga på lite här; det du skrev i ditt förra inlägg visade ju på att i testsviten var många spel släppta 2020. Alltså var det inte i alla fall samma bias som tidigare, för de spelen var inte med till 5700XT och tidigare recensioner. Då återstår möjligheten att HU skulle medvetet testa spel för att hitta de ’guldklimpar’ som AMD vinner i (helst sponsrade av Nvidia) och välja ut dessa medvetet?

Även om det skulle vara så, så är det ju bra för alla miljoner människor som spelar de spelen att veta hur korten presterar i dessa spel, för det är ju inte no-name indie spel direkt...

Det kan ju å andra sidan också vara precis tvärt om, Nvidia utför påtryckningar så att inte andra ska testa dessa ’falska’ spel och ge ’representativa data’? Eller rädda för att få stämpeln ’röd media’. De spelen som HU testar är legitima spel och så länge datan som de presenterar från dessa spel matchar med övrig press tycker jag inte alls det visar på problem, tvärt om!

Permalänk
Datavetare
Skrivet av Shiprat:

Om man inte gillar stämningen eller attityden så finns det ju gott om andra reviewers, men att dra igång någon häxjakt baserat på att de fått lite bättre resultat i deras tester och att de inte lovordat RTX-prestanda känns ärligt talat som ren fanboism, för jag kan inte se att någon som verkligen kan vara neutral skulle ta detta som verklig bias snarare än att en reviewers har en åsikt om den teknologi som hela deras karriär handlar om.

Fast är det @Rödskägg d ä gör i denna tråd en häxjakt? Vad data faktiskt visar, t.ex. genom att göra ett students t-test på hur olika webbplatsers resultat i andra grafen i detta inlägg kan man med väldigt god statistik säkerhet säga

  • Variationer i resultat hos SweClockers, Gamers Nexus, Linus Tech Tips och Digital Foundary kan inte statistik ses som att avvika mer än vad som kan förklaras med slumpen

  • TechPowerUp har en svag dragning mot Nvidia positiva resultat, svaga nog att om man plockar bort den rätt stora förskjutning av medelvärdet som orsakas av Hardware Unboxed så blir den dragning inte statistiskt signifikant på något rimlig nivå

  • Oavsett vilken annan serie man plockar bort har Hardware Unboxed en statistik signifikant dragning mot AMD (relativt vilket resultat de andra webbplatserna kommit fram till)

Vad man inte kan förklara med dessa data är varför HU testmetoder ger högre resultat för AMD (det över tre generationer AMD kort och två generationer Nvidia kort). Att HU har en statistik säkerställd avvikelsen kan man ändå visa.

Notera också att ovan är nästan helt ortogonalt mot huruvida HU rekommenderat AMD eller Nvidia kort tidigare. Man kan absolut utföra testerna på ett sätt som gynnar A men vara neutral i hur man tolkar det data man sen får. Om B bara är tillräckligt långt före kommer då ändå data visa att B är bättre.

Visa signatur

Care About Your Craft: Why spend your life developing software unless you care about doing it well? - The Pragmatic Programmer

Permalänk
Medlem
Skrivet av medbor:

För att bygga på lite här; det du skrev i ditt förra inlägg visade ju på att i testsviten var många spel släppta 2020. Alltså var det inte i alla fall samma bias som tidigare, för de spelen var inte med till 5700XT och tidigare recensioner. Då återstår möjligheten att HU skulle medvetet testa spel för att hitta de ’guldklimpar’ som AMD vinner i (helst sponsrade av Nvidia) och välja ut dessa medvetet?

Även om det skulle vara så, så är det ju bra för alla miljoner människor som spelar de spelen att veta hur korten presterar i dessa spel, för det är ju inte no-name indie spel direkt...

Det kan ju å andra sidan också vara precis tvärt om, Nvidia utför påtryckningar så att inte andra ska testa dessa ’falska’ spel och ge ’representativa data’? Eller rädda för att få stämpeln ’röd media’. De spelen som HU testar är legitima spel och så länge datan som de presenterar från dessa spel matchar med övrig press tycker jag inte alls det visar på problem, tvärt om!

Det är lite så jag känner med- om det för inviduella spel konsekvent har en prestandabias mot AMD så är det ett issue, jag har svårt att se att det är problem om dragningen kommer från listan spel de testat sålänge de inte går ur sin väg att undvika populära saker och dra fram obskyra saker som funkar bra- det är ju fallet utan det är en lista väldigt relevant spel.

Skrivet av Yoshman:

Fast är det @Rödskägg d ä gör i denna tråd en häxjakt? Vad data faktiskt visar, t.ex. genom att göra ett students t-test på hur olika webbplatsers resultat i andra grafen i detta inlägg kan man med väldigt god statistik säkerhet säga

  • Variationer i resultat hos SweClockers, Gamers Nexus, Linus Tech Tips och Digital Foundary kan inte statistik ses som att avvika mer än vad som kan förklaras med slumpen

  • TechPowerUp har en svag dragning mot Nvidia positiva resultat, svaga nog att om man plockar bort den rätt stora förskjutning av medelvärdet som orsakas av Hardware Unboxed så blir den dragning inte statistiskt signifikant på något rimlig nivå

  • Oavsett vilken annan serie man plockar bort har Hardware Unboxed en statistik signifikant dragning mot AMD (relativt vilket resultat de andra webbplatserna kommit fram till)

Vad man inte kan förklara med dessa data är varför HU testmetoder ger högre resultat för AMD (det över tre generationer AMD kort och två generationer Nvidia kort). Att HU har en statistik säkerställd avvikelsen kan man ändå visa.

Notera också att ovan är nästan helt ortogonalt mot huruvida HU rekommenderat AMD eller Nvidia kort tidigare. Man kan absolut utföra testerna på ett sätt som gynnar A men vara neutral i hur man tolkar det data man sen får. Om B bara är tillräckligt långt före kommer då ändå data visa att B är bättre.

Ska ta en titt på techpowerup vs HU's review av 5700XT senare (ska avnjuta lite faktiskt semesterspelande först bara) då jag redan nu ser lite intressanta skillnader där. Svar mer utförligt då också.

Visa signatur

Gamingrigg: MEG x570 ACE, 5950X, Ripjaws V 32GB 4000MT/S CL16, 6800XT Red Devil LE, HX1200i.
Laptop: XPS 9570 x GTX 1050 x 8300h + 16GB Vengeance 2666Mhz + Intel AX200
Valheim server: i7-8559 + Iris Plus 655 + 32GB + 256GB
Printers? Yes. Ender 5, Creality LD-002R, Velleman VM8600, Velleman K8200

Permalänk
Medlem
Skrivet av Shiprat:

Det är lite så jag känner med- om det för inviduella spel konsekvent har en prestandabias mot AMD så är det ett issue, jag har svårt att se att det är problem om dragningen kommer från listan spel de testat sålänge de inte går ur sin väg att undvika populära saker och dra fram obskyra saker som funkar bra- det är ju fallet utan det är en lista väldigt relevant spel.

Ska ta en titt på techpowerup vs HU's review av 5700XT senare (ska avnjuta lite faktiskt semesterspelande först bara) då jag redan nu ser lite intressanta skillnader där. Svar mer utförligt då också.

Väntar med spänning!

Permalänk
Medlem
Skrivet av medbor:

Väntar med spänning!

Se bild nedan samt spreadsheet för den som undar om hur det gjorts eller misstänker att jag knackat in något fel.

EDIT: De reviews jag tog data från är Techpowerups review av 5700XT referens och Techspot/Hardware Unboxed's review av 5700XT.

https://drive.google.com/file/d/1XArSY89tEQlm0y6Mpgq37mKJiD2K...

Jag har tagit vardera reviewers rapporterade AVG fps i 1440p och 4k (Hu testade här inte i 1080p) adderat dem och delat på 2: (1440p+4k)/2 för att få en medel fps för båda.
Jag har sedan tagit resultatet för 5700XT delat på resultatet för 2070 för att få vilken procent av 2070's prestanda 5700XT fick, detta visar som en procent.
Sist har jag tagit denna siffra för HU delat på motsvarande för TPU för att se om HU har ett resultat i det spelet som lutar mer mot AMD än vad TPU's gör.

Snittet på de fem "bias-procenten" som jag får fram är 100,07, alltså i de gemensamma spelen lutar HU .07% mer mot AMD än vad TPU gör.

Då deras testriggar båda köra 9900K@5Ghz så borde det inte vara någon risk för att ena lider mer av cpu bottleneck, annars hade jag tagit enbart 4k.

Techpowerup har formaterat sina benchmarks som så att de highligtar 5700XT och 2070 som en jämförelse.
De skriver följande om pris "The Radeon RX 5700 XT we are examining in this review today leads the pack at $399, a whole $100 cheaper than the GeForce RTX 2070" - så det handlar om att 5700XT är ca 80% av priset för 2070 vid tidpunkten för deras review och med deras priser.
Enligt Swec's recension kostade 5700XT referens i sverige ~4790 vid lansering, de verkar inte ha fått något 2070FE men det billigaste 2070 de testade (och det första, MSI Armor) kostade 5790 medan resten låg en eller två tusenlappar högre vid release.

Näst kan man titta på rapporterade övertag för 5700XT vs 2070 över alla rapporterade spel vs enbart ej gemensamma spel:

Ej gemensamma spel: I HU's svit presterar 5700XT på 117,19% av 2070, i TPU's svit presterar 5700XT på 100,91% av 2070.
Alla testade spel: I HU's svit presterar 5700XT på 111,25% av 2070, i TPU's svit presterar 5700XT på 101,42% av 2070.
Lägger till Sweclockers sammanvägda index från deras 5700XT-recension här för referens: för Swec presterar 5700XT på 106,4% av 2070 Armor.
Därmed om man skulle använda Swec sammanvägda som nolla (inte egentligen helt korrekt då det även innehåller 1080p data där jag misstänker att 2070 presterar lite bättre) så skulle HU ligga +4,85% i AMD-bias TPU skulle ligga -4,98% i AMD-bias.

Jag kan inte med gott samvete jämföra med något som följt annan metodik än jag tydligt sagt (alltså 1440p+4k enbart) så jag tar ut Swecs indexvärden för 1440p+4k från deras DX11 och DX12 index (fyra datapunkter per kort alltså) och delar med fyra, för att sedan dela den resulterande siffran för 5700XT med siffran för 2070 och sätta som procent: 105,19%
Med denna vore isåfall vore isåfall HU's AMD-bias jämfört med Swec 6,06% och TPU's AMD-bias jämfört med Swec -3,77%.

TPU skriver följande om pris "The Radeon RX 5700 XT we are examining in this review today leads the pack at $399, a whole $100 cheaper than the GeForce RTX 2070" - så det handlar om att 5700XT är ca 80% av priset för 2070 vid deras review.

Assasins Creed Odyssey: Rätt konstiga resultat hos TPU med lägre FPS överlag, till exempel presterar deras 1080Ti under 2060S, 2070, Radeon VII och 2070S medan hos HU är FPS överlag högre för alla kort i testet och Enbart 2080 och 2080Ti slår 1080Ti.

Rainbow Six Siege: TPU får betydligt högre FPS för båda kort? Siege tenderar att alltid defaulta till, tror jag, 50% render scale om man inte ändrar det, TPU har ej specifierat medan HU specifierar 100% rendering scale. Min misstanke är att TPU kör i default alltså 50% rendering scale här. De har specifierat att de kör DX11 precis som HU (detta var innan vulkan kom till Siege antar jag) och deras FPS är närmare vad andra reviewers får i 1080p.

Testriggar:
Hardware Unboxed: Intel Core i9-9900K clocked at 5 GHz with 32GB of DDR4-3400
TechPowerUp: Intel Core i9-9900K @ 5.0 GHz och 16 GB DDR4 @ 3867 MHz 18-19-19-39

Skrivet av Yoshman:

Fast är det @Rödskägg d ä gör i denna tråd en häxjakt? Vad data faktiskt visar, t.ex. genom att göra ett students t-test på hur olika webbplatsers resultat i andra grafen i detta inlägg kan man med väldigt god statistik säkerhet säga

  • Variationer i resultat hos SweClockers, Gamers Nexus, Linus Tech Tips och Digital Foundary kan inte statistik ses som att avvika mer än vad som kan förklaras med slumpen

  • TechPowerUp har en svag dragning mot Nvidia positiva resultat, svaga nog att om man plockar bort den rätt stora förskjutning av medelvärdet som orsakas av Hardware Unboxed så blir den dragning inte statistiskt signifikant på något rimlig nivå

  • Oavsett vilken annan serie man plockar bort har Hardware Unboxed en statistik signifikant dragning mot AMD (relativt vilket resultat de andra webbplatserna kommit fram till)

Jag skulle kalla det häxjakt då jag tycker att ju mer man analyser den underliggande datan i deras benchmarks desto mindre grund finns det för att säga att de har bias. Iallafall inte om man tar hänsyn till att de testar andra spel- om man vill argumentera att urval av spel visar bias så blir det en annan diskussion om vilka spel som egentligen är relevanta vilket man skulle behöva kolla lite popularitetsdata på isåfall.
Men det är bara min åsikt. Jag har inte koll på Student's T-test men om du är sugen på att köra igenom konceptet och varför det passar bra här så är jag villig att förstå.

Om man dock enbart för argumenten att de har en dålig attityd och uttrycker sig på ett nedsättande sätt gentemot Nvidia eller till fördel för AMD så är man inne på saker som är svårare att bevisa även om jag gjorde ett svagt försök med att plocka ut deras kommentarer bredvid deras resultat. Som sagt bästa tillfället att observera detta blir om/när 3080Ti kommer och de gör en review.

För min del håller jag med dem om ett antal saker: Turing var en trist generation, RTX har varit främst ett tech-demo sålänge man inte sitter på 3080-3090 och är generellt inte värt uppoffringen i prestanda (även om DLSS 2.0 har avhjälpt det delvis). Men jag kan tänka mig att om man tycker att RT är det viktigaste just nu och att det är en bra sak på alla fronter och att Turing var en cool samling kort så måste det vara irriterande att höra dem klaga, på samma sätt som jag finner det irriterande att höra vissa reviewers tala om RT som om det vore något underbart som gjort spel bättre då min egna erfarenhet från två RTX-kort är helt annorlunda. Jag vill inte påstå att dessa reviewers är biased dock- om de visar konsekvent vägda siffror i samma spel mot andra reviewers kanske, men inte baserat på att hypar ett featureset som jag känner mest tycker varit en gimmick hittills.

Jag är inte supersugen egentligen på att göra en "review" av recensenters attityd då jag försöker att alltid läsa reviews både av folk vars åsikter jag delar och folk vars åsikter jag inte alls delar. Inte en lätt väg att gå- jag följer även ett antal personer i social media vars poster ofta får mig att vilja kasta telefonen i väggen men känner att jag måste följa folk som metodiskt och passionerat presenterar åsikter och ideer som jag tycker är helt åt helvete för att undvika att hamna i en ekokammare och framförallt för att förstå skiljande åsikter och tankeprocesser.

Skrivet av Yoshman:

Vad man inte kan förklara med dessa data är varför HU testmetoder ger högre resultat för AMD (det över tre generationer AMD kort och två generationer Nvidia kort). Att HU har en statistik säkerställd avvikelsen kan man ändå visa.

Notera också att ovan är nästan helt ortogonalt mot huruvida HU rekommenderat AMD eller Nvidia kort tidigare. Man kan absolut utföra testerna på ett sätt som gynnar A men vara neutral i hur man tolkar det data man sen får. Om B bara är tillräckligt långt före kommer då ändå data visa att B är bättre.

Jag har gjort mitt bästa för att ta fram lite data som stödjer min ide om "varför" dock med ingen mer spännande slutsats än att andra spel testas och att det vid samma spel är försvinnande lite skillnad.

Men ja, du har rätt, man kan visa siffror på ett neutralt och rättvist vis och ändå uttala sig på orättvisa sätt- jag tycker inte att det är ett problem här, men jag förstår om andra tycker det. Om du har en ide om hur man kan kvantifiera det skulle jag gärna höra den- det enda jag kan tänka mig är om HU gjorde en poll bland sina tittare om hur många av dem som köper AMD vs Nvidia och sedan göra en liknande poll hos andra reviewers, därav se om den ration följer deras prestandaindex på samma vis som det gör för andra reviewers.

Visa signatur

Gamingrigg: MEG x570 ACE, 5950X, Ripjaws V 32GB 4000MT/S CL16, 6800XT Red Devil LE, HX1200i.
Laptop: XPS 9570 x GTX 1050 x 8300h + 16GB Vengeance 2666Mhz + Intel AX200
Valheim server: i7-8559 + Iris Plus 655 + 32GB + 256GB
Printers? Yes. Ender 5, Creality LD-002R, Velleman VM8600, Velleman K8200

Permalänk
Medlem
Skrivet av Shiprat:

Se bild nedan samt spreadsheet för den som undar om hur det gjorts eller misstänker att jag knackat in något fel.

EDIT: De reviews jag tog data från är Techpowerups review av 5700XT referens och Techspot/Hardware Unboxed's review av 5700XT.

https://drive.google.com/file/d/1XArSY89tEQlm0y6Mpgq37mKJiD2K...
https://i.imgur.com/VvqAWYR.png

Jag har tagit vardera reviewers rapporterade AVG fps i 1440p och 4k (Hu testade här inte i 1080p) adderat dem och delat på 2: (1440p+4k)/2 för att få en medel fps för båda.
Jag har sedan tagit resultatet för 5700XT delat på resultatet för 2070 för att få vilken procent av 2070's prestanda 5700XT fick, detta visar som en procent.
Sist har jag tagit denna siffra för HU delat på motsvarande för TPU för att se om HU har ett resultat i det spelet som lutar mer mot AMD än vad TPU's gör.

Snittet på de fem "bias-procenten" som jag får fram är 100,07, alltså i de gemensamma spelen lutar HU .07% mer mot AMD än vad TPU gör.

Då deras testriggar båda köra 9900K@5Ghz så borde det inte vara någon risk för att ena lider mer av cpu bottleneck, annars hade jag tagit enbart 4k.

Techpowerup har formaterat sina benchmarks som så att de highligtar 5700XT och 2070 som en jämförelse.
De skriver följande om pris "The Radeon RX 5700 XT we are examining in this review today leads the pack at $399, a whole $100 cheaper than the GeForce RTX 2070" - så det handlar om att 5700XT är ca 80% av priset för 2070 vid tidpunkten för deras review och med deras priser.
Enligt Swec's recension kostade 5700XT referens i sverige ~4790 vid lansering, de verkar inte ha fått något 2070FE men det billigaste 2070 de testade (och det första, MSI Armor) kostade 5790 medan resten låg en eller två tusenlappar högre vid release.

Näst kan man titta på rapporterade övertag för 5700XT vs 2070 över alla rapporterade spel vs enbart ej gemensamma spel:

Ej gemensamma spel: I HU's svit presterar 5700XT på 117,19% av 2070, i TPU's svit presterar 5700XT på 100,91% av 2070.
Alla testade spel: I HU's svit presterar 5700XT på 111,25% av 2070, i TPU's svit presterar 5700XT på 101,42% av 2070.
Lägger till Sweclockers sammanvägda index från deras 5700XT-recension här för referens: för Swec presterar 5700XT på 106,4% av 2070 Armor.
Därmed om man skulle använda Swec sammanvägda som nolla (inte egentligen helt korrekt då det även innehåller 1080p data där jag misstänker att 2070 presterar lite bättre) så skulle HU ligga +4,85% i AMD-bias TPU skulle ligga -4,98% i AMD-bias.

Jag kan inte med gott samvete jämföra med något som följt annan metodik än jag tydligt sagt (alltså 1440p+4k enbart) så jag tar ut Swecs indexvärden för 1440p+4k från deras DX11 och DX12 index (fyra datapunkter per kort alltså) och delar med fyra, för att sedan dela den resulterande siffran för 5700XT med siffran för 2070 och sätta som procent: 105,19%
Med denna vore isåfall vore isåfall HU's AMD-bias jämfört med Swec 6,06% och TPU's AMD-bias jämfört med Swec -3,77%.

TPU skriver följande om pris "The Radeon RX 5700 XT we are examining in this review today leads the pack at $399, a whole $100 cheaper than the GeForce RTX 2070" - så det handlar om att 5700XT är ca 80% av priset för 2070 vid deras review.

Assasins Creed Odyssey: Rätt konstiga resultat hos TPU med lägre FPS överlag, till exempel presterar deras 1080Ti under 2060S, 2070, Radeon VII och 2070S medan hos HU är FPS överlag högre för alla kort i testet och Enbart 2080 och 2080Ti slår 1080Ti.

Rainbow Six Siege: TPU får betydligt högre FPS för båda kort? Siege tenderar att alltid defaulta till, tror jag, 50% render scale om man inte ändrar det, TPU har ej specifierat medan HU specifierar 100% rendering scale. Min misstanke är att TPU kör i default alltså 50% rendering scale här. De har specifierat att de kör DX11 precis som HU (detta var innan vulkan kom till Siege antar jag) och deras FPS är närmare vad andra reviewers får i 1080p.

Testriggar:
Hardware Unboxed: Intel Core i9-9900K clocked at 5 GHz with 32GB of DDR4-3400
TechPowerUp: Intel Core i9-9900K @ 5.0 GHz och 16 GB DDR4 @ 3867 MHz 18-19-19-39

Jag skulle kalla det häxjakt då jag tycker att ju mer man analyser den underliggande datan i deras benchmarks desto mindre grund finns det för att säga att de har bias. Iallafall inte om man tar hänsyn till att de testar andra spel- om man vill argumentera att urval av spel visar bias så blir det en annan diskussion om vilka spel som egentligen är relevanta vilket man skulle behöva kolla lite popularitetsdata på isåfall.
Men det är bara min åsikt. Jag har inte koll på Student's T-test men om du är sugen på att köra igenom konceptet och varför det passar bra här så är jag villig att förstå.

Om man dock enbart för argumenten att de har en dålig attityd och uttrycker sig på ett nedsättande sätt gentemot Nvidia eller till fördel för AMD så är man inne på saker som är svårare att bevisa även om jag gjorde ett svagt försök med att plocka ut deras kommentarer bredvid deras resultat. Som sagt bästa tillfället att observera detta blir om/när 3080Ti kommer och de gör en review.

För min del håller jag med dem om ett antal saker: Turing var en trist generation, RTX har varit främst ett tech-demo sålänge man inte sitter på 3080-3090 och är generellt inte värt uppoffringen i prestanda (även om DLSS 2.0 har avhjälpt det delvis). Men jag kan tänka mig att om man tycker att RT är det viktigaste just nu och att det är en bra sak på alla fronter och att Turing var en cool samling kort så måste det vara irriterande att höra dem klaga, på samma sätt som jag finner det irriterande att höra vissa reviewers tala om RT som om det vore något underbart som gjort spel bättre då min egna erfarenhet från två RTX-kort är helt annorlunda. Jag vill inte påstå att dessa reviewers är biased dock- om de visar konsekvent vägda siffror i samma spel mot andra reviewers kanske, men inte baserat på att hypar ett featureset som jag känner mest tycker varit en gimmick hittills.

Jag är inte supersugen egentligen på att göra en "review" av recensenters attityd då jag försöker att alltid läsa reviews både av folk vars åsikter jag delar och folk vars åsikter jag inte alls delar. Inte en lätt väg att gå- jag följer även ett antal personer i social media vars poster ofta får mig att vilja kasta telefonen i väggen men känner att jag måste följa folk som metodiskt och passionerat presenterar åsikter och ideer som jag tycker är helt åt helvete för att undvika att hamna i en ekokammare och framförallt för att förstå skiljande åsikter och tankeprocesser.

Jag har gjort mitt bästa för att ta fram lite data som stödjer min ide om "varför" dock med ingen mer spännande slutsats än att andra spel testas och att det vid samma spel är försvinnande lite skillnad.

Men ja, du har rätt, man kan visa siffror på ett neutralt och rättvist vis och ändå uttala sig på orättvisa sätt- jag tycker inte att det är ett problem här, men jag förstår om andra tycker det. Om du har en ide om hur man kan kvantifiera det skulle jag gärna höra den- det enda jag kan tänka mig är om HU gjorde en poll bland sina tittare om hur många av dem som köper AMD vs Nvidia och sedan göra en liknande poll hos andra reviewers, därav se om den ration följer deras prestandaindex på samma vis som det gör för andra reviewers.

Extremt bra! Helt i klass av de inlägg @Yoshman brukar skriva om processorer

Jag har haft känslan hela tiden att precis som andra så verkar spelen i sig presenteras korrekt inom rimliga gränser, och att det främst är testsviten som skiljer. Vad mer kan man begära?

Lite mystiskt med de två spel som diffade på 10%, men det kan ju skilja några inställningar som inte framgår tydligt som du var inne på, men varför det så extremt skulle framhäva ena parten är lite konstigt...

Det gå såklart att göra mer undersökningar och djupdykningar och jämföra 20+ reviews för alla kort och försöka hitta något, men det tyder allt mer på att HU kör helt enkelt spel som många andra inte gör. Varför så är fallet kan vara av intresse, men det måste vara positivt för den stora massan att det är så, och de spelen spelas ju av riktiga människor också.

Permalänk
Medlem
Skrivet av medbor:

Extremt bra! Helt i klass av de inlägg @Yoshman brukar skriva om processorer

Jag har haft känslan hela tiden att precis som andra så verkar spelen i sig presenteras korrekt inom rimliga gränser, och att det främst är testsviten som skiljer. Vad mer kan man begära?

Lite mystiskt med de två spel som diffade på 10%, men det kan ju skilja några inställningar som inte framgår tydligt som du var inne på, men varför det så extremt skulle framhäva ena parten är lite konstigt...

Det gå såklart att göra mer undersökningar och djupdykningar och jämföra 20+ reviews för alla kort och försöka hitta något, men det tyder allt mer på att HU kör helt enkelt spel som många andra inte gör. Varför så är fallet kan vara av intresse, men det måste vara positivt för den stora massan att det är så, och de spelen spelas ju av riktiga människor också.

Glad att det uppskattas, men en disclaimer- har ingen formell utbildning i statistik så om någon som studerat applicerbara metoder är villig att förklara varför vad jag gör är helt fel så är jag villig att lyssna och förstå.

Det är ett par udda utstickare men inte orimliga heller då sådant absolut händer. Ett liknande exempel jag la märke till nyligen var när GN och Swec båda testat RDR2 på 6000-serien med Vulkan för Swec och DX12 för GN vilket ger helt olika resultat då 6000-serien mystiskt nog fungerar bättre i DX12 där. Ingetdera är fel alls- Vulkan är standard och är i min erfarenhet mer stabilt, DX12 ger bättre prestanda på 6000. Det enda "fel" i sådant fall vore om man inte indikerar vilken API som använts, vilket de båda gjorde.

Däremot lär jag hålla utkik mer i HU's framtida reviews precis som för mina andra prioriterade reviewers, men väntar mig inte någon enorm upptäckt- de skiljer sig alla rätt hyfsat oftast, men samtidigt vanligtvis mindre skillnad än jag själv kommer se bara genom att inte använda exakt samma system som användes i test.

Visa signatur

Gamingrigg: MEG x570 ACE, 5950X, Ripjaws V 32GB 4000MT/S CL16, 6800XT Red Devil LE, HX1200i.
Laptop: XPS 9570 x GTX 1050 x 8300h + 16GB Vengeance 2666Mhz + Intel AX200
Valheim server: i7-8559 + Iris Plus 655 + 32GB + 256GB
Printers? Yes. Ender 5, Creality LD-002R, Velleman VM8600, Velleman K8200