Krönika: Recensioner är inte facit – men de måste vara trovärdiga

Permalänk
Datavetare
Skrivet av Rosenvik:

Halloj! Vi har, liksom ni, identifierat att betygssystemet inte täcker alla situationer. Därför får ni gärna dela med er av era tankar i tråden jag länkar till i krönikan. Det finns situationer som exempelvis:

Produkten är jättebra, men obscent dyr sett till snarlika modeller.
Produkten är bättre än föregående generation, men prestandahoppet är för lågt.
Produkten är medioker, men den är absurt billig.
Produkten utlovade 50 bättre prestanda än närmaste konkurrent, men den är 30 procent bättre.

Hur skulle man betygsätta detta? Vad saknas i betygssystemet för att man skulle kunna ge en rättvis bild? Ska man ha ett tvådelat ett betygssystem i stil med "Betyg 1-5, men/och prisvärd/dyr/högljudd/annan egenskap"?

Undrar om det inte är bäst att rätt hårt separera de bitarna som man faktiskt kan objektivt mäta från de som är rent tyckande.

Just priset är en fråga som kan bli så totalt fel att bedöma. Så länge det inte finns alternativ med exakt samma egenskaper är prisvärdhet en högst subjektiv egenskap.

För någon som bara måste ha 100-tals FPS i CS är nog inte ett 5090 prisvärt, för någon som använder GPGPU (vilket just nu ser snabbt ökande användning) kan det vara direkt billigt jämfört vad något med i närheten samma prestanda skulle kosta om det skulle uppnås med CPU-kraft eller någon annans GPU-lösning.

För egen del vet jag att mitt användarmönster är lite nischat. Enda som har något värde i en review är det som objektivt uppmätts. Eventuella "betyg" är i sig rätt värdelösa, men finns ett värde i att få en beskrivning hur den som satt betyget kom till den slutsatsen. Betyget är subjektivt, men är ändå värdefullt när det är satt av någon man känner har liknande prioriteringar.

TL;DR är tester ska i första hand prestera en rad objektiva mätningar för olika fall. Klart separerat kan självklart också den/de som gjort testet ge ett betyg ihop med en bakgrund till varför man anser det är rätt betyg.

Visa signatur

Care About Your Craft: Why spend your life developing software unless you care about doing it well? - The Pragmatic Programmer

Permalänk
Medlem

Om man är i beroendeställning gentemot tillverkarna av produkter blir det svårt att göra en bra recension. En recension måste (för mig) vara baserad på ett konsumentperspektiv och kritisera tillverkare när de brister i kvalitet, prisvärdhet etcetera.

Ett perfekt exempel på detta måste väll vara NVIDIAS 5000 serie. Extremt dålig prisvärdhet i alla avseenden, prestanda ökning jämfört med förra generationen och i vissa fall har ju prestanda/krona till och med gått bakåt med de uppblåsta priserna. Sedan har man också allvarliga kvalitetsproblem med en viss mängd defekta kort som har rakt av felaktig hårdvara, och även en tveksam kvalitet på strömkabeln.

Om man inte utgår från ett konsumentperspektiv när man gör en bedömning av produkten tycker jag man helt borde ta bort den delen av en recension.
Gör ett tekniskt test av produkten, presentera siffror och lämna bedömningen till läsaren. Känns ärligare än att säga bra produkt på något som kanske är det sämsta som släppts från ett konsumentperspektiv.

Permalänk
Geeks
Jobbar med data
Skrivet av evil penguin:

Känns mer som att @jreklund skulle få nöjet att generera diagrammen dynamiskt utifrån publicerad rådata?

Vi håller på med ett projekt att förbättra diagrammen. De genererar i dagsläget en helt statisk SVG-filer anpassad för desktop. Tanken är de ska bli "responsiva"* och lite andra nyheter, som vi håller på att arbeta fram. Den funktionen ni pratar om är inte uppe för diskussion i dagsläget.

* SVG-filer kan ju skala sig både stort som smått, men vi behöver en mindre storlek som skalar bättre för mobilen.

Permalänk
Medlem
Skrivet av Yatagarasu:

Utan lön – inga recensioner. Punkt. Ingen vill jobba gratis, och i slutändan är det just vad det handlar om, även för redaktionen på SweClockers: ett jobb. Detsamma gäller oss Testpiloter.

Testpiloterna ger er läsare möjlighet att ta del av produkter och ämnen som annars kanske aldrig hade dykt upp på SweClockers, särskilt med tanke på den tidsbrist redaktionen tydligt uttryckt under våren. Dessutom bidrar dessa sponsrade – men fortsatt opartiska – pilotartiklar ekonomiskt till verksamheten, vilket i sin tur möjliggör fullskaliga recensioner.

Traditionella reklamintäkter, såsom banners, räcker sällan ens till det mest grundläggande när skalan ökar. Ett tydligt exempel på detta finns i LTT:s video, där de redogör för sina inkomstkällor och hur de finansierar över 100 anställda. Endast en bråkdel av intäkterna kommer från reklam.

Även utan full insyn i den bakomliggande ekonomin som driver Geeks, kan jag med relativ säkerhet säga att situationen är liknande här – det krävs mer än att företag X köper en liten 300x360 px PNG-banderoll vid sidan av artiklarna för att hålla verksamheten flytande.

Har aldrig klagat över konceptet testpilot, då jag ser det precis som du skriver. Att det blir test av produkter som kanske aldrig annars blivit testade. Det har ett värde.

Det jag har reagerat på är när en test helt är bekostad av en sponsor, ja sponsorn själv är i princip bakom inslaget.
Då är det förtäckt reklam!

Sen att ta LTT som ett exempel på att reklamintäkter endast skulle vara en bråkdel, är det ett argument?

2020 så var LTT's intäkter från reklam 53% och knappast en liten del.

Att intäkterna minskat i procent 2024 är helt för att dom säljer tyg och skruvmejslar som nu tar upp 55,4% av intäkterna, mot tidigare 15%.
Precis som med statistik så förstår jag att procent är ett svårt ämne då reklam intäkterna verkar ha fallit från 53% till 20,8%, vilket egentligen inte är fallet. Förutom då att andra inkomstkällor har ökat och dragit ner procenttalet.
Sebastian själv förtydligar det väldigt väl, han anstränger sig verkligen för att få fram att reklamintäkterna i själva verket har "ökat" och inte minskat, fastän det mindre procenttalet kan få folk att tro motsatsen.

Procent räknas alltid i det totala med i cirkeldiagram, här LTT's totala inkomst, ökar då en inkomst med 369% (Creator Warehouse) så borde det vara självklart att andra inkomster i det totala sjunker procentuellt även om dom inte minskat. Dom kan även öka och ändå få en mindre procentenhet, som med LTT där deras intäkter ökat en bit sen 2020.

Sen förstår jag självfallet att LTT egentligen inte är jämförbart med Swec på något plan förutom då tech intresset och tester, efter det så försvinner all likhet.
LTT har alltid varit en youtube kanal där show tar upp en större dela av konceptet med amerikanska förutsättningar.
Swec är en nätpublikation där konceptet show kanske någon gång gästar, allt under europeiska förutsättningar.

Att använda LTT som ett exempel på att reklamintäkter skulle vara en liten del, gjorde först att jag uppriktigt blev mållös.
När det verkligen är den totala motsatsen...

rättstavning
Visa signatur

Engineer who prefer thinking out of the box and isn't fishing likes, fishing likes is like fishing proudness for those without ;-)
If U don't like it, bite the dust :D
--
I can Explain it to you, but I can't Understand it for you!

Permalänk
Skribent
Skrivet av Bengt-Arne:

Har aldrig klagat över konceptet testpilot, då jag ser det precis som du skriver. Att det blir test av produkter som kanske aldrig annars blivit testade. Det har ett värde.

Det jag har reagerat på är när en test helt är bekostad av en sponsor, ja sponsorn själv är i princip bakom inslaget.
Då är det förtäckt reklam!

Sen att ta LTT som ett exempel på att reklamintäkter endast skulle vara en bråkdel, är det ett argument?
<Uppladdad bildlänk>

2020 så var LTT's intäkter från reklam 53% och knappast en liten del.

Att intäkterna minskat i procent 2024 är helt för att dom säljer tyg och skruvmejslar som nu tar upp 55,4% av intäkterna, mot tidigare 15%.
Precis som med statistik så förstår jag att procent är ett svårt ämne då reklam intäkterna verkar ha fallit från 53% till 20,8%, vilket egentligen inte är fallet. Förutom då att andra inkomstkällor har ökat och dragit ner procenttalet.
Sebastian själv förtydligar det väldigt väl, han anstränger sig verkligen för att få fram att reklamintäkterna i själva verket har "ökat" och inte minskat, fastän det mindre procenttalet kan få folk att tro motsatsen.

Procent räknas alltid i det totala med i cirkeldiagram, här LTT's totala inkomst, ökar då en inkomst med 369% (Creator Warehouse) så borde det vara självklart att andra inkomster i det totala sjunker procentuellt även om dom inte minskat. Dom kan även öka och ändå få en mindre procentenhet, som med LTT där deras intäkter ökat en bit sen 2020.

Sen förstår jag självfallet att LTT egentligen inte är jämförbart med Swec på något plan förutom då tech intresset och tester, efter det så försvinner all likhet.
LTT har alltid varit en youtube kanal där show tar upp en större dela av konceptet med amerikanska förutsättningar.
Swec är en nätpublikation där konceptet show kanske någon gång gästar, allt under europeiska förutsättningar.

Att använda LTT som ett exempel på att reklamintäkter skulle vara en liten del, gjorde först att jag uppriktigt blev mållös.
När det verkligen är den totala motsatsen...

Jag insåg i efterhand att jag svingade ganska brett – det fanns fler personer att citera in, inklusive sådana som inte skrivit just i denna artikel men som ofta är väldigt vokala mot all sponsring på framsidan. Det var inte nödvändigtvis riktat direkt mot dig, även om jag förstår att det kunde framstå så

Och du har helt rätt angående de LTT-relaterade bitarna du lyfter! Kanske var det ett något krasst exempel i sammanhanget att omnämna. Reklamintäkter står fortfarande för en stor del av intäkterna hos dem, och diagram kan vara missvisande, vilket är tydligt då det främst är övriga inkomstkällor som ökat i deras fall.

Den övergripande poängen kvarstår dock: reklamintäkter (direktreklam, inte sponsrade segment) räcker inte alltid när personalstyrkan växer eller andra omkostnader tillkommer. För att kompensera de ökade kostnaderna för att driva verksamheten krävs andra inkomstkällor – oavsett om det handlar om direkta utgifter eller en vilja att expandera.

Det som fick mig att reagera från början är nivån på debatten kring SweClockers, sponsrade inlägg, testlabbet o.s.v. på senare tid. Det har varit mycket one-liners och klagovisor, men väldigt lite konkret feedback eller förslag på åtgärder. En väldigt viktig sak i detta sammanhang är att lyfta kritik sakligt och utvecklat. Ett praktiskt exempel är Evil Penguins inlägg ovan, där han inte bara påstår att SFW-konceptet är dåligt eller underminerar trovärdigheten, utan också förklarar varför.

Förtydligade och länkade till hänvisat inlägg.
Visa signatur

< R9 5900X | 32GB 3200 MT/s | RTX 3090 Ti >

< R5 7600X | 32GB 6400 MT/s | RX 9070 XT >

Permalänk
Medlem
Skrivet av Rosenvik:

Halloj! Vi har, liksom ni, identifierat att betygssystemet inte täcker alla situationer. Därför får ni gärna dela med er av era tankar i tråden jag länkar till i krönikan. Det finns situationer som exempelvis:

Produkten är jättebra, men obscent dyr sett till snarlika modeller.
Produkten är bättre än föregående generation, men prestandahoppet är för lågt.
Produkten är medioker, men den är absurt billig.
Produkten utlovade 50 bättre prestanda än närmaste konkurrent, men den är 30 procent bättre.

Hur skulle man betygsätta detta? Vad saknas i betygssystemet för att man skulle kunna ge en rättvis bild? Ska man ha ett tvådelat ett betygssystem i stil med "Betyg 1-5, men/och prisvärd/dyr/högljudd/annan egenskap"?

Att sätta alla egenskaper i ETT betyg säger egentligen inte mycket.

Ett betyg kan som ex. delas upp i delar som prestanda, innovation, teknik, pris, där även då intryck kan tas med om det är separerat som betyg.

Där:

  • Prestanda då inte tittar på pris, tekniska lösningar m.m.

  • Innovation där det finns både bra och dåliga saker som innovativ strömmatning , name it...

  • Teknik som nytt interface som HDMI eller DP version, kyllösning m.m.

  • Intryck hur produkten känns och upplevs.

  • Pris som antagligen då blir rätt självklart.

Alla kanske viktade på en skala 1 till 4, att jag nämner 1 till 4 är att vi människor väldigt gärna vill välja en medelväg. Så har man ett betyg 1 till 5 då hade 3 statistiskt fått närmare 50% av viktningen.
Ett välkänt faktum och även ett väldigt vanligt misstag när man viktar risker vid som ex. CE-märkning, man skall helt enkelt undvika ett mitt värde, då det tenderar att ta över.

Nu samlas allt i ett betyg som egentligen inte säger så mycket, förutom att det kanske ger en fight i forum...

Edit: Eller kanske helt skippa betyg som @str8forthakill skriver nedan!

Visa signatur

Engineer who prefer thinking out of the box and isn't fishing likes, fishing likes is like fishing proudness for those without ;-)
If U don't like it, bite the dust :D
--
I can Explain it to you, but I can't Understand it for you!

Permalänk
Medlem

På tal om betyg, omdömen, rating system, tumme upp/ned/missar målet.

Varför? Varför ens ha ett betygsystem överhuvudtaget.

GPU prestanda, oberoende av tredjepartsmodell, dvs RTX 5070 mot 9070XT etc. + faktiska butikspriser för modellerna, MSRP kan skita ned sig för det är en relik av en försvunnen tid

Sedan filar man ned det till "Asus modellen har en bättre kylare, tystare fläktar, Gainward kortet har ett knackande ljud från fläktarna vilket är störande". Etc. Djupdykning i specifika modeller efter lanseringen av en GPU. Bara ren fakta. Varför får en recension inte vara ett facit?

Kasta alla omdömen i soporna och lägg tiden på att skruva isär korten och ta bilder på kylningslösning, fläktmodeller, byggkvalitet och annan skit. Folk gör sina egna omdömen från fakta. Alla fanboys kan skita ned sig med "ooooooh X är inte värd Y omdöme!!!! För min personliga åsikt är!!!"

Permalänk
Medlem

@Yatagarasu
Är ingen fara för min del, vi svingade nog lite brett lite till mans...

Det som jag emellanåt har reagerat på är det som är i stil med "SFW", i början så reagerade jag på hur många som faktiskt genuint trodde att det var en vanlig artikel. givetvis så gäller det långt ifrån alla, men ändå tillräckligt många så det kunde kännas surt.
Det fick först mig till att markera i forumet, antingen med att det var en förtäckt annons, eller helt enkelt såga reklamen vid fotknölarna. Allt för att folk skulle reagera, förstå att dom just sprungit på en annons.

Är nu inne i tredje andningen där jag många gånger ignorerar skiten... Risken är att om det fortsätter så kommer jag att gå in i fjärde eller kanske femte andningen, helt enkelt dra ner på antalet besök till Swec, eller kanske i slutet helt låta bli att besöka sidan, då intresset att besöka Swec helt enkelt då har svalnat, försvunnit.
Om jag är ensam? inte en aning! Däremot så är känslan, att jag inte är ensam i dom eller liknande tankar.
Detta var om min kommentar, att ett mynt har två sidor!

Sen, testpiloter, den biten är intressant!
Även om det emellanåt är risk att en recension är en aning färgad, så vet man det redan innan man läst recension, man har det med sig.
Ändå så gör det inte recension mindre intressant! Det har verkligen ett värde för mig
Är väl lite som när en själv har något intresse som ligger närma hjärtat, man blir lätt lite lyrisk.

Tänkte bara att jag får klargöra, så du och andra bättre förstår vad jag menar.

Tvekade ett tag med att svara, tänkte att det kanske kunde bli/tas fel. Oavsett, här är hakan

Ha det gott!

Visa signatur

Engineer who prefer thinking out of the box and isn't fishing likes, fishing likes is like fishing proudness for those without ;-)
If U don't like it, bite the dust :D
--
I can Explain it to you, but I can't Understand it for you!

Permalänk
Medlem

Digital Foundry är objektiva i deras recensioner

Permalänk
Medlem

Ja tycker inte vi behöver hänga upp oss på just betygen så mycket faktiskt.

Jag tänker att kvaliteten på vissa typer av recensioner måste bli bättre och man behöver hålla personligt tyckande distanserat från summeringen och betygen.
Swec har ändå ett rätt ”lätt” jobb i just den aspekten mot andra sajter produkt recensioner som tittar på andra marknader.
Prestanda, ljud, temperatur, fysiska mått som exempel är alla mätbara och direkt jämförbara parametrar som om de testas och beskrivs rätt skapar bra underlag för betyg.

Priset är nästan det svåraste att bedöma skulle jag säga och där vet jag faktiskt inte riktigt hur man skall tänka.
Det blir svårt att säga höger eller vänster i den rätt viktiga aspekten.

Permalänk
Medlem
Skrivet av Rosenvik:

Halloj! Vi har, liksom ni, identifierat att betygssystemet inte täcker alla situationer. Därför får ni gärna dela med er av era tankar i tråden jag länkar till i krönikan. Det finns situationer som exempelvis:

Produkten är jättebra, men obscent dyr sett till snarlika modeller.
Produkten är bättre än föregående generation, men prestandahoppet är för lågt.
Produkten är medioker, men den är absurt billig.
Produkten utlovade 50 bättre prestanda än närmaste konkurrent, men den är 30 procent bättre.

Hur skulle man betygsätta detta? Vad saknas i betygssystemet för att man skulle kunna ge en rättvis bild? Ska man ha ett tvådelat ett betygssystem i stil med "Betyg 1-5, men/och prisvärd/dyr/högljudd/annan egenskap"?

Jag har skrivit det förr och gör som krönikan, jag skriver det igen. Vikta inte recensioner mot pris, så fort priset ändras vilket sker hela tiden är recensionen inaktuell.
Annars får ni göra ett "FPS/krona index", som viktar prestandaindexet ni har mot aktuellt lägsta pris på Prisjakt.

Permalänk
Medlem
Skrivet av str8forthakill:

På tal om betyg, omdömen, rating system, tumme upp/ned/missar målet.

Varför? Varför ens ha ett betygsystem överhuvudtaget.

GPU prestanda, oberoende av tredjepartsmodell, dvs RTX 5070 mot 9070XT etc. + faktiska butikspriser för modellerna, MSRP kan skita ned sig för det är en relik av en försvunnen tid

Sedan filar man ned det till "Asus modellen har en bättre kylare, tystare fläktar, Gainward kortet har ett knackande ljud från fläktarna vilket är störande". Etc. Djupdykning i specifika modeller efter lanseringen av en GPU. Bara ren fakta. Varför får en recension inte vara ett facit?

Kasta alla omdömen i soporna och lägg tiden på att skruva isär korten och ta bilder på kylningslösning, fläktmodeller, byggkvalitet och annan skit. Folk gör sina egna omdömen från fakta. Alla fanboys kan skita ned sig med "ooooooh X är inte värd Y omdöme!!!! För min personliga åsikt är!!!"

En faktor som man nog inte ska underskatta är ju viss självbevarelsedrift från SweC känner jag.

Man kan ju se att Komplett tex kan lägga in Sweclockers betyg på vissa produkter (oklart om andra sidor gör samma sak, minns inte på rak arm) men detta blir ju lite av ett kretslopp där.

Komplett kan sälja prylar lite enklare när folk vet att det testats och rekommenderas av någon oberoende. Vissa kommer utan tvekan söka upp SweC för att läsa testet innan köp. Sannolikt kommer man ihåg SweC och söker sig dit i framtiden. Kanske blir man medlem, rekomenderar SweC till andra etc.

Har man inget betyg så kommer i varje fall denna synergieffekt försvinna helt. Nu kanske denna typ av trafik faktiskt är obefintlig för SweC. Men en spontan tanke från mig iaf.

Visa signatur

| AMD Ryzen 7 5800X3D | Noctua NH-U12A | Gigabyte X570 Aorus Pro | Powercolor Radeon RX 9070 XT Red Devil | 16GB G.Skill Trident Z@3600 CL15 | Gigabyte Aorus 2TB M.2 NVMe SSD | Fractal Design Ion+ Platinum 860W | Fractal Design Meshify S2 Blackout | Corsair K70 | Logitech G502 | Alienware AW3423DWF |

Permalänk
Medlem

Enda gången jag reagerar på Swec recensioner är när de skiljer sig signifikant från Hardware Unboxed och Gamers Nexus, de två jag litar på helt när det kommer till recensioner. Det är då jag frågar mig hur detta kan komma. Det har skett framförallt nu under nVidia och AMDs senaste grafikkort. Jag tycker att Swec fokuserar betyg lite väl mycket på MSRP, och det är inte hållbart längre i dagens klimat.

Permalänk
Medlem
Skrivet av Ztigmata:

Bra betyg = fortsatt samarbete
Dåligt betyg = inget samarbete

Då kan en ju inte ens kalla det recension om en skall gå efter tillverkarnas pekpinne. Siten blir värd noll och ingenting utan trovärdighet.
Jag tycker redan det är alldeles för mycket samarbeten och sponsrade artiklar för att jag skall ta swec på allvar. Den känslan blir ännu större när deras recensioner och slutsatser ofta skiljer sig från konsensus. Swec verkar även ofta få väldigt annorlunda resultat på benchmarks än andra vilket är en enorm varningssignal.
Förr gick jag till swec för att få en bra sanity check att jämföra med andra när ny hårdvara släpptes. Nu går jag till andra för att få denna sanity check.

Visa signatur

R&D Elektronik & Radioingenjör

Permalänk
Redaktion
Teknikredaktör
Skrivet av Rebben:

Swec verkar även ofta få väldigt annorlunda resultat på benchmarks än andra vilket är en enorm varningssignal.
Förr gick jag till swec för att få en bra sanity check att jämföra med andra när ny hårdvara släpptes. Nu går jag till andra för att få denna sanity check.

Halloj! Hur menar du att det är en varningssignal? Att siter får olika resultat är inte särskilt konstigt eftersom få har precis samma hårdvara, testsvit, grafikinställningar eller metodik. Eller ens samma modell av grafikkort, för den delen.

Kontakten vi har med tillverkare är i stort sett densamma som andra aktörer, skulle jag tro. Man deltar på en online-presentation, diskuterar senare via mail om man vill testa produkten, skriver recensionen innan deadline och sen hörs man inte av igen. Annat om det kanske är en låneprodukt, då blir det ett mail till om hur returen går till.

Vad säljavdelningen har för sig har jag som redaktör inte en aning om på detaljnivå. Visst skulle jag kunna fråga, om jag var riktigt nyfiken, men jag föredrar en kyrka-stat-uppdelning. Jag fokuserar på mitt och de på sitt

Permalänk
Redaktion
Teknikredaktör
Skrivet av str8forthakill:

På tal om betyg, omdömen, rating system, tumme upp/ned/missar målet.

Varför? Varför ens ha ett betygsystem överhuvudtaget.

GPU prestanda, oberoende av tredjepartsmodell, dvs RTX 5070 mot 9070XT etc. + faktiska butikspriser för modellerna, MSRP kan skita ned sig för det är en relik av en försvunnen tid

Tjenare! Butikspris är inte känt före publikation när det kommer till produkter som har embargodatum. Vi får reda på hur landet ligger samtidigt som ni, vilket brukar bli dagen efter publikation.