Antivirusprograms påverkan på hårddiskprestanda

Nuvarande status

Slutgiltig version

Antivirusprograms påverkan på hårddiskprestanda
2009/12

PDF Version

0. Abstract
1. Introduktion
2. Bakgrund

3. Material och metoder
3.1 Konfiguration av testdator
3.2 Val av Antivirusprogram
3.3 Konfiguration av speglingsfil
3.4 Testmetodik och inställningar

4. Resultat
4.1 Kort om signifikans och konfidensintervall.
4.2 Installation
4.3 ISO
4.4 MP3
4.5 Program
4.6 Windows
4.7 MEGA

5. Slutord
6. Bilaga 1 - Källkod för MEGA Analyser

-----------------------------------------------------------------------------

0. Abstract

Vid val av antivirusprogram har det i regel varit lätt att få information om hur bra skydd varje program ger, dock har information om påverkan på prestanda varit svår att hitta. Större delen av den information som finns att tillgå är av kvalitativ art och kvantitativ information är svår att få tag i.
I detta test testas olika antivirusprogram med testen FC-test 0.3 och MEGA Analyser som testar filkopiering respektive tiden det tar att skriva 22 byte 200 000 gånger med filöppning och filstängning mellan varje skrivning. I resultaten framkom att ISO- och MP3-mönstrena inte gav några relevanta resultat. Program- och Windows-mönstren gav liknande placering för alla antivirusprogrammen. Placeringen av programmen från MEGA Analyser skiljde sig lite grann från resultaten av FC-Test.
Om man går efter prestanda i dessa test ser man att de program som ger minst prestandaförlust är Kaspersky, NOD32 och F-Secure. Dessa program har även fått resultatet Advanced+ i AV-comparatives senaste. Dock tar detta test enbart hänsyn till rå prestanda hos de olika programmen och hur testen påverkas av annan typ av hårdvara är något som kan vara intressant att undersöka vidare. Det uppmanas att man själv testar produkterna innan man bestämmer sig för vilken man ska köpa.

-----------------------------------------------------------------------------

1. Introduktion

Vid val av antivirusprogram har det i regel varit lätt att få information om hur bra skydd varje program ger, dock har information om påverkan på prestanda varit svår att hitta. Större delen av den information som finns att tillgå är antingen baserat på hörsägen, känsla eller foruminlägg. I de test som har gjorts är en del behäftade med metodiska tveksamheter som har gjort att vissa antivirusprogram har fått en orättvis fördel.
Sedan det förra testet har antalet antivirusprogram utökats, testmetodiken förbättrats och nyare versioner av äldre antivirusprogram uppkommit. Dock är ändamålet detsamma, att ta reda på hur mycket antivirusprogram påverkar hårddiskprestanda.

-----------------------------------------------------------------------------

2. Bakgrund

De flesta antivirusprogram lägger sig som ett extra lager mellan användaren och hårddisken. Vid filaktivitet kommer antivirusprogrammet att genskjuta denna och genomsöka filerna innan filaktiviteten tillåts. Detta kommer att påverka hårddiskprestanda negativt då genomsökningen måste ske innan filaktiviteten kan låtas ske för att skyddet mot skadlig programvara ska vara tillförlitligt.
Dock kan genomsökningens utförlighet och när den ska ske variera stort mellan olika antivirusprograms standardinställningar. Esets NOD32 4.0 har som standard ”Advanced Heuristics” avslaget för övervakningsmodulen och generar en varning om försämrad prestanda när man aktiverar det. Panda Antivirus, som ingick i den förgående studien, genomsöker som standard endast filer med filändelser som tyder på att filen är körbar. Vilket kan vara en av förklaringarna till dess goda resultat i Oli Warners test och dess mindre bra resultat i den föregående upplagan av detta test. Detta då den temporära testfilen i testen inte har en filändelse som tyder på att det är en körbar fil. I detta test kommer, som i det föregående testet, alla antivirusprograms inställningar att redovisas.

2.1 Testprogram

För att testa hårddiskprestanda har två program använts. FC-test 0.3 från xbitlabs.com och en omskriven variant av Oli Warners filåtkomststest som kallas MEGA analyser.
FC-test mäter tiden det tar att kopiera olika mängder filer av olika storlekar. Programmet kommer med fem olika mönster som avser att emulera olika scenarion. Installationsmönstret innehåller en liten mängd små till medelstora filer. ISO-mönstret innehåller en liten mängd med stora filer. MP3-mönstret innehåller en stor mängd med små filer. Program- och Windows-mönstret innehåller en mycket stor mängd filer med små filer. Genom att jämföra tiden mellan en dator med och utan antivirusprogram att genomföra filkopieringen, kan den procentuella skillnaden som beror på antivirusprogrammets genomsökning beräknas.
MEGA Analyser mäter tiden det tar att skriva 22byte till en fil 200 000 gånger. Detta är ett extremfall men gör att skillnaderna mellan antivirusprogrammen framträder tydligt. MEGA analyser testar även andra aspekter av datorprestanda, men dessa påverkas inte av antivirusprogram enligt det förra testet.
Andra program som brukar användas för att testa hårddiskprestanda som till exempel IOMeter och PCmark kunde inte användas i detta test då dessa program enbart skapar en temporär testfil som inte genomsöks av antivirusprogrammet när programmet modifierar innehållet i denna.

2.2 Tidigare studier

What Really Slows Windows Down 2006/09

En stor inspiration till denna och föregående studie var Oli Warners studier i vilka program som orsakar prestandaförlust. I dessa test mäts tiden som krävs för ett testprogram att utföra ett antal skrivoperationer på hårddisken. Dock redovisas inte vilka inställningar som användes för de olika antivirusprogrammen vilket gör det svårt att jämföra de olika antivirusprogrammen då det är oklart om alla antivirusprogram har liknande inställningar eller om vissa är inställda på att inte genomsöka på samma nivå som andra. Testmetodiken redovisas här fullt ut och ger bra upprepbarhet vilket gör det enkelt att verifiera resultaten. Dock förekommer inga indikationer på hur stor variationen mellan individuella resultat är.

Datorernas tröghet - Är det datorspelens fel? 2008/02
I detta test testas antivirusprogrammen med en variant av testet som användes i Oli Warners test vid namn MEGA Analyser. Variationer mellan testresultat redovisas inte och testet är något av ett extremfall, dock redovisas testmetodiken och inställningarna för alla antivirusprogram. Urvalet av antivirusprogram är något lågt.

AV-Comparatives 2008/10

I denna studie redovisas antivirusprogrammens inställningar vilket gör att programmen kan jämföras mot varandra. Testen som används är filkopiering, filextraktion, filarkivering, filmkodning och uppstartstid. Det är otydligt om hur väl upprepbarheten för testmetodiken är och det saknas tecken på hur stor variationen mellan individuella resultat är. Uppstartstid är diskutabelt om hur man ska mäta, i detta test anser de att uppstarten är över då CPU-användningen är 0%. Dock redovisas inte om uppstartsgenomsökningen för vissa antivirusprogram är på eller avslagen. Denna skulle påverka tiden negativt då uppstartsgenomsökning inte förekommer bland alla antivirusprogram och generera CPU-användning.

Passmark 2009/02 Tredje versionen

I detta test jämförs uppstartstid, genomsökningshastighet, gränssnittsuppstartshastighet, minnesanvändningen, nerladdning via HTTP, uppstartstid för Internet Explorer, installationstid för antivirusprogrammet, storlek på programmet, registernyckelantal, filkopiering, filflyttning, fillbortagande, installationstid för program, nerladdning av programfiler, ljudkonvertering, filarkivering, filextraktion och en variant av testet som användes i Oli Warners test.
Studien är finansierad av Symantec och testskripten kommer från Symantec. Detta kan ge upphov till frågetecken till testens neutralitet. Inställningarna som har använts för varje antivirusprogram redovisas inte. Variationerna mellan individuella resultat redovisas inte. Testet är väldigt brett och testar flera olika punkter, vissa som kanske inte anses vara relevanta för alla och därmed inte bör viktas på samma sätt som andra.

-----------------------------------------------------------------------------

3. Material och metoder

3.1 Konfiguration av testdator

CPU Intel Core i7 920 @ 2,66GHz SpeedStep, C1E och Enhanced C-State avaktiverat för att hålla processorhastigheten konstant
Base clock 133MHz
Moderkort Asus P6T-Deluxe V2
BIOS 2001
Nordbrygga Intel X58 Express
Sydbrygga Intel ICH10R
Chipsetdrivrutiner Microsofts medföljande Standard Dual Channel IDE 6.1.7600.16385
RAM 6GB (3x2GB) DDR3 @ 1600MHz
HDD Samsung HD103UJ 1TB
OS Windows 7 Ultimate 64-bit

3.2 Val av Antivirusprogram
Valet av antivirusprogram i studien utgick från listan över antivirusprogram i AV-comparatives antivirusprogramstest. Versionerna som användes var det senaste vid 2009-11-23. Microsoft Live OneCare 2.5 har avvecklats och ersattes av Microsoft Security Essentials. Kingsoft Antivirus gick ej att installera på 64-bitars OS och togs bort från urvalet.

avast! Home Edition 4.8-1356
avast! Professional Edition 4.8-1356
AVG Anti-Virus Free 9.0.707
AVG Anti-Virus Premium 9.0.707
AVIRA AntiVir Free 9.0.0.407
AVIRA AntiVir Premium 9.0.0.407
BitDefender Antivirus 2010 13.0.17
eScan Anti-Virus 10.0.1009.570
ESET NOD32 Anti-Virus 4.0.467
F-Secure Anti-Virus 2010 10.00.246
G-DATA AntiVirus 2010 20.10.50
Kaspersky Anti-Virus 2010 9.0.0.736 (KAV)
McAfee VirusScan Plus 2009 13.15.113
Microsoft Security Essentials 1.0.1611.0 (MSE)
Norman Antivirus & Anti-Spyware 7.30
Sophos Anti-Virus 9.0.1
Symantec Norton Anti-Virus 2010 17.0.0.136
TrustPort Antivirus 2010 5.0.0.4069

3.3 Konfiguration av speglingsfil
Windows 7 Ultimate 64-bit installerades.
Superfetch, Windows Defender, Automatiska uppdateringar och Windows sökindexering avaktiverades.
FC-test 0.3 lades in på hårddisken.
Hårddiskavspegling gjordes med Ghost 2003 startdiskett.

3.4 Testmetodik och inställningar
Datorn återställdes från speglingen av hårddisken och det testade antivirusprogrammet installerades och efter installationen slutförande startades datorn om. Mätningar av hårddiskprestanda gjordes sedan med FC-test 0.3 och MEGA analyser. Alla tester upprepades minst 20 gånger.

avast! Home Edition 4.8-1356
avast! Professional Edition 4.8-1356
Senitivty ställdes upp till High från Normal för att ge likartat skydd.

AVG Anti-Virus Free 9.0.707
AVG Anti-Virus Premium 9.0.707
Alla inställningar under Resident Shield slogs på och Scan all files valdes under Advanced Settings

AVIRA AntiVir Free 9.0.0.407
AVIRA AntiVir Premium 9.0.0.407
Scan mode under Scan på Guard ställdes på Scan when reading and writing och under Files valdes All files. Scan archive slogs på. AHeAD ställdes på high detection level
BitDefender Antivirus 2010 13.0.17
Ställdes in på Scan all under Scan accessed files. Alla val under Scan for riskware aktiverads. Scan only new and changed files slogs av. Scan inside archives slogs på.

eScan Anti-Virus 10.0.1009.570
All valdes under Scan files of following types. Scan compound objects och alla val under aktiverades. Enable code analyser aktiverades. Proactive Scan aktiverades.

ESET NOD32 Anti-Virus 4.0.467
Runtime packers under Objects och Advanced Heuristics aktiverades. Sökning efter potentially unsafe application aktiverades. Smart optimization stängdes av. Advanced heuristics on File execution aktiverades.

F-Secure Anti-Virus 2010 10.00.246
DeepGuard och advanced process monitoring aktiverades.

G-DATA AntiVirus 2010 20.10.50
Scan only new and changed files slogs av.

Kaspersky Anti-Virus 2010 9.0.0.736
FIle types ställdes in på All files och Heuristics analysis ställdes på deep scan. Scan only new and changed files avaktiverades. Scan mode ställdes på On access an modification. iSwift och iChecker avaktiverades.

McAfee VirusScan Plus 2009 13.15.113
Standardinställningar var för högsta säkerhet.

Microsoft Security Essentials 1.0.1611.0
Standardinställningar var för högsta säkerhet.

Norman Antivirus & Anti-Spyware 7.30
Kördes på Outbreak mode.

Sophos Anti-Virus 9.0.1
Alla Scanning options valdes. On-access scanning aktiverades.

Symantec Norton Anti-Virus 2010 17.0.0.136
Heuristic protection sattes på Aggressive. Scan performance profile sattes på Full Scan. Early load aktiverades och SONAR Advanced mode sattes på Agressive. Caching inaktiverades.

TrustPort Antivirus 2010 5.0.0.4069
Scan all files valdes och alla scanning options aktiverades. Bitdefender lades överst på listan över genomsökningsmotorer.

-----------------------------------------------------------------------------

4. Resultat

4.1 Kort om signifikans och konfidensintervall.
Med signifikans i statistik menar man om det finns någon säkerställd skillnad som inte beror på slumpen. Skillnadens storlek har ingen betydelse för hur signifikant ett resultat är, däremot har konfidensintervallet det. Om två resultats konfidensintervall skär i varandra är skillnaden inte signifikant oavsett hur stor skillnaden än är. Med konfidensintervall på 95 % menar man att man accepterar en 5 % risk för att skillnaderna man ser beror på slumpen även om konfidensintervallen inte skär i varandra. Detta är allmänt vedertaget och används i de flesta fall även om konfidensintervall 99 % kan förekomma. De efterföljande resultaten redovisas med 95% konfidensintervall.

4.2 Installation
I installationskopieringsmönstret kopieras 414 filer med storlekar mellan några byte upptill 50Mb, totalt kopieras 575MB. Detta kan visa hur mycket latens det är i antivirusprogrammets genomsökning. Detta då denna operation i kontrollfallet endast tar 0,50s. Diagrammet nedan visar resultat i procent tid jämfört med en dator utan antivirusprogram. Ett resultat på 200 % innebär att kopieringen tar dubbelt så lång tid.

Här kan man skönja fyra olika grupper antivirusprogram. Sophos ligger dock i en klass för sig och tar nästan tre gånger längre tid på sig än det näst långsammaste programmet att slutföra kopieringen. Detta test kan anses fungera bra då man kan se signifikanta skillnader mellan olika program som med största sannolikhet också beror på hur bra antivirusprogrammet är.

4.3 ISO
I ISO-kopieringsmönstret kopieras 3 filer med storlekar mellan 300MB till 700Mb, totalt kopieras 160MB. Förhoppningen är att visa om antivirusprogrammet påverkar överföringshastigheten av stora filer. Vid kontrollfallet är denna tid 9,540 s.

Detta test var väldigt dåligt på att ta fram skillnader mellan de olika programmen. Detta kan bero på att antivirusprogrammen inte genomsöker filer medan de skrivs, utan väntar tills skrivningen är klar. Åter igen så hamnar Sophos sist. Alla andra resultat ger ingen signifikant skillnad jämfört med kontrollvärdet, vissa program hamnar till och med under, vilket är orimligt och gör att detta tests värde är relativt litet.

4.4 MP3
I MP3-kopieringsmönstret kopieras 271 filer med storlekar mellan 3MB till 7Mb, totalt kopieras 990MB. Detta visar om antivirusprogrammet påverkar överföringen av ett måttligt antal filer med medelstorlek. Vid kontrollfallet är denna tid 3,816 s.

Detta test var också väldigt dåligt på att ta fram skillnader mellan de olika programmen. Skillnaderna mellan programmen är inte jättestora och alla resultat är inte signifikanta. Detta kan bero på det låga filantalet som minskar antalet filer som behöver genomsökas. Än en gång ligger Sophos sist och tar ungefär dubbelt så mycket tid på sig som det näst sämsta programmet.

4.5 Program
I programkopieringsmönstret kopieras 8504 filer med storlekar mellan några byte till 500Mb, totalt kopieras 1380MB, Betoningen ligger dock på små filer vilket gör att detta test visar hur antivirusprogrammet beter sig när det sker ett stort antal filoperationer på små filer med enstaka stora filer. Vilket liknar det som händer när man startar ett spel. Vid kontrollfallet tar det här 11,314s.

Liksom i installationsmönstret så kan man här se fyra grupper av program, denna gång är det dock Norman och inte Sophos som lägger sig sist. Detta kan bero på att Sophos ger någon form av engångslatens som gör att det tar ett visst tag att komma igång med genomsökningen. Medan Norman och de andra som nu har halkat ned har latens för varje genomsökt fil, vilket gör att den kombinerade latensen på grund av filantalet överstiger Sophos engångslatens. Detta kan också förklara varför Avast nu har hoppat upp några positioner.

4.6 Windows
Windows-kopieringsmönstret liknar programkopieringsmönstret med skillnaden att den största filen nu bara är 8MB. Totalt kopieras 9006 filer på totalt 1060MB. Detta test visar hur antivirusprogrammet beter sig när det sker ett stort antal filoperationer på små filer. Vilket liknar det som händer när man startar Windows. Vid kontrollfallet tar det här 7,680s.

Placeringen av programmen är ungefär lika som i program-testet. Några programs positioner har förändrats men det mesta ligger på samma positioner. Detta beror antagligen på testets likhet med program-testet. Dock är antalet små filer mycket högre, vilket gör att vissa av antivirusprogrammen behöver längre tid på sig på grund av latens mellan varje fil.

4.7 MEGA
Testet är baserat på Oli Warners test, källkoden för detta kan ses i bilaga 1. Testet skriver 22 byte 200 000 gånger med filöppning och filstängning mellan varje skrivning. Då antivirusprogrammet måste genomsöka filen vid varje filöppning, kommer latensen för varje filoperation att märkas av tydligt.

Placeringarna för större delen av antivirusprogrammen är densamma men vissa programs placeringar förändras rejält i jämförelse med resultaten från FC-text.
G-Data hoppar upp till en förstaplats. Enligt Process Monitor 2.8(Procmon) från Sysinternals sker dock öppningar av testfilen av antivirusprogrammet. Intressant är att G-Data använder sig av Bitdefenders genomsökningsmotor men ändå lyckas ha det bästa resultatet.
Microsoft Security Essentials hoppar ner ett antal positioner men Procmon visar att det öppnar testfilerna som den ska i FC-test.
Trustports usla resultat kan bero på att den kombinerar Bitdefender-motorn med AVG-motorn på ett ofördelaktigt sätt som ger ungefär fem gånger längre tid att slutföra testet jämfört med att enbart köra Bitdefender.
Normans relativt goda resultat jämfört med de i FC-test kan bero på att det har högre latens för att söka igenom nyskapade filer än för att söka igenom filer som öppnas och stängs.

-----------------------------------------------------------------------------

5. Slutord
Om man går efter prestanda i dessa test ser man att de program som ger minst prestandaförlust är Kaspersky, NOD32 och F-Secure. Alla tre programmen hamnar också på den högsta nivån Advanced+ i AV-comparatives senaste test. Dock tar detta test enbart hänsyn till rå prestanda hos de olika programmen och hur testen påverkas av annan typ av hårdvara är också något som kan vara intressant att undersöka vidare.
Man kan tänka sig att resultaten kan bli annorlunda om testen körts på en enkelkärnig processor då genomsökningsprogrammet nu måste dela processorn med testprogrammen. Att undersöka hur processor- och RAM-minnesanvändningen påverkas när realtidsgenomsökningen sker kan också vara intressant. Försök att få med detta gjordes med prestandamätaren i Windows men då dess lägsta mätintervall låg på en sekund var graferna inte tydliga då skillnaderna mellan programmen i många av testen mäts i millisekunder snarare än i sekunder.
En del av programmen använder sig av två genomsökningsmotorer. G-Data använder Kasperskys och Bitdefenders, Trustport använder sig av AVG och Bitdefender. Trots att G-Data och Trustport båda använder sig av Bitdefender-motorn får programmen väldigt olika resultat. Detta visar på att sättet att använda sig av genomsökningsmotorerna spelar en viktig roll.
Till sist uppmanas det att man själv testar produkterna innan man bestämmer sig för vilken man ska köpa. Förutom prestanda är också användarvänlighet och virusupptäcktsförmåga också viktiga parametrar vid val av antivirusprogram. Endast när man har testat programmet på sin egen dator kan man få en rättvis bild av vilket program som passar en bäst.

Svarat på första frågan i texten nu.

ClamWin verkar bara vara ett genomsökningsprogram och har ingen realtidsskyddskomponent, vilket gör att det inte går att testa den med dessa test. Det skulle inte finnas någon påverkan då den inte lägger in det extra lagret mellan användaren och hårddisken. Däremot behöver man då själv manuellt genomsöka alla filer man skriver till hårddisken, vilket kan vara omständigt för vissa.

Text klar, lämna gärna lite respons på den och förslag på förbättringar.

F-secure 2009 var tydligen mycket sämre än vad 2010 är I AV-Comparatives test får F-secure ett relativt uselt resultat, dock står det i en fotnot att de fick en ny version av F-secure lite efter att testet var färdigt som förbättrade resultatet markant. Däremot är det svårt att bli av med seghetsstämpeln när den har etsat sig fast i det kollektiva medvetandet.
Norton är till exempel inte i närheten av lika dåligt som det en gång har varit, men ändå får de ganska mycket kritik då det var ett tag då det knappt gick att använda Norton alls.