Långsiktig lagringslösning, köpa magnetband?

Min erfarenhet säger att hårddiskar som inte används lägger av efter ett tag. Tror iofs att de skulle lagt av även om de användes..

Har själv funderat lite på just detta och kommer att följa denna tråd

Jag har plockat ut det allra viktigaste och kör med Google Drive. Sen har jag två st 2 TB externa diskar som är fast monterade (för att inte påverkas av vibrationer) som jag använder för lagring. Datan på dessa diskar speglar jag manuellt lite då och då, för att inte bli knäckt om en lägger av..

Hm.. låter onekligen för bra för att vara sant? 350kr/år för obegränsat backuputrymme.. hur finansieras detta? Eller vad är haken?

Jag tror att det är väldigt få privatanvändare som har så mycket filer att backa upp att det skulle bli ett problem.

Företag fick ju bara upp till 500 GB för backup. Jag är säker på att det går tio användare med mindre än 50 GB backup på varje med mer!

Jag köpte för 10+ år sedan 3 st identiska 40 GB Seagate hårddiskar och körde två i raid och hade den trejde som reserv. När datorn skrotades så tänkte jag att det vore smart att använda diskarna som backup för långlagring.

Så jag lagrade det viktigaste på alla tre diskarna och placerade ut dem två hos mig själv och en hos mina föräldrar. Några år senare så slutade jag använda en 80 GB disk på samma sätt. Sedan dess har det även blivit en 320-disk och en 500 GB-disk.

När jag skulle göra en inventering av diskarna för ett par månader sedan, så fungerade de två stora diskarna felfritt, medan två av 40GB-diskarna och 80 GB-disken inte gjorde det. 80-disken startade och allt såg bra ut tills jag började kopiera från den, då stängde den av sig och startade upp i en evig loop, precis som en av 40-diskarna. Den andra av de nu dåliga 40 GB-diskarna startade inte alls.

Alla diskar fungerade perfekt när de lades undan. Men det är nog tre år sedan jag testade någon av dem tidigare.

Nu har jag faktiskt 2 x 2TB diskar som jag försöker hålla någorlunda synkade med allt värdefullt. Det som är viktigast har jag dessutom även på de tre extradiskar som fungerar och på molnet via Google Drive!

Givetvis får man prioritera i olika grader. Det som finns på Google Drive är givetvis bara det allra viktigaste!

Jag har endast goda erfarenheter av större disksystem (RAID lösningar som bygger på hårdvara), dessa fungerar utmärkt. Men har man mycket data som ska lagras under längre tid så rekommenderar jag Tape-lösningar.
Ex en LTO-robot med streckkodsläsare, då går det snabbt och enkelt att lägga till band och även söka i sina bandarkiv.

Nu har jag förvisso skalat ner min veksamhet och tagit anställning, men även här hanteras många TB data på samma sätt.
(Skulle någon vara sugen på en LTO eller en DLT robot så kan jag nog sätta er i kontakt med rätt person. För man får väl inte göra affärer här?
Samma lösning, LTO-robot och Retrospect med diverse clienter på alla servers.
Klockrent.

Det här är en mycket intressant fråga för oss datanördar som tycker att våra data är värdefulla. Jag själv har funderat mycket på detta, och kommit fram till följande angående långtidslagring:

Om du har 3 separata diskar som du backuppar allt till, och synkar emellan och håller up-to-date, så måste du kolla diskarna med jämna mellanrum dvs köra en MD5 checksum på varje fil för att se om någon fil slumpmässigt har ändrat några bitar. Beräkna MD5 på alla filer måste göras varje månad(?) för annars kanske små fel, hinner bli stora fel.

Du måste alltså spara all MD5 checksummor i en fil. Om MD5 checksumman inte stämmer, så måste du leta fram en backup fil och kopiera in den istället. Detta är vi alla överens om; kör en checksumma då och då för att se att inga data har börjat ruttnat bort. Låter man en disk ligga tillräckligt länge så ruttnar datat bort.

Men tänk om själva MD5 checksummefilen har förstörts? Ja, så du måste spara flera kopior av MD5 checksummesfilen, kanske i molnet eller nånstans. Och om du synkar lite filer, så måste du uppdatera alla MD5 checksummefiler för hand utspridda här och där. Och när du kopierat dit filer, så måste du uppdatera MD5 checksumme filerna igen. etc etc

Låter detta inte j-vligt jobbigt? Det är lätt att göra fel, kanske råka radera checksumme filerna eller nåt sånt. Sen har du 3st diskar som du ska göra allt detta på. Manuellt. Detta kommer ta lång tid, och kräver mycket tankeverksamhet. Tänk om 100 filer korruptats på en disk? Ja, du måste checksumma alla, och leta upp vilka filer som ändrats, och ta fram en backup och kopiera filerna till alla andra diskar.

Tänk om du tappar två diskar i golvet samtidigt, så 100 filer korruptas på ena disken, men 100 andra filer korruptas på andra disken? Då måste du tänka till ordentligt, vilka filer är intakta, vilka har ändrats? Vilka ska du leta fram backupperna ifrån? Du har ju en tredje disk som är intakt.

Finns det inget system som gör allt detta åt dig? Kör checksum på alla filer med jämna mellanrum, och om någon fil är trasig så tar den fram en kopia och lagar automatiskt filen? Och allt detta sker helt automatiskt, du behöver bara klicka på en knapp / skriva ett kommando för att starta själva processen och sen gör du inget alls? Och om 100 filer korruptas, så letar systemet upp rätt original och löser upp alla beroenden åt dig? Du behöver inte göra nåt, inte ens trycka "yes/no" eller ta några beslut alls? Bara aktivera, och göra annat i några timmar. Eller, så kan du fortsätta använda systemet under tiden alla data kollas.

Det finns ett sånt system. Det kallas ZFS. Så jag tänker skapa ett ZFS raid med maximal säkerhet. Jag tänker inte använda raid-6, för den tillåter bara 2 diskar att krascha. Jag tänker istället använda ZFS unika funktion: raidz3 (dvs tre diskar kan krascha utan att något händer vilket är helt unikt, ingen annan lösning erbjuder denna funktion). Så jag har alltså typ 12 diskar i raidz3, och varje månad skriver jag "scrub", och då kollas alla checksummor automatiskt, och om några bytes ändrats så reparares det helt automatiskt. Och på slutet får man en rapport ifall något hänt.

Att göra MD5 checksummor på varje fil för att se om något ändrats, gör inte t.ex. hårdvaruraid. Så det kan hända att dina data sakta ruttnar bort utan att hw-raidet märker det. Men ZFS gör checksummor på varje fil och detekterar samt reparerar all data - detta är skälet att CERN håller på att switcha över till ZFS för långtidslagring av alla sina partikel data.

Så nackdelen är att jag måste bygga upp ett helt ZFS raid, men så hoppas jag tjäna på det genom att mina data är säkrare än andra lösningar. Och ZFS är gratis och man ska köra det utan raidkort, så det blir billigt. Tre diskar kan krascha utan att jag tappar data, pga raidz3. Data kan korruptas på flera diskar än tre, samtidigt men original är utspridda här och där, så alla data kan återställas utan problem. Om olika data korruptas på sex olika diskar är det inga problem, för alla data är utspridda överallt. Om diskar kraschar, så klarar ZFS av tre diskkrascher utan problem.

Ifall man långtidslagrar i molnet, de kör antagligen hw-raid och såna gör inte checksummor på varje fil. Vad händer om du upptäcker efter 1 år, att dina data i molnet har ruttnat? Du måste göra en MD5 checksumma när du fört över en fil till molnet, för att se att inga bitar flippades av misstag på vägen dit. Det har hänt förr och kommer hända igen. Och även göra en MD5 checksumma när du laddar ned filer. Om dina data i molnet har flippats, kommer du begära skadestånd? Du litade på dem, men de gjorde bort sig? Det finns rapporter om att Amazon korruptade folks data. Molntjänster är ju egentligen massor av servrar med hårdvaruraid och massor av diskar - men hårdvaruraid gör inga checksummor av alla data. Gör Amazon checksum av alla data med jämna mellanrum? Jag tvivlar på det. Är dina data säkra i molnet?

Absolut kan det hända att ZFS knasar, men det är ytterligt sällsynt. Det finns inget filsystem som är 100% säkert eller okraschbart, men ZFS torde vara den säkraste lagringslösningen idag. Det kanske är därför som fysikcentret CERN går över till ZFS för att lagra sina enorma mängder partikeldata på många PetaByte.

Visst måste man ha en offsite backup, men jag pratar just om att offsite backupen ska köra ZFS. Jag menar att min offsite backup kommer att vara en ZFS raid dator. Det verkar enklare att ZFS håller reda på alla checksummor och reparationer om någon fil korruptas, än att jag gör det själv med tre st diskar och gör MD5 checksummor på varje fil.

Så jag menar följande; enklaste sättet att ha en säker långtidslagring är kanske så här:
Man har sin vanliga PC som man jobbar med, och när man ska långtidslagra data, så skickar man över datat via Internet till en ZFS raid dator. ZFS lägger ju automatiskt på checksummor när man skickar data, så man slipper göra MD5 checksummor när man skickat en fil. Och det enda som skickas över internet, är endast de senaste ändringarna. Detta sker helt automatiskt. Man skriver ett kommando, sen kan man luta sig tillbaka och allt görs helt automatiskt.

Visst kan data ruttna på diskarna med tiden, men varje månad får man köra kommandot "scrub" så kommer ZFS gå igenom alla data och kontrollera alla checksummor och reparera korrupta bitar, och efter några timmar får du en rapport.

Så min offsite backup är alltså en hel dator som kör ZFS. Vad tror ni om denna lagringslösning? Har ni kommentarer? Kan man göra något bättre?

ReFS har checksummor på metadata (dvs journalloggar och sånt) men själva datat checksummas inte. Precis som fsck idag. fsck kontrollerar ju bara metadata, men själva datat kan vara korrupt även om metadata är felfritt.

Man kan även aktivera checksummor på själva datat, i ReFS, men det måste man göra manuellt. Jag vet inte varför det ej är påslaget by default. Min gissning är att det är svårt att göra säkra lagiringslösningar. CERN påstår att det räcker inte att lägga på checksummor för att få en säker lagringslösning, så därför är inte checksummor påslaget i ReFS. För om ReFS checksummorna vore påslagna, så kommer folk påstå att ReFS är lika säkert som ZFS - vilket det antagligen inte är. Folk kommer att tappa data, och nu kommer MS kunna säga "ja visst tappar folk data, men det är för att vi inte slagit på checksummor än". Skulle folk tappa data trots att checksummor var påslagna så kommer ReFS få dåligt rykte "MS påstår det är helt säkert, men ändå tappar folk data. Undvik ReFS".

Men ReFS är ett steg i rätt riktning. Jag tror absolut det är säkrare än NTFS. Lite checksummor är bättre än inga checksummor. Taffligt gjorda checksummor är bättre än inga checksummor.

Men jag tror fortfarande att den bästa långtidslagringen är att ha en raid dator som offsite backup. Har man band, så kommer datat ruttna på bandet med tiden. Och då måste man själv hålla på att göra checksummor och kopiera tillbaka en korrekt fil som är intakt, etc. Mycket jobbigt att göra allt detta, på band eller på disk. Bättre med ett system som gör allt detta automatiskt.

Jag har också tänkt på att blixten kan ta backupperna. Därför är min ZFS dator inte påslagen. Den slås endast på någon gång i veckan då jag synkar backup. Jag slår på den när det inte regnar/blixtrar. Ett strömskydd skyddar inte mot en direktträff av blixten, inget skyddar mot det. Bäst att datorn inte är inkopplad.

Min ZFS dator är faktiskt hemma, inte nån annanstans. Men den är aldrig på. Jag jobbar mot en 4TB disk och fixar, sen när jag behöver synka så gör jag det mot raidet.

Jo, självklart kan dina Windowsdata virussmittas. Men viruset kommer inte att påverka Solaris / FreeBSD / Mac OS X / Linux / valfritt OS som kör ZFS - om det nu är till någon hjälp.

Men om man har snapshots på sina windowsdata, så kan man alltid backa i tiden. Antag att man fått virus nyligen, då kan man backa till en tid då det inte var virus. Jag vet att du vet detta, men det är en funktion värd att nämna för de som inte känner till det.

I OpenSolaris finns TimeMachine eller TimeSlider eller vad det nu heter. Det tar automatiskt snapshots åt dig. Du får själv konfa när och sånt. Men jag har för mig att du kör FreeBSD, så det hjälper inte dig.