Verktyg Visningsval
2012-05-05, 09:17   #1

Parallels

Medlem

Plats: F.d. Sverige

Registrerad: sep 2007

Långsiktig lagringslösning, köpa magnetband?


Hejsan Sweclockers

Man samlar på sig mycket data över tid och någonstans måste man lagra allting. Hittilst har jag löst detta genom att införskaffa fler hårddiskar, men nu funderar jag över en tämligen långsiktig lösning av detta problem.

Skulle man kunna ta en hårddisk, fylla på den med massa data man sällan behöver, och lägga den i förvaring? D.v.s. hårddisken ligger helt fritt och frånkopplad i långa intervall, när jag sedan skulle behöva något från den så kopplar jag bara in den och hämtar det jag behöver. Är detta möjligt om man försvarar hårddisken "bra"? Finns det risker med denna lösning?

En sak jag funderat på är någon sorts magnetbandslagring, men jag har inte sett några kommersiella produkter. Om ni kan tipsa om var man kan köpa sådant (helst inom EU/Sverige) så skulle jag vara tacksam.
Parallels är inte uppkopplad
2012-05-05, 09:25   #2

Dava

Medlem

Davas avatar

Plats: Skåne

Registrerad: feb 2002

Min erfarenhet säger att hårddiskar som inte används lägger av efter ett tag. Tror iofs att de skulle lagt av även om de användes..

Har själv funderat lite på just detta och kommer att följa denna tråd
__________________
Hackintosh late 2011: Gigabyte H61M-DS2 | Celeron G530 | MSI N210 D512D2 | 8 GB XMS3 | Crucial m4 64 GB |  OSX Lion 10.7.2
Dava är inte uppkopplad
2012-05-05, 09:26   #3

Pappy

Medlem

Pappys avatar

Plats: LKPG

Registrerad: feb 2003

Jag skulle börja titta på online-lagring på någon molntjänst.
Att låta hårddiskar ligga tror jag inte är någon höjdare och att skaffa sig magnetband eller liknande för hemmabruk... nja.
__________________
Whisky kan drickas på 3 sätt:
1. Utan vatten. 2. Med vatten. 3. Som vatten.

Workstation.Server
Pappy är inte uppkopplad
2012-05-05, 12:20   #4

Zotamedu

Entusiast

Zotamedus avatar

Plats: Göteborg

Registrerad: dec 2005

Det finns magnetband att köpa men det är dyrt.
En snabb sökning hittade en LTO-läsare för 13000 kr (http://www.dustinhome.se/product/501...Provider_dacsa) och sedan kostar banden typ 600 kr för ett par TB (http://www.dustinhome.se/product/501...Provider_dacsa)

Alternativet är väl DAT där spelaren är billigare på ca 8000 kr (http://www.komplett.se/k/ki.aspx?sku=356787) men banden är mycket dyrare då en kassett på några tiotals GB kostar ett par hundra.

Sen är magnetband inte odödliga för långtidslagring heller. De ska väl klara någonstans runt 20 år är det tänkt så man kan inte bara dumpa dem. Det är faktiskt ett stort problem då det ligger enorma mängder data lagrat på magnetband som sakta men säkert håller på att förstöras. Många universitet i USA har till exempel fullt upp med att konvertera sina magnetband. Ett annat roligt exempel är delar av Stasis arkiv från forna östtylskand som ligger på magnetband. All data är troligtvis kvar men inga läsare har överlevt.

Jag vill minnas att hårddiskar har ungefär samma livslängd innan de tappar laddningen också så magnetband känns som överkurs för hemmabruk. Tror det är på väg bort även i industriella sammanhang då hårddiskpriset gått ner. Hur som helst är det nog bäst och enklast att dumpa över all data på externa diskar som ligger urkopplade. Kanske någon checksumma också för säkerhets skull. Sen får du se till att ha backuper på andra ställen också för det är en bra försäkring mot trasiga filer och andra fel.

Molntjänster finns ju också men tyvärr är de fortfarande lite dyra om man har mer data än några tiotal GB. Sen är det också problemet med att man inte vet hur länge företagen överlever.
__________________
Q9450, HD4850, 8 GB DDR2 800 MHz, 3x750 GB, Antec 300, Dell 2408WFP, U2410, Qnap TS-419p+ 4x2 TB Samsung F4, Asus UL30A-QX056V, Logitech Z-680, Sennheiser HD380pro, M-Audio FastTrack Pro, Ibanez sa160qm, Ibanez TB 15R, Zoom 505II, Ibanez GSR 200, Ibanez SW 35, Cort AC-15, Squier SD-3 BBL, Yamaha PSR 270, Røde NT1-A, Nikon D200, Nikkor 18-70/3,5-4,5, 70-300VR, 50/1,8, 28/2,8, Tamron 17-50/2,8, 90/2,8, Sigma 30/1,4, SB-800, SB-25, SB-24
Zotamedu är inte uppkopplad Folding
2012-05-05, 15:01   #5

Agile

Medlem

Plats: Stockholm

Registrerad: jan 2002

online-lagring, t.ex. www.diino.com (obegränsat backuputrymme), 350kr/år om du köper från amerikanska siten.
Rekommenderas, har kört med Diino i ett par år nu.

http://www.sweclockers.com/forum/22-...line-backupen/
Agile är uppkopplad nu
2012-05-05, 23:23   #6

Dava

Medlem

Davas avatar

Plats: Skåne

Registrerad: feb 2002

Jag har plockat ut det allra viktigaste och kör med Google Drive. Sen har jag två st 2 TB externa diskar som är fast monterade (för att inte påverkas av vibrationer) som jag använder för lagring. Datan på dessa diskar speglar jag manuellt lite då och då, för att inte bli knäckt om en lägger av..
__________________
Hackintosh late 2011: Gigabyte H61M-DS2 | Celeron G530 | MSI N210 D512D2 | 8 GB XMS3 | Crucial m4 64 GB |  OSX Lion 10.7.2
Dava är inte uppkopplad
2012-05-05, 23:40   #7

anden12

Medlem

Plats: Stockholm

Registrerad: jun 2005

Citat:
Ursprungligen inskrivet av Agile Visa inlägg
online-lagring, t.ex. www.diino.com (obegränsat backuputrymme), 350kr/år om du köper från amerikanska siten.
Rekommenderas, har kört med Diino i ett par år nu.

http://www.sweclockers.com/forum/22-...line-backupen/
Hm.. låter onekligen för bra för att vara sant? 350kr/år för obegränsat backuputrymme.. hur finansieras detta? Eller vad är haken?
__________________
i2500k@4.6GHz, 8gb, 7970@1.131V/1125/6000
Citera om du skriver till mig. Annars läser jag troligtvis INTE.
anden12 är inte uppkopplad Folding
2012-05-06, 23:24   #8

Dava

Medlem

Davas avatar

Plats: Skåne

Registrerad: feb 2002

Jag tror att det är väldigt få privatanvändare som har så mycket filer att backa upp att det skulle bli ett problem.

Företag fick ju bara upp till 500 GB för backup. Jag är säker på att det går tio användare med mindre än 50 GB backup på varje med mer!
__________________
Hackintosh late 2011: Gigabyte H61M-DS2 | Celeron G530 | MSI N210 D512D2 | 8 GB XMS3 | Crucial m4 64 GB |  OSX Lion 10.7.2
Dava är inte uppkopplad
2012-05-08, 06:27   #9

Parallels

Medlem

Plats: F.d. Sverige

Registrerad: sep 2007

Citat:
Min erfarenhet säger att hårddiskar som inte används lägger av efter ett tag. Tror iofs att de skulle lagt av även om de användes..
Utveckla gärna och berätta om dina erfarenheter som du nämner.

Citat:
Jag skulle börja titta på online-lagring på någon molntjänst.
Att låta hårddiskar ligga tror jag inte är någon höjdare och att skaffa sig magnetband eller liknande för hemmabruk... nja.
Online-lagring är uteslutet för mig iallafall. Både p.g.a. den typ av data som jag har behov av att lagra och att det är svårt att lita på en molntjänst. Nätverksuppkopplingen kan gå ner tillfälligt, strul på deras sida (krash osv.), osv.

Tack så mycket för inlägget, Zotamedu.
Citat:
Hur som helst är det nog bäst och enklast att dumpa över all data på externa diskar som ligger urkopplade. Kanske någon checksumma också för säkerhets skull. Sen får du se till att ha backuper på andra ställen också för det är en bra försäkring mot trasiga filer och andra fel.
Åsikten verkar gå isär här om huruvida "frånkopplade" hårddiskar går att lita på.

Om jag själv skulle prova detta skulle jag ta två hårddiskar och fylla på dem så de innehållsmässigt är identiska. Sen blir det skapligt mycket checksummearbete. När diskarna väl är fyllda och man har checksumma på allting så borde man koppla på diskarna då och då (1 gång/mån?) för att se så allt är bra. Vad tycker ni om ett sådant tillvägagångssätt?
Parallels är inte uppkopplad
2012-05-08, 21:48   #10

Zotamedu

Entusiast

Zotamedus avatar

Plats: Göteborg

Registrerad: dec 2005

Rent tekniskt klarar sig diskar rätt bra av att bara ligga. Det allra viktigaste är dock att du alltid ser till att ha din data på många ställen som är långt ifrån varandra. Har du all data i datorn plus två lösa hårddiskar där en ligger i ett skåp hemma och en ligger i ett skåp på jobbet/hos en kompis/i ett bankfack så kan du ju tappa två av tre diskar utan att det gör något. Det är det enklaste, billigaste och viktigaste när det gäller datasäkerhet. Alltid alltid ha allt på många ställen och minst ett ställe som ligger minst ett par hundra meter bort.
__________________
Q9450, HD4850, 8 GB DDR2 800 MHz, 3x750 GB, Antec 300, Dell 2408WFP, U2410, Qnap TS-419p+ 4x2 TB Samsung F4, Asus UL30A-QX056V, Logitech Z-680, Sennheiser HD380pro, M-Audio FastTrack Pro, Ibanez sa160qm, Ibanez TB 15R, Zoom 505II, Ibanez GSR 200, Ibanez SW 35, Cort AC-15, Squier SD-3 BBL, Yamaha PSR 270, Røde NT1-A, Nikon D200, Nikkor 18-70/3,5-4,5, 70-300VR, 50/1,8, 28/2,8, Tamron 17-50/2,8, 90/2,8, Sigma 30/1,4, SB-800, SB-25, SB-24
Zotamedu är inte uppkopplad Folding
2012-05-09, 18:39   #11

Dava

Medlem

Davas avatar

Plats: Skåne

Registrerad: feb 2002

Citat:
Ursprungligen inskrivet av Parallels Visa inlägg
Utveckla gärna och berätta om dina erfarenheter som du nämner.
Jag köpte för 10+ år sedan 3 st identiska 40 GB Seagate hårddiskar och körde två i raid och hade den trejde som reserv. När datorn skrotades så tänkte jag att det vore smart att använda diskarna som backup för långlagring.

Så jag lagrade det viktigaste på alla tre diskarna och placerade ut dem två hos mig själv och en hos mina föräldrar. Några år senare så slutade jag använda en 80 GB disk på samma sätt. Sedan dess har det även blivit en 320-disk och en 500 GB-disk.

När jag skulle göra en inventering av diskarna för ett par månader sedan, så fungerade de två stora diskarna felfritt, medan två av 40GB-diskarna och 80 GB-disken inte gjorde det. 80-disken startade och allt såg bra ut tills jag började kopiera från den, då stängde den av sig och startade upp i en evig loop, precis som en av 40-diskarna. Den andra av de nu dåliga 40 GB-diskarna startade inte alls.

Alla diskar fungerade perfekt när de lades undan. Men det är nog tre år sedan jag testade någon av dem tidigare.


Nu har jag faktiskt 2 x 2TB diskar som jag försöker hålla någorlunda synkade med allt värdefullt. Det som är viktigast har jag dessutom även på de tre extradiskar som fungerar och på molnet via Google Drive!

Givetvis får man prioritera i olika grader. Det som finns på Google Drive är givetvis bara det allra viktigaste!
__________________
Hackintosh late 2011: Gigabyte H61M-DS2 | Celeron G530 | MSI N210 D512D2 | 8 GB XMS3 | Crucial m4 64 GB |  OSX Lion 10.7.2
Dava är inte uppkopplad
2012-05-31, 17:52   #12

Ty

Medlem

Plats: Stockholm

Registrerad: maj 2012

Tape Backup


Jag har endast goda erfarenheter av större disksystem (RAID lösningar som bygger på hårdvara), dessa fungerar utmärkt. Men har man mycket data som ska lagras under längre tid så rekommenderar jag Tape-lösningar.
Ex en LTO-robot med streckkodsläsare, då går det snabbt och enkelt att lägga till band och även söka i sina bandarkiv.

Nu har jag förvisso skalat ner min veksamhet och tagit anställning, men även här hanteras många TB data på samma sätt.
(Skulle någon vara sugen på en LTO eller en DLT robot så kan jag nog sätta er i kontakt med rätt person. För man får väl inte göra affärer här?
Samma lösning, LTO-robot och Retrospect med diverse clienter på alla servers.
Klockrent.
Ty är inte uppkopplad
2012-06-01, 18:54   #13

matte_amal

Medlem

matte_amals avatar

Plats: Under sängen i Kalmar

Registrerad: feb 2002

Jag kör något som jag kallar aktiv backup
Jag har två externa 2TB-diskar, en av dom befinner sig alltid på jobbet, den andra sitter i min server.
Varje natt går ett backup-script som syncar det viktigaste som inte går att skapa om till backup-disken som sitter i servern. Efter ett tag när jag känner att jag lagt till för mycket bilder eller källkod så re-mountar jag disken som read-only och gör en koll så att allt verkar OK, sen tar jag med den till jobbet och tar med den andra hem.
När jag kommer hem monterar jag den andra disken read-only och kör ett script som skriver ut skillnaderna mellan min server-disk och backupen, är det inget som verkar konstigt så monterar jag den för skrivning och då kommer den synkas varje natt. Sen repeterar jag

Jag tror tyvärr inte att det finns något sätt/medium att spara på och glömma bort, utan man får se till att alltid kopiera över data till nyare medium allt eftersom man köper. Det brukar aldrig vara problem då storlekarna hela tiden växer, så det gör inget att jag syncar mina gamla högstadiedokument ursprungligen från en diskett från 96 varje natt

Dock är jag ändå väldigt paranoid och är inne på att lägga lite backup på äldre diskar och även på skivor som extra säkerhet, väldigt svårt det här, mycket att tänka på.
__________________
*** Signaturen raderad på grund av för många rader. Läs forumreglerna. /xphaze
matte_amal är inte uppkopplad
2012-06-03, 20:10   #14

saddam

Avstängd

Plats: Sthlm

Registrerad: nov 2008

Det här är en mycket intressant fråga för oss datanördar som tycker att våra data är värdefulla. Jag själv har funderat mycket på detta, och kommit fram till följande angående långtidslagring:

Om du har 3 separata diskar som du backuppar allt till, och synkar emellan och håller up-to-date, så måste du kolla diskarna med jämna mellanrum dvs köra en MD5 checksum på varje fil för att se om någon fil slumpmässigt har ändrat några bitar. Beräkna MD5 på alla filer måste göras varje månad(?) för annars kanske små fel, hinner bli stora fel.

Du måste alltså spara all MD5 checksummor i en fil. Om MD5 checksumman inte stämmer, så måste du leta fram en backup fil och kopiera in den istället. Detta är vi alla överens om; kör en checksumma då och då för att se att inga data har börjat ruttnat bort. Låter man en disk ligga tillräckligt länge så ruttnar datat bort.

Men tänk om själva MD5 checksummefilen har förstörts? Ja, så du måste spara flera kopior av MD5 checksummesfilen, kanske i molnet eller nånstans. Och om du synkar lite filer, så måste du uppdatera alla MD5 checksummefiler för hand utspridda här och där. Och när du kopierat dit filer, så måste du uppdatera MD5 checksumme filerna igen. etc etc

Låter detta inte j-vligt jobbigt? Det är lätt att göra fel, kanske råka radera checksumme filerna eller nåt sånt. Sen har du 3st diskar som du ska göra allt detta på. Manuellt. Detta kommer ta lång tid, och kräver mycket tankeverksamhet. Tänk om 100 filer korruptats på en disk? Ja, du måste checksumma alla, och leta upp vilka filer som ändrats, och ta fram en backup och kopiera filerna till alla andra diskar.

Tänk om du tappar två diskar i golvet samtidigt, så 100 filer korruptas på ena disken, men 100 andra filer korruptas på andra disken? Då måste du tänka till ordentligt, vilka filer är intakta, vilka har ändrats? Vilka ska du leta fram backupperna ifrån? Du har ju en tredje disk som är intakt.

Finns det inget system som gör allt detta åt dig? Kör checksum på alla filer med jämna mellanrum, och om någon fil är trasig så tar den fram en kopia och lagar automatiskt filen? Och allt detta sker helt automatiskt, du behöver bara klicka på en knapp / skriva ett kommando för att starta själva processen och sen gör du inget alls? Och om 100 filer korruptas, så letar systemet upp rätt original och löser upp alla beroenden åt dig? Du behöver inte göra nåt, inte ens trycka "yes/no" eller ta några beslut alls? Bara aktivera, och göra annat i några timmar. Eller, så kan du fortsätta använda systemet under tiden alla data kollas.

Det finns ett sånt system. Det kallas ZFS. Så jag tänker skapa ett ZFS raid med maximal säkerhet. Jag tänker inte använda raid-6, för den tillåter bara 2 diskar att krascha. Jag tänker istället använda ZFS unika funktion: raidz3 (dvs tre diskar kan krascha utan att något händer vilket är helt unikt, ingen annan lösning erbjuder denna funktion). Så jag har alltså typ 12 diskar i raidz3, och varje månad skriver jag "scrub", och då kollas alla checksummor automatiskt, och om några bytes ändrats så reparares det helt automatiskt. Och på slutet får man en rapport ifall något hänt.

Att göra MD5 checksummor på varje fil för att se om något ändrats, gör inte t.ex. hårdvaruraid. Så det kan hända att dina data sakta ruttnar bort utan att hw-raidet märker det. Men ZFS gör checksummor på varje fil och detekterar samt reparerar all data - detta är skälet att CERN håller på att switcha över till ZFS för långtidslagring av alla sina partikel data.

Så nackdelen är att jag måste bygga upp ett helt ZFS raid, men så hoppas jag tjäna på det genom att mina data är säkrare än andra lösningar. Och ZFS är gratis och man ska köra det utan raidkort, så det blir billigt. Tre diskar kan krascha utan att jag tappar data, pga raidz3. Data kan korruptas på flera diskar än tre, samtidigt men original är utspridda här och där, så alla data kan återställas utan problem. Om olika data korruptas på sex olika diskar är det inga problem, för alla data är utspridda överallt. Om diskar kraschar, så klarar ZFS av tre diskkrascher utan problem.



Ifall man långtidslagrar i molnet, de kör antagligen hw-raid och såna gör inte checksummor på varje fil. Vad händer om du upptäcker efter 1 år, att dina data i molnet har ruttnat? Du måste göra en MD5 checksumma när du fört över en fil till molnet, för att se att inga bitar flippades av misstag på vägen dit. Det har hänt förr och kommer hända igen. Och även göra en MD5 checksumma när du laddar ned filer. Om dina data i molnet har flippats, kommer du begära skadestånd? Du litade på dem, men de gjorde bort sig? Det finns rapporter om att Amazon korruptade folks data. Molntjänster är ju egentligen massor av servrar med hårdvaruraid och massor av diskar - men hårdvaruraid gör inga checksummor av alla data. Gör Amazon checksum av alla data med jämna mellanrum? Jag tvivlar på det. Är dina data säkra i molnet?

Senast redigerad av saddam 2012-06-03 klockan 20:18.
saddam är inte uppkopplad
2012-06-03, 23:32   #15

Zotamedu

Entusiast

Zotamedus avatar

Plats: Göteborg

Registrerad: dec 2005

Citat:
Ursprungligen inskrivet av saddam Visa inlägg
Det här är en mycket intressant fråga för oss datanördar som tycker att våra data är värdefulla. Jag själv har funderat mycket på detta, och kommit fram till följande angående långtidslagring:

Om du har 3 separata diskar som du backuppar allt till, och synkar emellan och håller up-to-date, så måste du kolla diskarna med jämna mellanrum dvs köra en MD5 checksum på varje fil för att se om någon fil slumpmässigt har ändrat några bitar. Beräkna MD5 på alla filer måste göras varje månad(?) för annars kanske små fel, hinner bli stora fel.

Du måste alltså spara all MD5 checksummor i en fil. Om MD5 checksumman inte stämmer, så måste du leta fram en backup fil och kopiera in den istället. Detta är vi alla överens om; kör en checksumma då och då för att se att inga data har börjat ruttnat bort. Låter man en disk ligga tillräckligt länge så ruttnar datat bort.

Men tänk om själva MD5 checksummefilen har förstörts? Ja, så du måste spara flera kopior av MD5 checksummesfilen, kanske i molnet eller nånstans. Och om du synkar lite filer, så måste du uppdatera alla MD5 checksummefiler för hand utspridda här och där. Och när du kopierat dit filer, så måste du uppdatera MD5 checksumme filerna igen. etc etc

Låter detta inte j-vligt jobbigt? Det är lätt att göra fel, kanske råka radera checksumme filerna eller nåt sånt. Sen har du 3st diskar som du ska göra allt detta på. Manuellt. Detta kommer ta lång tid, och kräver mycket tankeverksamhet. Tänk om 100 filer korruptats på en disk? Ja, du måste checksumma alla, och leta upp vilka filer som ändrats, och ta fram en backup och kopiera filerna till alla andra diskar.

Tänk om du tappar två diskar i golvet samtidigt, så 100 filer korruptas på ena disken, men 100 andra filer korruptas på andra disken? Då måste du tänka till ordentligt, vilka filer är intakta, vilka har ändrats? Vilka ska du leta fram backupperna ifrån? Du har ju en tredje disk som är intakt.

Finns det inget system som gör allt detta åt dig? Kör checksum på alla filer med jämna mellanrum, och om någon fil är trasig så tar den fram en kopia och lagar automatiskt filen? Och allt detta sker helt automatiskt, du behöver bara klicka på en knapp / skriva ett kommando för att starta själva processen och sen gör du inget alls? Och om 100 filer korruptas, så letar systemet upp rätt original och löser upp alla beroenden åt dig? Du behöver inte göra nåt, inte ens trycka "yes/no" eller ta några beslut alls? Bara aktivera, och göra annat i några timmar. Eller, så kan du fortsätta använda systemet under tiden alla data kollas.

Det finns ett sånt system. Det kallas ZFS. Så jag tänker skapa ett ZFS raid med maximal säkerhet. Jag tänker inte använda raid-6, för den tillåter bara 2 diskar att krascha. Jag tänker istället använda ZFS unika funktion: raidz3 (dvs tre diskar kan krascha utan att något händer vilket är helt unikt, ingen annan lösning erbjuder denna funktion). Så jag har alltså typ 12 diskar i raidz3, och varje månad skriver jag "scrub", och då kollas alla checksummor automatiskt, och om några bytes ändrats så reparares det helt automatiskt. Och på slutet får man en rapport ifall något hänt.

Att göra MD5 checksummor på varje fil för att se om något ändrats, gör inte t.ex. hårdvaruraid. Så det kan hända att dina data sakta ruttnar bort utan att hw-raidet märker det. Men ZFS gör checksummor på varje fil och detekterar samt reparerar all data - detta är skälet att CERN håller på att switcha över till ZFS för långtidslagring av alla sina partikel data.

Så nackdelen är att jag måste bygga upp ett helt ZFS raid, men så hoppas jag tjäna på det genom att mina data är säkrare än andra lösningar. Och ZFS är gratis och man ska köra det utan raidkort, så det blir billigt. Tre diskar kan krascha utan att jag tappar data, pga raidz3. Data kan korruptas på flera diskar än tre, samtidigt men original är utspridda här och där, så alla data kan återställas utan problem. Om olika data korruptas på sex olika diskar är det inga problem, för alla data är utspridda överallt. Om diskar kraschar, så klarar ZFS av tre diskkrascher utan problem.



Ifall man långtidslagrar i molnet, de kör antagligen hw-raid och såna gör inte checksummor på varje fil. Vad händer om du upptäcker efter 1 år, att dina data i molnet har ruttnat? Du måste göra en MD5 checksumma när du fört över en fil till molnet, för att se att inga bitar flippades av misstag på vägen dit. Det har hänt förr och kommer hända igen. Och även göra en MD5 checksumma när du laddar ned filer. Om dina data i molnet har flippats, kommer du begära skadestånd? Du litade på dem, men de gjorde bort sig? Det finns rapporter om att Amazon korruptade folks data. Molntjänster är ju egentligen massor av servrar med hårdvaruraid och massor av diskar - men hårdvaruraid gör inga checksummor av alla data. Gör Amazon checksum av alla data med jämna mellanrum? Jag tvivlar på det. Är dina data säkra i molnet?
och sen får du ett fel i filsystemet som får hela din fina ZFS att haverera...

Man kan ha hur avancerade RAID-lösningar som helst men vettig datasäkerhet får man inte utan offsite backup.
__________________
Q9450, HD4850, 8 GB DDR2 800 MHz, 3x750 GB, Antec 300, Dell 2408WFP, U2410, Qnap TS-419p+ 4x2 TB Samsung F4, Asus UL30A-QX056V, Logitech Z-680, Sennheiser HD380pro, M-Audio FastTrack Pro, Ibanez sa160qm, Ibanez TB 15R, Zoom 505II, Ibanez GSR 200, Ibanez SW 35, Cort AC-15, Squier SD-3 BBL, Yamaha PSR 270, Røde NT1-A, Nikon D200, Nikkor 18-70/3,5-4,5, 70-300VR, 50/1,8, 28/2,8, Tamron 17-50/2,8, 90/2,8, Sigma 30/1,4, SB-800, SB-25, SB-24
Zotamedu är inte uppkopplad Folding
2012-06-04, 00:15   #16

mrqaffe

Medlem

mrqaffes avatar

Plats: Salstad

Registrerad: feb 2009

Appropå backupper, är det nån som vet nått om Microsofts nya filsystem ReFS det ska ju vara rätt likt zfs och ha integritetskontroll.
__________________
Phenom 2 960T (körs x6) med passivt Ninja på Asus Crosshair 4 Asus 4850 och en väldig massa masslagring.Passiv kyld Northq nätdel 450W Antec P 180 med Schyte o Sharkoon fläktar via en t-balancer, väldigt tyst, oftast passivt. Datorljud 2kanal: ljudkort/dsp Behringer DCX2496, högtalare Truth B3031A, Truth B2092A Har också Oscilloskop och mätmikrofon.
mrqaffe är inte uppkopplad
2012-06-04, 12:24   #17

saddam

Avstängd

Plats: Sthlm

Registrerad: nov 2008

Citat:
Ursprungligen inskrivet av Zotamedu Visa inlägg
och sen får du ett fel i filsystemet som får hela din fina ZFS att haverera...
Absolut kan det hända att ZFS knasar, men det är ytterligt sällsynt. Det finns inget filsystem som är 100% säkert eller okraschbart, men ZFS torde vara den säkraste lagringslösningen idag. Det kanske är därför som fysikcentret CERN går över till ZFS för att lagra sina enorma mängder partikeldata på många PetaByte.


Citat:
Man kan ha hur avancerade RAID-lösningar som helst men vettig datasäkerhet får man inte utan offsite backup.
Visst måste man ha en offsite backup, men jag pratar just om att offsite backupen ska köra ZFS. Jag menar att min offsite backup kommer att vara en ZFS raid dator. Det verkar enklare att ZFS håller reda på alla checksummor och reparationer om någon fil korruptas, än att jag gör det själv med tre st diskar och gör MD5 checksummor på varje fil.

Så jag menar följande; enklaste sättet att ha en säker långtidslagring är kanske så här:
Man har sin vanliga PC som man jobbar med, och när man ska långtidslagra data, så skickar man över datat via Internet till en ZFS raid dator. ZFS lägger ju automatiskt på checksummor när man skickar data, så man slipper göra MD5 checksummor när man skickat en fil. Och det enda som skickas över internet, är endast de senaste ändringarna. Detta sker helt automatiskt. Man skriver ett kommando, sen kan man luta sig tillbaka och allt görs helt automatiskt.

Visst kan data ruttna på diskarna med tiden, men varje månad får man köra kommandot "scrub" så kommer ZFS gå igenom alla data och kontrollera alla checksummor och reparera korrupta bitar, och efter några timmar får du en rapport.

Så min offsite backup är alltså en hel dator som kör ZFS. Vad tror ni om denna lagringslösning? Har ni kommentarer? Kan man göra något bättre?
saddam är inte uppkopplad
2012-06-04, 12:33   #18

saddam

Avstängd

Plats: Sthlm

Registrerad: nov 2008

Citat:
Ursprungligen inskrivet av mrqaffe Visa inlägg
Appropå backupper, är det nån som vet nått om Microsofts nya filsystem ReFS det ska ju vara rätt likt zfs och ha integritetskontroll.
ReFS har checksummor på metadata (dvs journalloggar och sånt) men själva datat checksummas inte. Precis som fsck idag. fsck kontrollerar ju bara metadata, men själva datat kan vara korrupt även om metadata är felfritt.

Man kan även aktivera checksummor på själva datat, i ReFS, men det måste man göra manuellt. Jag vet inte varför det ej är påslaget by default. Min gissning är att det är svårt att göra säkra lagiringslösningar. CERN påstår att det räcker inte att lägga på checksummor för att få en säker lagringslösning, så därför är inte checksummor påslaget i ReFS. För om ReFS checksummorna vore påslagna, så kommer folk påstå att ReFS är lika säkert som ZFS - vilket det antagligen inte är. Folk kommer att tappa data, och nu kommer MS kunna säga "ja visst tappar folk data, men det är för att vi inte slagit på checksummor än". Skulle folk tappa data trots att checksummor var påslagna så kommer ReFS få dåligt rykte "MS påstår det är helt säkert, men ändå tappar folk data. Undvik ReFS".

Men ReFS är ett steg i rätt riktning. Jag tror absolut det är säkrare än NTFS. Lite checksummor är bättre än inga checksummor. Taffligt gjorda checksummor är bättre än inga checksummor.



Men jag tror fortfarande att den bästa långtidslagringen är att ha en raid dator som offsite backup. Har man band, så kommer datat ruttna på bandet med tiden. Och då måste man själv hålla på att göra checksummor och kopiera tillbaka en korrekt fil som är intakt, etc. Mycket jobbigt att göra allt detta, på band eller på disk. Bättre med ett system som gör allt detta automatiskt.

Senast redigerad av saddam 2012-06-05 klockan 11:20.
saddam är inte uppkopplad
2012-06-04, 12:57   #19

Zotamedu

Entusiast

Zotamedus avatar

Plats: Göteborg

Registrerad: dec 2005

Citat:
Ursprungligen inskrivet av saddam Visa inlägg
Absolut kan det hända att ZFS knasar, men det är ytterligt sällsynt. Det finns inget filsystem som är 100% säkert eller okraschbart, men ZFS torde vara den säkraste lagringslösningen idag. Det kanske är därför som fysikcentret CERN går över till ZFS för att lagra sina enorma mängder partikeldata på många PetaByte.



Visst måste man ha en offsite backup, men jag pratar just om att offsite backupen ska köra ZFS. Jag menar att min offsite backup kommer att vara en ZFS raid dator. Det verkar enklare att ZFS håller reda på alla checksummor och reparationer om någon fil korruptas, än att jag gör det själv med tre st diskar och gör MD5 checksummor på varje fil.

Så jag menar följande; enklaste sättet att ha en säker långtidslagring är kanske så här:
Man har sin vanliga PC som man jobbar med, och när man ska långtidslagra data, så skickar man över datat via Internet till en ZFS raid dator. ZFS lägger ju automatiskt på checksummor när man skickar data, så man slipper göra MD5 checksummor när man skickat en fil. Och det enda som skickas över internet, är endast de senaste ändringarna. Detta sker helt automatiskt. Man skriver ett kommando, sen kan man luta sig tillbaka och allt görs helt automatiskt.

Visst kan data ruttna på diskarna med tiden, men varje månad får man köra kommandot "scrub" så kommer ZFS gå igenom alla data och kontrollera alla checksummor och reparera korrupta bitar, och efter några timmar får du en rapport.

Så min offsite backup är alltså en hel dator som kör ZFS. Vad tror ni om denna lagringslösning? Har ni kommentarer? Kan man göra något bättre?
Bra då är vi på samma sida. Det lät som om du tänkte köra ZFS på dina lagringsdiskar hemma och vara nöjd där.

Det viktigaste är ju att man har data på två ställen med minst ett par hundra meters avstånd. Sen tycker jag personligen om att inte ha alla mina backuper inkopplade konstant men det är nog mer ett problem om man sitter med massa USB-diskar. Vore ju tråkigt om blixten kommer och tar alla diskar på en gång eller om ett virus tuggar i sig alla backuper bara för man var klantig och lät dem vara igång.

Just virus lär ju inte vara något direkt problem för ZFS om du nu inte hittat ett hack som får det att fungera på Windows. I så fall är jag sjukt intresserad av det.
__________________
Q9450, HD4850, 8 GB DDR2 800 MHz, 3x750 GB, Antec 300, Dell 2408WFP, U2410, Qnap TS-419p+ 4x2 TB Samsung F4, Asus UL30A-QX056V, Logitech Z-680, Sennheiser HD380pro, M-Audio FastTrack Pro, Ibanez sa160qm, Ibanez TB 15R, Zoom 505II, Ibanez GSR 200, Ibanez SW 35, Cort AC-15, Squier SD-3 BBL, Yamaha PSR 270, Røde NT1-A, Nikon D200, Nikkor 18-70/3,5-4,5, 70-300VR, 50/1,8, 28/2,8, Tamron 17-50/2,8, 90/2,8, Sigma 30/1,4, SB-800, SB-25, SB-24
Zotamedu är inte uppkopplad Folding
2012-06-04, 16:54   #20

saddam

Avstängd

Plats: Sthlm

Registrerad: nov 2008

Jag har också tänkt på att blixten kan ta backupperna. Därför är min ZFS dator inte påslagen. Den slås endast på någon gång i veckan då jag synkar backup. Jag slår på den när det inte regnar/blixtrar. Ett strömskydd skyddar inte mot en direktträff av blixten, inget skyddar mot det. Bäst att datorn inte är inkopplad.

Min ZFS dator är faktiskt hemma, inte nån annanstans. Men den är aldrig på. Jag jobbar mot en 4TB disk och fixar, sen när jag behöver synka så gör jag det mot raidet.
saddam är inte uppkopplad
2012-06-04, 23:34   #21

ronnylov

Medlem

ronnylovs avatar

Plats: Borås

Registrerad: okt 2002

Citat:
Ursprungligen inskrivet av Zotamedu Visa inlägg
Bra då är vi på samma sida. Det lät som om du tänkte köra ZFS på dina lagringsdiskar hemma och vara nöjd där.

Det viktigaste är ju att man har data på två ställen med minst ett par hundra meters avstånd. Sen tycker jag personligen om att inte ha alla mina backuper inkopplade konstant men det är nog mer ett problem om man sitter med massa USB-diskar. Vore ju tråkigt om blixten kommer och tar alla diskar på en gång eller om ett virus tuggar i sig alla backuper bara för man var klantig och lät dem vara igång.

Just virus lär ju inte vara något direkt problem för ZFS om du nu inte hittat ett hack som får det att fungera på Windows. I så fall är jag sjukt intresserad av det.
Fast ibland har man kanske en Windows-dator som ansluter till filservern via nätverket och då kan man väl få in virus den vägen till ZFS-lagringen? Det är ungefär som en extern hårddisk, virusen infekterar inte firmware i hårddisken men trots det kan virus hamna på lagringsmediat... Å andra sidan har man (förhoppningsvis) någon virusfri snapshot av filsystemet man kan backa tillbaka till när man kör ZFS.
__________________
Min hemsida: ronnylov.se
ronnylov är inte uppkopplad
2012-06-05, 11:18   #22

saddam

Avstängd

Plats: Sthlm

Registrerad: nov 2008

Jo, självklart kan dina Windowsdata virussmittas. Men viruset kommer inte att påverka Solaris / FreeBSD / Mac OS X / Linux / valfritt OS som kör ZFS - om det nu är till någon hjälp.

Men om man har snapshots på sina windowsdata, så kan man alltid backa i tiden. Antag att man fått virus nyligen, då kan man backa till en tid då det inte var virus. Jag vet att du vet detta, men det är en funktion värd att nämna för de som inte känner till det.
saddam är inte uppkopplad
2012-06-05, 11:39   #23

ronnylov

Medlem

ronnylovs avatar

Plats: Borås

Registrerad: okt 2002

Fast jag brukar glömma bort att göra snapshots. Skulle väl egentligen ha något automatiskt script som sköter detta, men det är så mycket man borde göra...
__________________
Min hemsida: ronnylov.se
ronnylov är inte uppkopplad
2012-06-06, 02:52   #24

saddam

Avstängd

Plats: Sthlm

Registrerad: nov 2008

I OpenSolaris finns TimeMachine eller TimeSlider eller vad det nu heter. Det tar automatiskt snapshots åt dig. Du får själv konfa när och sånt. Men jag har för mig att du kör FreeBSD, så det hjälper inte dig.
saddam är inte uppkopplad
Senaste nyheterna

Redaktionens senaste nyhetsrubriker