Backup på en stor mängd filer/storlek ?

Trädvy Permalänk
Medlem
Plats
Sverige, Norrköping
Registrerad
Aug 2004

Backup på en stor mängd filer/storlek ?

Ska göra backup på foton,videor samt iso filer och det är en rätt stor mängd data vi pratar om så tänkte höra om det finns något program som rekommenderas som kan förminska backupen till en mindre storlek?

Men det måste vara säkert så att det inte blir korrupt eller liknande givetvis.

Rekommendationer?

CPU ∙ i7 9700K @4600MHz • RAM ∙ 16GB G.Skill • MB ∙ Gigabyte Z390 Aorus Pro •
GPU ∙ GTX 1080ti 11GB •
HDD ∙ 250GB SSD system / 10TB storage •
PSU ∙ Seasonic Focus+ Gold 750W •
CH ∙ Fractal Design Define R6• MONITOR ∙ Acer Predator X34P 34" UW (3440x1440)

Trädvy Permalänk
Medlem
Plats
Lund
Registrerad
Jan 2008

Winrar, men osäker på hur mycket det kompirmerar dina filer!

Välkommen till Sweclockers, där den ena vet mer än den andra!

Trädvy Permalänk
Medlem
Plats
Linköping
Registrerad
Jun 2007

Foton och videor är oftast redan hårt komprimerade med algoritmer speciellt anpassade för innehållet, att komprimera dem igen med generiska komprimeringsalgoritmer som t.ex. Winrar eller liknande kan lika gärna öka storleken på dem.

Om du absolut måste få ner storleken så kan man komprimera om dem, t.ex. genom att komprimera om x264-videor till x265. Men man kommer då oundvikligen tappa lite kvalitet, och man måste ha lite koll på vad man sysslar med. Det är också en väldigt tidskrävande process.

Däremot kan man ibland komprimera ISO-filer rätt mycket, det beror väldigt mycket på vad de innehåller. En ISO-fil är ju i mångt och mycket bara en samling filer som klumpats ihop till en fil.

Trädvy Permalänk
Medlem
Plats
Gislaved
Registrerad
Jan 2003

Hur ska du lagra din backup ?

Tänker lite också som att trycker man ihop allt i en fil och den filen blir korrupt, så vill man ju inte riskera problem med att plocka ut innehållet i den, så man förlorar många filer istället för en enskild.

Det finns ju alltid en viss risk för att filer som lagras blir korrupta av olika skäl, på lagringsmediat.

Själv har jag väldigt sällan stött på problem, förutom med filer från USB-minnen och att flashminnet i en telefon blev dåligt så vissa filer blev korrupta med tiden.
Men för att säkra upp lite ytterligare så lagrar jag mina filer på en dator som kör ZFS filsystemet på två diskar som speglas, ZFS lagrar checksummor som kan avgöra om man läser samma information som man skrev, med två diskar finns också en chans att återskapa rätt data då det är ganska liten sannolikhet att just två diskar blir korrupta på exakt samma ställe.
Sen har jag givetvis också backup på detta på andra diskar, på olika platser. Det som är mindre viktigt krånglar jag inte lika mycket med..

Det kan låta lite overkill, men efter att jag insett hur många år bakåt det finns t ex foton etc som jag inte vill förlora så kände jag att det var värt att skydda sig extra mot bitröta, chanserna ökar ju längre tid man har sina filer och alla dess flyttar mellan system.

En del av mina bildlänkar hostas på egen maskin, är bildlänkarna trasiga, ha tålamod.

Trädvy Permalänk
Medlem
Plats
Romelanda
Registrerad
Nov 2009

Vad är en stor mängd data för dig?

"When I get sad, I stop being sad and be awsome instead, true story."

Trädvy Permalänk
Medlem
Plats
Västra götaland
Registrerad
Sep 2012

Om du ska köra generisk komprimering skippa WinRar, kör istället 7-Zip eller 7-Zip-Zstd.

Men som tidigare inlägg har sagt, vad är det för typ av data? Är väldigt svårt att ge något bra råd annars.

Kan låta oavsiktligt aggressiv.
Citera eller @philipborg om du vill att jag ska läsa dina svar.

Trädvy Permalänk
Medlem
Plats
Gislaved
Registrerad
Jan 2003
Skrivet av Json_81:

Vad är en stor mängd data för dig?

TS signatur säger 10TB storage i burken, så det kanske är i storleksordningen ett flertal TB iaf.

En del av mina bildlänkar hostas på egen maskin, är bildlänkarna trasiga, ha tålamod.

Trädvy Permalänk
Medlem
Registrerad
Feb 2017

ZFS med gzip komprimering påslagen

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Dec 2008
Skrivet av Unbalanced:

Ska göra backup på foton,videor samt iso filer och det är en rätt stor mängd data vi pratar om så tänkte höra om det finns något program som rekommenderas som kan förminska backupen till en mindre storlek?

Men det måste vara säkert så att det inte blir korrupt eller liknande givetvis.

Rekommendationer?

Min rekommendation är att bara komprimera om du hade tänkt lagra undan backupen i "cold storage", till exempel genom att bränna till BluRay. Komprimering gör informationen känsligare för bitfel så om du ska lagra på kontinuerligt körande media som en HDD är det en bättre idé att inte komprimera eller möjligen att ha dubbel backup.

Mjölnir: AMD Ryzen 5 2400G | Gigabyte GA-AB350N | Crucial Ballistix Sport 8GB | Sapphire RX 580 8GB NITRO+ | IKEA Knagglig
Server: Intel i7-2600 | ASRock Z68 Fatal1ty (defekt men bootar) | Corsair XMS 32GB | Sapphire HD 5850 1GB | NZXT Switch 810

Trädvy Permalänk
Medlem
Registrerad
Aug 2015
Skrivet av philipborg:

Om du ska köra generisk komprimering skippa WinRar, kör istället 7-Zip eller 7-Zip-Zstd.

Men som tidigare inlägg har sagt, vad är det för typ av data? Är väldigt svårt att ge något bra råd annars.

Att tänka på är att många bild och videoformat är konstruerade så att de fortfarande går att visa även om de har en viss grad av korruption. Komprimerar man dem och får samma korruption i den komprimerade filen så är det inte säkert att det går att se något i bilden/videon efter där korruptionen var. Har man sen ett zip/rar/whatever arkiv med flera filer kan även filerna efter bli oläsbara.

Vill man ha koll på om filerna är korrekta eller ej så kan man generera kontrollsummor med tex md5sum. Det är bra att göra även om man sparar på tex ZFS eftersom kontrollsummefilen kan följa med om/när man kopierar till annat media.

Trädvy Permalänk
Medlem
Registrerad
Aug 2012

https://www.duplicati.com
Hur bra som helst.

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Registrerad
Apr 2006

@Unbalanced: Handlar det om återkommande backuper eller enstaka? Och hur ska backupen lagras?

Trädvy Permalänk
Medlem
Registrerad
Nov 2013
Skrivet av dabman:

Började nyss använda detta program, mycket smidigt och bra, dessutom open source

Fractal Design Define R4 -|- Asus Maximus VI Formula -|- Intel Core i7-4770K -|- Cooler Master V8 GTS -|- Corsair 16GB (2x8GB) Vengeance PRO -|- ASUS GeForce GTX 780 3GB DC2 -|- Fractal Design Newton R3, 800W 80+ Platinum -|- Samsung 840 EVO 120GB (OS) -|- Samsung 840 EVO 250GB (Spel/Program) -|- ca 6TB Mekaniska diskar För allt annat.

Trädvy Permalänk
Medlem
Registrerad
Mar 2002

Du skriver inte vad du önskar lagra din backup på för media eller om du föredrar OpenSource lösning eller professionella mjukvaror, men spontant så skulle jag rekommendera samma lösning som jag själv använder på mina datorer här hemma.

Närmare bestämt gratisversionen av Veeam for Windows
Applikationens hemsida
Nedladdningssida
De funktioner som stöds
Användarguide + funktioner

Applikationen stödjer en mängd olika sätt att ta backup av hela datorn eller utvalda mappar/filer samt erbjuder ett flertal nivåer av komprimering&deduplicering av backupdata och dessutom så stöds en mängd olika sätt att lagra backuperna.

Dessutom så är backupen "incremental forever" vilket innebär att efter en första backup så tar endast kommande backuper de förändringar som gjorts, vilket ger möjlighet till en mängd "ögonblicksbilder" utan att mängden backupdata blir extrem.

Sparar du 7 versioner och genomför en 8:e backup, så kommer fullbackupen kombineras med den äldsta inkrementella och därmed bli en "syntetisk full". Det finns stöd för att att skapa regelbundna "active full" vilket innebär att nya (icke syntetiska) fullbackuper tas, vilket ger gör att eventuell korruption i backuperna självläker med tiden.

Backupen körs i bakgrunden, och såvida du inte ställer data reduktionen till extrem och har en väldigt klen dator, så bör du inte ens märka att den pågår.

Vill du återläsa enskilda mappar eller filer så gör du det enkelt från samma gränssnitt som du konfiguerar och övervakar backuperna ifrån, och om du väljer att backupa hela datorn så rekommenderar jag att du också skapar en räddnings iso, vilket gör total systemåterställning en barnlek. (Du bootar då upp på ISOn, pekar ut den plats där backupdatan finns och väljer en tidpunkt du vill återläsa maskinen till och lutar dig sedan tillbaka i väntan på att återläsningen skall gå klart.)

I mitt fall så backupar jag alla hushållets datorer med Veeam for Windows till ett NAS (till en utdelning med egna inloggningsuppgifter som inte är monterad i Windows på någon dator, därmed är den relativt säker från t.ex. kryptovirus.)
Jag backupar på File level med Extrem data reduktion och kör backuperna varje natt kl 02 och om datorn inte är påslagen då, så startas istället backupen nästa gång datorn startas.

[Corsair Carbide Air 540]--[ASUS X99 Deluxe]--[Intel 5820K @ 4300MHz]--[Phanteks PH-TC14PE-RD]--[Corsair 32GB @ 2666Mhz DDR4]--[Zotac GeForce GTX 1080 AMP! Extreme]--[Samsung 850 PRO 512GB, 850 PRO 1TB, 950 Pro 512GB]--[Corsair AX1200]--[Windows 10 Pro x64]--[Asus ROG Swift PG279Q + Dell U2515H]--[QPAD MK-85 (Brown)]--[QPAD 8K Laser]--[Sennheiser G4ME ONE Black]

Trädvy Permalänk
Medlem
Plats
Romelanda
Registrerad
Nov 2009
Skrivet av Karaff:

TS signatur säger 10TB storage i burken, så det kanske är i storleksordningen ett flertal TB iaf.

Jag har 11TB ”Storage”, det jag behöver ha backup på är 2-300GB så det säger inte särskilt mycket.

För bra tips vore det bra om han la till hur mycket data det gäller och om det ska vara något hemma, i molnet eller någon annan offsite lösning.

"When I get sad, I stop being sad and be awsome instead, true story."

Trädvy Permalänk
Medlem
Registrerad
Aug 2016

För arkivering i en (ibland uppdelad) stor fil

Lagra i okomprimerad TAR-format (sk TAR-ball) och filerna i denna är valfritt okomprimerade eller komprimerade. Vill man ha integritetskontroll så komprimerar man filerna med tex gzip eller bzip2 innan de packas i TAR-filen då komprimeringsprogrammen har CRC mm. kontroll på filerna.

TAR arkivformat är en av de få arkivformaten som inte går helt trasig och hela arkivet blir oläsbar vid minsta fel som tex. plågar (PK)ZIP och RAR, som har en direktory-struktur i början och sedan bara pekar på data packad i kant i kant i filkroppen utan möjlighet att skilja ut datadelarna i efterhand. Skadas början eller slutet av de flesta typers arkivfiler så är arkivet totalkörd!!

TAR har distrubierad direktory vilket ungefär kan sammanfattas med magick number ("USTAR" i det här fallet), fil-path med rättigheter, filnamn och sedan filkroppen, därefter börja det med "USTAR" igen, filpath och filnamn sedan filkropp i en lång remsa efter varandra. Det innebär om bitar av TAR-bollen saknas så kan resterande hela filer ändå återskapas genom att man synkar emot att hitta "USTAR" och därefter vet man hur många byte före man behöver klippa med tex 'dd' för att sedan få en fil som är läsbar med TAR igen för att packas upp.

---

Arkivering i Repositorie:

https://www.borgbackup.org/

(somliga utnämner denna till arkiveringens heliga graal om man kan med att jobba i CLI-miljö)

Borg-backup om man kan göra jobbet i Unix-miljö (går med en viss tuggmotstånd att göra även i windows10-miljö och nyttja deras subsystem med linux-stöd alternativt via cygwin (tror dock inte att det uppdateras längre där iom. att det går att kompilera upp tillfredsställande under windows linux-subsystem idag) )

Det är en deduplicerande och komprimerande archiver med inbyggd kryptering (för tex. lagring i molnlagringsstjänst) och också designad för att klara en del felsituationer inom repositoriet och har olika skadebegränsande och reparationsstrategier vid inträffade fel.

Programmet delar upp filer i småbitar - kalkyleras en hash-summa och sedan lagras biten som en strimla i en chunk och hur den delas upp bokförs i en med datat distrubierad databas (det är detta som gör den reparerbar). Alla filer efter detta som har likadana bitar som redan finns i repositoriet så bokförs det bara i databasen utan att det lagras igen medans unika nya bitar så fyller det på repositoriet allt eftersom.

Alla filer som lagras där så lagras innehållet i bara en enda gång - oavsett hur många backup-sessioner man än gör, oavsett hur många lika filer inom filträdet eller att filer har flyttats runt mellan filträden eller bytt namn mellan sessionerna. Även partiellt lika filer som diskimages dedupliceras så långt det går både inom filen och mellan resten av alla tidigare lagrade filbitar i filrepositoriet för att det skall lagras så få unika filbitar som möjligt.

Detta gör att man kan ha obegränsat antal sessioner i arkivet, och kan raderas oberoende av varandra och utan någon beroende av backupordning och det är bara sessionens unika data som försvinner vid en sessions-radering medan mellan sessioner likadan data hålls kvar till sista referensen försvinner (och då frigör diskutrymme)

de flesta arkiv-formaten är väldigt dåliga på att kunna filtera/radera bort oönskade filer i efterhand och över flera sessioner - men i borg-backup finns möjligheten ändock utan att behöva packa upp alla sessioner igen och manuellt rensa även om det är kostsamt och tar tid.

---

har man en massa DVD/BR-skivor redan liggande så är det bra att göra ISO-image av dessa samt köra dvdistaster för att göra ecc-filer på varje ISO-image - med sådan ecc-fil tidigare gjort och lagrad på annan media så kan man reparera även partiellt skadade och oläsbara delar på optoskivorna, default upp till ca 14% av skivans innehåll oavsett ställe - då främst DVD+R och BR-R(E) då läsarna kan läsa ut läsbara sektorer även om tex. centerdelen av skivan är oläsbar och dess TOC är borta för alltid - med ecc-filen så kan den skadade ISO-imagen som läst ut den skadade optoskivan lappas upp till helt felfrihet.

åldring av optoskivor är nästan alltid utgående från centrum och/eller utifrån yttre kanterna och dessvärre har optoskivorna heller ingen backup på någon av sina TOC eller directory-träd (bluray har numera en kopia i slutet av sessionen om man kan få till just detta vid bränningen) och dessa ligger förstås precis i början från centrum och bland det första som ryker vid en åldring eller annan skada på optiska skivan även om resten av skivan är helt läsbar...

---

en annan lösning som arbetar liknande som borgbackup med deduplicering är Duplikati med många interface mot olika monlagringstjänster och är multiplattform - dock mer tänkt som backupprogram och inte som arkiv-program även om det är med viss omsorg kan användas som arkiv ändå.

dock tycker jag denna ännu är lite för ostabil för att ha det som enda backuparkiv.