Backup på en stor mängd filer/storlek ?

Permalänk

Backup på en stor mängd filer/storlek ?

Ska göra backup på foton,videor samt iso filer och det är en rätt stor mängd data vi pratar om så tänkte höra om det finns något program som rekommenderas som kan förminska backupen till en mindre storlek?

Men det måste vara säkert så att det inte blir korrupt eller liknande givetvis.

Rekommendationer?

Visa signatur

CPU ∙ 7800x3D •
RAM ∙ 32GB G.Skill •
MB ∙ MSI MAG B650 Tomahawk •
GPU ∙ 4070ti Super •
PSU ∙ Seasonic Focus+ Gold 750W •

Permalänk
Medlem

Winrar, men osäker på hur mycket det kompirmerar dina filer!

Visa signatur

Välkommen till Sweclockers, där den ena vet mer än den andra!

Permalänk
Medlem

Foton och videor är oftast redan hårt komprimerade med algoritmer speciellt anpassade för innehållet, att komprimera dem igen med generiska komprimeringsalgoritmer som t.ex. Winrar eller liknande kan lika gärna öka storleken på dem.

Om du absolut måste få ner storleken så kan man komprimera om dem, t.ex. genom att komprimera om x264-videor till x265. Men man kommer då oundvikligen tappa lite kvalitet, och man måste ha lite koll på vad man sysslar med. Det är också en väldigt tidskrävande process.

Däremot kan man ibland komprimera ISO-filer rätt mycket, det beror väldigt mycket på vad de innehåller. En ISO-fil är ju i mångt och mycket bara en samling filer som klumpats ihop till en fil.

Permalänk
Medlem

Hur ska du lagra din backup ?

Tänker lite också som att trycker man ihop allt i en fil och den filen blir korrupt, så vill man ju inte riskera problem med att plocka ut innehållet i den, så man förlorar många filer istället för en enskild.

Det finns ju alltid en viss risk för att filer som lagras blir korrupta av olika skäl, på lagringsmediat.

Själv har jag väldigt sällan stött på problem, förutom med filer från USB-minnen och att flashminnet i en telefon blev dåligt så vissa filer blev korrupta med tiden.
Men för att säkra upp lite ytterligare så lagrar jag mina filer på en dator som kör ZFS filsystemet på två diskar som speglas, ZFS lagrar checksummor som kan avgöra om man läser samma information som man skrev, med två diskar finns också en chans att återskapa rätt data då det är ganska liten sannolikhet att just två diskar blir korrupta på exakt samma ställe.
Sen har jag givetvis också backup på detta på andra diskar, på olika platser. Det som är mindre viktigt krånglar jag inte lika mycket med..

Det kan låta lite overkill, men efter att jag insett hur många år bakåt det finns t ex foton etc som jag inte vill förlora så kände jag att det var värt att skydda sig extra mot bitröta, chanserna ökar ju längre tid man har sina filer och alla dess flyttar mellan system.

Visa signatur

En del av mina bildlänkar hostas på egen maskin, är bildlänkarna trasiga, ha tålamod.

Permalänk
Medlem

Vad är en stor mängd data för dig?

Visa signatur

"When I get sad, I stop being sad and be awsome instead, true story."

Permalänk
Medlem

Om du ska köra generisk komprimering skippa WinRar, kör istället 7-Zip eller 7-Zip-Zstd.

Men som tidigare inlägg har sagt, vad är det för typ av data? Är väldigt svårt att ge något bra råd annars.

Visa signatur

Citera eller @philipborg om du vill att jag ska läsa dina svar.

Permalänk
Medlem
Skrivet av Json_81:

Vad är en stor mängd data för dig?

TS signatur säger 10TB storage i burken, så det kanske är i storleksordningen ett flertal TB iaf.

Visa signatur

En del av mina bildlänkar hostas på egen maskin, är bildlänkarna trasiga, ha tålamod.

Permalänk
Medlem

ZFS med gzip komprimering påslagen

Skickades från m.sweclockers.com

Permalänk
Medlem
Skrivet av Unbalanced:

Ska göra backup på foton,videor samt iso filer och det är en rätt stor mängd data vi pratar om så tänkte höra om det finns något program som rekommenderas som kan förminska backupen till en mindre storlek?

Men det måste vara säkert så att det inte blir korrupt eller liknande givetvis.

Rekommendationer?

Min rekommendation är att bara komprimera om du hade tänkt lagra undan backupen i "cold storage", till exempel genom att bränna till BluRay. Komprimering gör informationen känsligare för bitfel så om du ska lagra på kontinuerligt körande media som en HDD är det en bättre idé att inte komprimera eller möjligen att ha dubbel backup.

Visa signatur

Mjölnir: Ryzen 9 3900X | X570-I | Ballistix Sport 32GB | Powercolor RX 5500XT 4GB ITX | Kolink Sattelite
Server: Ryzen 5 1400 | X470-F | Ballistix Sport 24GB | ASUS HD 7790 2GB | Sapphire RX 470 8GB ME | NZXT Switch 810

Permalänk
Medlem
Skrivet av philipborg:

Om du ska köra generisk komprimering skippa WinRar, kör istället 7-Zip eller 7-Zip-Zstd.

Men som tidigare inlägg har sagt, vad är det för typ av data? Är väldigt svårt att ge något bra råd annars.

Att tänka på är att många bild och videoformat är konstruerade så att de fortfarande går att visa även om de har en viss grad av korruption. Komprimerar man dem och får samma korruption i den komprimerade filen så är det inte säkert att det går att se något i bilden/videon efter där korruptionen var. Har man sen ett zip/rar/whatever arkiv med flera filer kan även filerna efter bli oläsbara.

Vill man ha koll på om filerna är korrekta eller ej så kan man generera kontrollsummor med tex md5sum. Det är bra att göra även om man sparar på tex ZFS eftersom kontrollsummefilen kan följa med om/när man kopierar till annat media.

Permalänk
Medlem

https://www.duplicati.com
Hur bra som helst.

Skickades från m.sweclockers.com

Permalänk
Medlem

@Unbalanced: Handlar det om återkommande backuper eller enstaka? Och hur ska backupen lagras?

Permalänk
Expertgissare
Skrivet av dabman:

Började nyss använda detta program, mycket smidigt och bra, dessutom open source

Visa signatur

FD Meshify C -|- X570 AORUS ELITE -|- Ryzen 7 3700X -|- FD Celsius S24 -|- Crucial Ballistix Sport 32GB -|- Radeon R9 380X -|- WD Black SN750 1TB

Permalänk
Medlem

Du skriver inte vad du önskar lagra din backup på för media eller om du föredrar OpenSource lösning eller professionella mjukvaror, men spontant så skulle jag rekommendera samma lösning som jag själv använder på mina datorer här hemma.

Närmare bestämt gratisversionen av Veeam for Windows
Applikationens hemsida
Nedladdningssida
De funktioner som stöds
Användarguide + funktioner

Applikationen stödjer en mängd olika sätt att ta backup av hela datorn eller utvalda mappar/filer samt erbjuder ett flertal nivåer av komprimering&deduplicering av backupdata och dessutom så stöds en mängd olika sätt att lagra backuperna.

Dessutom så är backupen "incremental forever" vilket innebär att efter en första backup så tar endast kommande backuper de förändringar som gjorts, vilket ger möjlighet till en mängd "ögonblicksbilder" utan att mängden backupdata blir extrem.

Sparar du 7 versioner och genomför en 8:e backup, så kommer fullbackupen kombineras med den äldsta inkrementella och därmed bli en "syntetisk full". Det finns stöd för att att skapa regelbundna "active full" vilket innebär att nya (icke syntetiska) fullbackuper tas, vilket ger gör att eventuell korruption i backuperna självläker med tiden.

Backupen körs i bakgrunden, och såvida du inte ställer data reduktionen till extrem och har en väldigt klen dator, så bör du inte ens märka att den pågår.

Vill du återläsa enskilda mappar eller filer så gör du det enkelt från samma gränssnitt som du konfiguerar och övervakar backuperna ifrån, och om du väljer att backupa hela datorn så rekommenderar jag att du också skapar en räddnings iso, vilket gör total systemåterställning en barnlek. (Du bootar då upp på ISOn, pekar ut den plats där backupdatan finns och väljer en tidpunkt du vill återläsa maskinen till och lutar dig sedan tillbaka i väntan på att återläsningen skall gå klart.)

I mitt fall så backupar jag alla hushållets datorer med Veeam for Windows till ett NAS (till en utdelning med egna inloggningsuppgifter som inte är monterad i Windows på någon dator, därmed är den relativt säker från t.ex. kryptovirus.)
Jag backupar på File level med Extrem data reduktion och kör backuperna varje natt kl 02 och om datorn inte är påslagen då, så startas istället backupen nästa gång datorn startas.

Visa signatur

Desktop 386 16/SX, 16MB RAM, 160MB Quantum HDD, 3,5" HD FDD, Colorful Soundblaster 16 Compatible, DOS 6.22/Windows 3.11, AOC 14" VGA skärm (Skiftar mot gul tills man slår till den rätt), Keytronic tangentbord, 2 knappars mus

Permalänk
Medlem
Skrivet av Karaff:

TS signatur säger 10TB storage i burken, så det kanske är i storleksordningen ett flertal TB iaf.

Jag har 11TB ”Storage”, det jag behöver ha backup på är 2-300GB så det säger inte särskilt mycket.

För bra tips vore det bra om han la till hur mycket data det gäller och om det ska vara något hemma, i molnet eller någon annan offsite lösning.

Visa signatur

"When I get sad, I stop being sad and be awsome instead, true story."

Permalänk
Medlem

För arkivering i en (ibland uppdelad) stor fil

Lagra i okomprimerad TAR-format (sk TAR-ball) och filerna i denna är valfritt okomprimerade eller komprimerade. Vill man ha integritetskontroll så komprimerar man filerna med tex gzip eller bzip2 innan de packas i TAR-filen då komprimeringsprogrammen har CRC mm. kontroll på filerna.

TAR arkivformat är en av de få arkivformaten som inte går helt trasig och hela arkivet blir oläsbar vid minsta fel som tex. plågar (PK)ZIP och RAR, som har en direktory-struktur i början och sedan bara pekar på data packad i kant i kant i filkroppen utan möjlighet att skilja ut datadelarna i efterhand. Skadas början eller slutet av de flesta typers arkivfiler så är arkivet totalkörd!!

TAR har distrubierad direktory vilket ungefär kan sammanfattas med magick number ("USTAR" i det här fallet), fil-path med rättigheter, filnamn och sedan filkroppen, därefter börja det med "USTAR" igen, filpath och filnamn sedan filkropp i en lång remsa efter varandra. Det innebär om bitar av TAR-bollen saknas så kan resterande hela filer ändå återskapas genom att man synkar emot att hitta "USTAR" och därefter vet man hur många byte före man behöver klippa med tex 'dd' för att sedan få en fil som är läsbar med TAR igen för att packas upp.

---

Arkivering i Repositorie:

https://www.borgbackup.org/

(somliga utnämner denna till arkiveringens heliga graal om man kan med att jobba i CLI-miljö)

Borg-backup om man kan göra jobbet i Unix-miljö (går med en viss tuggmotstånd att göra även i windows10-miljö och nyttja deras subsystem med linux-stöd alternativt via cygwin (tror dock inte att det uppdateras längre där iom. att det går att kompilera upp tillfredsställande under windows linux-subsystem idag) )

Det är en deduplicerande och komprimerande archiver med inbyggd kryptering (för tex. lagring i molnlagringsstjänst) och också designad för att klara en del felsituationer inom repositoriet och har olika skadebegränsande och reparationsstrategier vid inträffade fel.

Programmet delar upp filer i småbitar - kalkyleras en hash-summa och sedan lagras biten som en strimla i en chunk och hur den delas upp bokförs i en med datat distrubierad databas (det är detta som gör den reparerbar). Alla filer efter detta som har likadana bitar som redan finns i repositoriet så bokförs det bara i databasen utan att det lagras igen medans unika nya bitar så fyller det på repositoriet allt eftersom.

Alla filer som lagras där så lagras innehållet i bara en enda gång - oavsett hur många backup-sessioner man än gör, oavsett hur många lika filer inom filträdet eller att filer har flyttats runt mellan filträden eller bytt namn mellan sessionerna. Även partiellt lika filer som diskimages dedupliceras så långt det går både inom filen och mellan resten av alla tidigare lagrade filbitar i filrepositoriet för att det skall lagras så få unika filbitar som möjligt.

Detta gör att man kan ha obegränsat antal sessioner i arkivet, och kan raderas oberoende av varandra och utan någon beroende av backupordning och det är bara sessionens unika data som försvinner vid en sessions-radering medan mellan sessioner likadan data hålls kvar till sista referensen försvinner (och då frigör diskutrymme)

de flesta arkiv-formaten är väldigt dåliga på att kunna filtera/radera bort oönskade filer i efterhand och över flera sessioner - men i borg-backup finns möjligheten ändock utan att behöva packa upp alla sessioner igen och manuellt rensa även om det är kostsamt och tar tid.

---

har man en massa DVD/BR-skivor redan liggande så är det bra att göra ISO-image av dessa samt köra dvdistaster för att göra ecc-filer på varje ISO-image - med sådan ecc-fil tidigare gjort och lagrad på annan media så kan man reparera även partiellt skadade och oläsbara delar på optoskivorna, default upp till ca 14% av skivans innehåll oavsett ställe - då främst DVD+R och BR-R(E) då läsarna kan läsa ut läsbara sektorer även om tex. centerdelen av skivan är oläsbar och dess TOC är borta för alltid - med ecc-filen så kan den skadade ISO-imagen som läst ut den skadade optoskivan lappas upp till helt felfrihet.

åldring av optoskivor är nästan alltid utgående från centrum och/eller utifrån yttre kanterna och dessvärre har optoskivorna heller ingen backup på någon av sina TOC eller directory-träd (bluray har numera en kopia i slutet av sessionen om man kan få till just detta vid bränningen) och dessa ligger förstås precis i början från centrum och bland det första som ryker vid en åldring eller annan skada på optiska skivan även om resten av skivan är helt läsbar...

---

en annan lösning som arbetar liknande som borgbackup med deduplicering är Duplikati med många interface mot olika monlagringstjänster och är multiplattform - dock mer tänkt som backupprogram och inte som arkiv-program även om det är med viss omsorg kan användas som arkiv ändå.

dock tycker jag denna ännu är lite för ostabil för att ha det som enda backuparkiv.