Nya erbjudanden i Webhallen Gamers Unite

Fråga ang. mjukvara för backup

Permalänk
Medlem

Fråga ang. mjukvara för backup

Hej!

Jag har nyligen köpt en ny NAS och har kvar min gamla. Tanken är att använda den gamla för backup. Jag undrar dock, måste jag föra över/skriva över alla filer på nytt varje gång jag skickar filer till backup-NASen, eller finns det någon funktion så den endast väljer att skicka över de filer som har ändrats sedan förra backup-körningen? Jag har ca 4TB data så NAS-enheterna skulle ju få stå och jobba på högvarv ganska ofta om jag exempelvis har en schemalagda backup-körningar en gång i månaden och 4TB data ska skickas över varje gång, där en liten liten andel av filerna kommer ha ändrats sedan sist.

Är det någon som kan tipsa om något program?
Kan tillägga att båda NAS-enheterna är av märket Synology. Vet att det finns backup-appar till dem, men jag har ingen aning om det finns någon funktion som jag beskriver ovan.

Tacksam för tips!

Permalänk
Medlem

https://rclone.org/ är nog det du är ute efter.

Permalänk
Hedersmedlem

Har du någon annan backup också? Är alla filerna på flera TB lika viktiga?
Jag skulle starkt rekommendera ett annat backupsystem än att bara kopiera över allting om du har viktiga filer. Filer på båda NAS:arna kan lätt paja av malware/säkerhetshål och liknande; även strömspikar, brand och annat åt det hållet.

Jag skulle köra den ena som filserver och köra en versionerad backup på den, dvs så att du kan gå bakåt till hur filerna såg ut för 3 dagar sen, eller för 3 veckor sedan. Exempelvis med Duplicati eller (klart långsammare) Macrium Reflect "Files & Folders"-funktion.

Detta skyddar ju dock inte heller mot det allt det jag skrev ovan.
Har du saker du absolut inte vill bli av med, vilket väl de flesta har i form av foton och dokument, så är någon slags offsite-backup i princip ett krav också. Denna delen har jag själv löst genom att köra på en dator som står hemma hos föräldrarna. Innan dess körde jag Acronis True Image med cloud-subscription, men det blev sämre och sämre med tiden i mina ögon.

Permalänk
Medlem

Rclone med ett cron job alternativt syncthing skulle troligtvis jag använda. Jag synkar min server till annan media manuellt någon gång i veckan med Rclone. Rclone skickar bara ändrade/nya filer, kan radera på det media du gör backup till om filerna på host är borttagna, finns flera sätt att jämföra filer, storlek/checksum etc, rclone gör allt. Du kan sätta upp remotes med Rclone och kryptera on the fly till ditt medium också, perfekt om du använder backblaze eller annan molnbackup att kryptera allt du skickar upp automatiskt med obfuskerade filnamn om du så vill. Rclone är lätt det bästa mest konfigurerbara verktyget du har.

Permalänk
Moderator
Skrivet av asystoli:

Hej!

Jag har nyligen köpt en ny NAS och har kvar min gamla. Tanken är att använda den gamla för backup. Jag undrar dock, måste jag föra över/skriva över alla filer på nytt varje gång jag skickar filer till backup-NASen, eller finns det någon funktion så den endast väljer att skicka över de filer som har ändrats sedan förra backup-körningen? Jag har ca 4TB data så NAS-enheterna skulle ju få stå och jobba på högvarv ganska ofta om jag exempelvis har en schemalagda backup-körningar en gång i månaden och 4TB data ska skickas över varje gång, där en liten liten andel av filerna kommer ha ändrats sedan sist.

Är det någon som kan tipsa om något program?
Kan tillägga att båda NAS-enheterna är av märket Synology. Vet att det finns backup-appar till dem, men jag har ingen aning om det finns någon funktion som jag beskriver ovan.

Tacksam för tips!

Hyper Backup hjälper dig att göra backup mellan två Synology NAS'ar. Den gör normalt diff-backup, dvs kopierar bara skillnader och den hjälper dig också att sätta upp ett schema för hur länge filer ska sparas osv. Inte så svårt att förstå sig på om du kollar i appen.

Permalänk
Medlem

Tack för många bra svar och alternativ!
Ska förtydliga mitt upplägg lite. Jag har 4 TB data, men det som är prioriterat att verkligen skydda är kanske max 800gig. Resterande är multimedia som förstås går bort om det krisar. Min gamla NAS tänkte jag ställa på annan ord, typ hos svärföräldrarna och försöka få igång någon sorts regelbunden överföring av utvalda mappar/filer på min primära NAS.

Ett annat alternativ jag funderat på är att ta ur hårddiskarna ur min NAS och köpa en dockningsstation där jag pluggar in hårddiskarna när jag gör backups och sedan förvarar dem någon annanstans.

Oavsett metot önskar jag just dock en funktion för att överföra de senast ändrade filerna för framtida backup-sessioner så jag slipper kopiera en stor mängd data varje gång. Känns som det belastar diskarna onödigt mycket.

Permalänk
Medlem

rsync -vrut --delete /från/ /till/

Notera trailing slash på från

-v verbose = se status
-u update = skicka bara ändringar
-r recursive = alla undermappar
-t behåll tidpunkt för filändringar
--delete tar bort filer på backup om du har tagit bort det på din primära lagring

låt oss säga att du har fil x1 x2 x3 x4 x5 på din lagring
på din backup har du x1 xx1 x2 x3

det kommandot tar bort xx1 på din backup, och skickar enbart x4 + x5 från lagring. Din backup blir en spegling av din lagring, kortfattat.

(under förutsättning att du kan få ett shell på nas?) kanske är fel lösning men en enkel sådan om du har den möjligheten.

Permalänk
Hedersmedlem

@sleepyoh -a är väl nästan ett måste med rsync?
-u är att den skippar filer som är nyare hos mottagaren, inte att den skickar bara ändrade filer (det gör rsync alltid).

-a, --archive archive mode; equals -rlptgoD (no -H,-A,-X)

Uttöver rt sparar det även symbolic links (l), permissions (p), grupp samt ägare (go) och devices/specialfiler (-D).

Permalänk
Vila i frid

Köpte du en Synology NAS som var en mindre snikig modell har den Active Backup For Business inbyggt så klarar Multi-Versioned av att göra de-dupe på redan lagrade filer, likväl som Incremental. Multi-versioned är enklast att "förstå".

<edit>Låt inte datorn gör backup till NAS'en. Se till att datorn inte har sparade credentials till NAS'en utan låt NAS'en logga in och ansluta till datorn när den gör backup. Genom denna typ av envägskommunikation blir NAS'en motståndskraftigare mot ransomware.</edit>

Permalänk
Medlem
Skrivet av sleepyoh:

rsync -vrut --delete /från/ /till/

Notera trailing slash på från

-v verbose = se status
-u update = skicka bara ändringar
-r recursive = alla undermappar
-t behåll tidpunkt för filändringar
--delete tar bort filer på backup om du har tagit bort det på din primära lagring

låt oss säga att du har fil x1 x2 x3 x4 x5 på din lagring
på din backup har du x1 xx1 x2 x3

det kommandot tar bort xx1 på din backup, och skickar enbart x4 + x5 från lagring. Din backup blir en spegling av din lagring, kortfattat.

(under förutsättning att du kan få ett shell på nas?) kanske är fel lösning men en enkel sådan om du har den möjligheten.

Skrivet av Thomas:

@sleepyoh -a är väl nästan ett måste med rsync?
-u är att den skippar filer som är nyare hos mottagaren, inte att den skickar bara ändrade filer (det gör rsync alltid).

-a, --archive archive mode; equals -rlptgoD (no -H,-A,-X)

Uttöver rt sparar det även symbolic links (l), permissions (p), grupp samt ägare (go) och devices/specialfiler (-D).

När ni ändå är inne på rsync vill jag passa på att tipsa om https://github.com/laurent22/rsync-time-backup som jag använt ett tag nu, funkar mycket bra!

Permalänk
Medlem

Ok förstår men har någon testar Acronis?
Har hört att den loggar in på tex. synology och du kan lösenordsskydda en folder som programmet bara kommer åt med login.
DVS, ingen risk för tex. ransomware.. eller tänker jag fel?

Permalänk
Hedersmedlem
Skrivet av wasabi:

Ok förstår men har någon testar Acronis?
Har hört att den loggar in på tex. synology och du kan lösenordsskydda en folder som programmet bara kommer åt med login.
DVS, ingen risk för tex. ransomware.. eller tänker jag fel?

Ja, den biten funkar bra åtminstone på lokal disk, men kanske inte alls på NAS. Den har en kernel mode driver som blockerar skrivningar osv till backupfilerna. Om man kommer in på NAS:en på annat sätt än via datorn som kör Acronis kan det alltså inte hjälpa överhuvudtaget.
(Och som sagt är jag osäker på om det funkar överhuvudtaget på nätverksdiskar, se en bit nedan.)

Macrium Reflect har samma funktion, enbart på lokala diskar, och är i mina ögon bättre, framför allt vad gäller just den funktionen (Macrium Image Guardian).
Den i Acronis är alldeles för invasiv och resurskrävande, och orsakar falsklarm konstant om misstänksamma processer. Den totalkrossade även prestandan i Microsoft Flight Sim, kostade runt 40% av min framerate att ha den igång. Macriums gjorde omätbar skillnad i spelprestanda.

Vad jag kan hitta så funkar inte Acronis skydd heller på NAS, om de inte har nån annan produkt som gör det idag.

Permalänk
Vila i frid
Skrivet av wasabi:

har någon testar Acronis?

Jag kör (gamla 2019) Acronis True Image här hemma fast bara som PXE-bootad när jag spar/återställer saker. På jobbet använder jag Acronis Cyber Backup för våra CityCloud-instanser. Återigen är det backup-servern som loggar in på klienterna och inte tvärt om. Fyra månderas retention med veckovisa backuper till molnet (tysland/frankrike/schweiz) och lokala VM-snapshots för veckans alla dagar.

Har en av dina Synology NAS'ar Active Backup For Business, använd den. Helt jäla suveränt program.

Permalänk
Moderator
Skrivet av hasenfrasen:

Jag kör (gamla 2019) Acronis True Image här hemma fast bara som PXE-bootad när jag spar/återställer saker. På jobbet använder jag Acronis Cyber Backup för våra CityCloud-instanser. Återigen är det backup-servern som loggar in på klienterna och inte tvärt om. Fyra månderas retention med veckovisa backuper till molnet (tysland/frankrike/schweiz) och lokala VM-snapshots för veckans alla dagar.

Har en av dina Synology NAS'ar Active Backup For Business, använd den. Helt jäla suveränt program.

Tack för tipset. Jag kan tydligen installera Active Backup For Business på min gamla DS412+.
Kan detta program ta backup till en andra NAS? Det är nämligen det jag i så fall skulle vilja göra.

Permalänk
Medlem
Skrivet av giplet:

Hyper Backup hjälper dig att göra backup mellan två Synology NAS'ar. Den gör normalt diff-backup, dvs kopierar bara skillnader och den hjälper dig också att sätta upp ett schema för hur länge filer ska sparas osv. Inte så svårt att förstå sig på om du kollar i appen.

+1

Hyper Backup är super mellan 2 Synology NAS:ar. Mycket stabilt för mig över en wireguard-tunnel

Permalänk
Vila i frid
Skrivet av giplet:

Tack för tipset. Jag kan tydligen installera Active Backup For Business på min gamla DS412+.
Kan detta program ta backup till en andra NAS? Det är nämligen det jag i så fall skulle vilja göra.

Det kan du göra, använd helst Active Backup For Business då det är mycket vassare än Hyper Backup.

Permalänk
Moderator
Skrivet av hasenfrasen:

Det kan du göra, använd helst Active Backup For Business då det är mycket vassare än Hyper Backup.

Jag kunde inte se att den kunde göra det. Det jag vill göra är alltså att från min Synology NAS trycka iväg backuper till en filyta på en annan NAS för att skapa en andra backup. Men som jag förstår Active Backup For Business så drar den till sig backuperna. Mina andra NAS är tyvärr inte en Synology.

Permalänk
Medlem
Skrivet av immutable:

När ni ändå är inne på rsync vill jag passa på att tipsa om https://github.com/laurent22/rsync-time-backup som jag använt ett tag nu, funkar mycket bra!

Om jag förstår rätt att om man får igång en sshd och rsync fungerande i windows och genererar och placerar openSSH-nycklar rätt plats i windows-klientdatorn så kan denna backup vara server-initierad och klient-delen (som har en ssh-server/demon snurrande) har ingen väg att komma åt serverdatorn som hanterar backupper hur mycket det än försöker. openSSH-nycklarna säkrar att båda datorerna identifierar varandra och kan inte spoofas av en middle-man server mellan burkarna som emulerar endera parten. SSH tål publik Internet, speciellt om man stänger av passwords-inlogging och endast godkänner ssh-nycklar och all data tunnlas i en krypterad kanal precis som en VPN-länk.

Det som är kvar att luska ut är hur man kommer åt shadowcopy-delen av filerna i windows efter en VSS-snapshot då dessa är inte enkelt åtkommliga eller listbara - varför just VSS-snapshot är att det inte är lika många spärrade/låsta filer som kan ge trubbel när rsync skall gå igenom filerna då en VSS-snapshot är en fryst bild av filsystemet och inget kommer att ändras under tiden medans tex. rsync gör backupper av filerna.

Den andra delen som kommer att stöka är rättighets-delen - att rsync har tillräckligt hög behörighet att läsa filer och hur man ordnar detta få någon annan gärna guida om.

...

Eftersom jag _inte_ vill sitta i händerna på färdiga - ofta GUI-program med propertiär kod, luskade jag lite vidare:

Windows VSS (aka shadowcopy) är normalt dold och kan inte kommas åt via fil-explorern

momenten nedan måste man göra i powershell i admin-läge, som vanlig 'luser' kan man inget göra

$s1 = (Get-WmiObject -List Win32_ShadowCopy).Create("C:\\", "ClientAccessible") $s2 = Get-WmiObject Win32_ShadowCopy | Where-Object { $_.ID -eq $s1.ShadowID } $d = $s2.DeviceObject + "\\"

med nedanstående kan man koppla den långa sökvägen i '$d' till en mapp med symbolisk länk

cmd /c mklink /d C:\shadowcopy "$d"

vilket innebär att allt som fans i filsystemet när första raden ovan kördes, nu har en fryst avbild under c:\shadowcopy

med "echo $d" får man ut sökvägen till shadow-copyn av filsystemet och ser typiskt ut som:

\\?\GLOBALROOT\Device\HarddiskVolumeShadowCopy1\\

i vanlig powershell kan man också koppla denna sökväg till en mapp med

cmd /c mklink /d C:\shadowcopy "\\?\GLOBALROOT\Device\HarddiskVolumeShadowCopy1\\"

[gör nu backupprocessen (vet inte hur man skall få denna att köra i admin-rättigheter) ]

För att ta bort den skapade shadow-copyn igen efter backupprocessen (i samma powershell som skapade denna)

$s2.delete()

Gör man inte det och shadowcopy inte är satt med begränsning av diskutrymme så kan det käka upp all ledig utrymme allt efter som diffen på shadowcopy och ordinarie filsystemet blir större, brukar förvisso sitta en automatisk limit på 15-20% av disktstorleken som klipper och tar bort de olika aktiva shadowcopy - men verkar diskutrymmet försvinna så är det att titta på inställningarna av shadowcopy då det är mycket annat i windows som också använder sig av dessa till och ifrån som OS-uppdateringar för att kunna göra rollback vid mer än 3 misslyckade boot/start, restore-points. mm.

sedan måste man ta bort den symboliska länken c:\shadowcopy igen om man tänker använda ovan som ett script, annars gnäller den på upptagen fil...

I powershell verka en så enkel sak att ta bort en fil vara oöverkomligt hinder med icke intuitiva kommandon och gnäller om att filen är upptagen hela tiden även med '-force' och i adminläge och det slutade med att köra med:

cmd /c "rmdir c:\shadowcopy"

dvs. man använder en DOS-kommando...

Detta är jätte-crude med info plockad från stack owerflow och det finns klar förbättringspotential.

Är man inte familjär med powershell sedan tidigare så är den jättehopplös och arbetar i fullständig mothårs för den som är mer van vid Unix/linux-shell och unix-kommandon då inget fungerar och ärligt sagt höjde jag ögonbrynet en smula att 'echo' i alla fall fungerade...

Permalänk
Vila i frid
Skrivet av giplet:

Mina andra NAS är tyvärr inte en Synology.

Du kan låta din andra icke-Synology NAS vara huvud-NAS som din Synology sen loggar in på och backar upp via smb eller rsync. Då har du iaf en backup på en enhet som inga andra datorer på ditt lokala nät har "unattended" åtkomst till - så länge de inte vet dess inloggningsuppgifter.

Permalänk
Moderator
Skrivet av hasenfrasen:

Du kan låta din andra icke-Synology NAS vara huvud-NAS som din Synology sen loggar in på och backar upp via smb eller rsync. Då har du iaf en backup på en enhet som inga andra datorer på ditt lokala nät har "unattended" åtkomst till - så länge de inte vet dess inloggningsuppgifter.

Så kan man iofs göra. Men just nu har jag fungerande rsync-jobb som blåser över datan. Synologyn används som lite annat med några dockers som snurrar osv. Så att skifta runt hade varit ett större jobb.
Någon gång i framtiden kanske...

Permalänk
Medlem

För att skapa ssh-konto i win10 så kan man köra enligt receptet https://docs.microsoft.com/en-us/windows-server/administratio....

'ssh' och 'sshd' finns default i win 10 numera men är inte aktiverad default.

När det gäller 'rsync' så verkar man behöva installera git/gitshell då det idag verkar vara den mest uppdaterade versionen av cygwin-paketet för unix-tools i windows-miljö.

Det går tydligen att skapa en 'user' med admin/system-behörighet och därmed kommer åt det mesta i filväg i OS:t för tex. körning med rsync som backup-motor och trixet för att emulera användare i admin-läge (och har admin-rättigheter) är att användaren har ingen nycklar under sin egna ".ssh" på kontot, så att det forceras att använda nycklarna som är lagda i c:/ProgramData/ssh och den vägen höjer sin rättighetsnivå. - problemet att även om man är system och admin-rättighetsbehörig så finns det fortfarande nivåer och filer som dessa inte kan beröra och det finns inte samma nivå av 'gud-läge' som det är när man är 'root' under unix/linux.

efter att ha gjort en shadowcopy enligt tidigare inlägg och att denna är under mappen C:\shadowcopy med symboliks länk
så provade jag med 'rsync -avHAS -e ssh user@clientcomputer:/c/shadowcopy/ ./path/user/storage/date_shadow-copy/' i en linux-burk med openSSH privata nyckel i användarens .ssh, där

'a' är standardflaggor för arkivering/backup
'H' är för hårda länkar
'A' är för ACL:s som används mycket i windows men även i Unix/Linux
'S' är att det som lagras är som sparse-filer om filer innehåller stora områden inom filen som är fyllda med '0' - typisk diskimage-filer från främst SSD-media vars område som inte har data i filsystemet ofta är nollade av 'TRIM' - det packar ännu lite bättre än att lägga imagen på en komprimerande filsystem, då även metadata för '0' i kompressionsblocken tar plats och krympningen blir inte mindre än 1/32 av datavolymen eller liknande även om datat bara är enbart '0'. På stora diskimagefiler kan det spara flera, ja 10-tal GB med diskplats när man använder 'sparse' på filerna gentemot ej använda sparse även på komprimerande filsystem.

Provade och körde över natten - det går inte sådär jättefort (då krypteringen av överföringen tar sin tull) men fick över det mesta i shadowcopy-mappen förutom knapp dussinen filer som när jag letade rätt på var '0'-filer (bara namn, ingen data) som har och göra med windows själv och dess installationer.

---

Slutsatsen:

Ja det går att göra en server-initierad backup mot win10-klientsidans datorer med hjälp av användande av SSH med openSSH-nycklar på rätt ställe på en win-klient dator. Själva SSH-delen finns i windows från början men måste aktiveras och publika nycklar placeras rätt medans 'rsync' måste installeras med lämplig cygwin-paket som git-shell eller liknande.

Skall man använda att göra backup via shadowcopy och inte bara ta den befintliga filträdet som det är just då med antal låsta filer så blir det att göra powershell-script som körs schemalagt och preparerar en mapp som är ingången för aktuella shadowcopy-filträdet och är färdig när den serverinitierade backuppen körs.

Permalänk
Medlem
Skrivet av peso:

+1

Hyper Backup är super mellan 2 Synology NAS:ar. Mycket stabilt för mig över en wireguard-tunnel

+1 till för Hyper Backup. Hela poängen med att köpa färdiga NAS istället för att bygga själv är väl enkelheten, så varför krångla till det en massa när Synology kommer med ett utmärkt backup program?

Permalänk
Medlem

Hej igen!
Tack för alla era tips. Det blev tillslut HyperBackup för min del, och det verkar funka mycket smidigt.

Det jag dock inte riktigt har förstått är funktionen "Rotering", där jag kan ställa in antalet versioner.

Jag vill endast ha den senaste versionen av alla mina filer, men att HyperBackup ska fylla på med alla nya filer som skapats samt ändrats sedan senaste körningen. Om jag slår på Rotering som innebär det väl egentligen att alla tidigare versioner av sparade filer också sparas. Det har jag ingen användning eller intresse för (behöver endast den senaste). Så, det jag funderar över är om den funktionen måste vara på för att ändrade filer ska följa med varje gång en ny backup-körning körs, eller om dessa kommer med automatiskt ändå?

Jag har ställt in att HyperBackup ska köras en gång i veckan (Söndagar), och då vill jag att alla filer som ändrats och skapats sedan veckan innan ska läggas till.

Tacksam för svar.

Permalänk
Medlem
Skrivet av hasenfrasen:

Det kan du göra, använd helst Active Backup For Business då det är mycket vassare än Hyper Backup.

Nja, Active Backup For Business hade tills helt nyligen inte alls stöd för NAS-NAS backup, utan var endast klient-NAS backup (och återställning).

I dom senaste versionerna går det att göra NAS till NAS backuper, men jag skulle ändå säga att där är Hyper Backup en bättre lösning.

Båda lösningarna är dock, som alltid med Synology, top notch.

Permalänk
Vila i frid
Skrivet av asystoli:

Om jag slår på Rotering som innebär det väl egentligen att alla tidigare versioner av sparade filer också sparas. Det har jag ingen användning eller intresse för (behöver endast den senaste).

Analysera det utrymme som de olika versionerna upptar så märker du att nya versioner enbart spar nya filer och bara länkar till gamla icke-modifierade versioners filer. Så fungerar iaf Synology DSM Active Backup For Business.

Permalänk
Medlem
Skrivet av hasenfrasen:

Analysera det utrymme som de olika versionerna upptar så märker du att nya versioner enbart spar nya filer och bara länkar till gamla icke-modifierade versioners filer. Så fungerar iaf Synology DSM Active Backup For Business.

Allright, så om det väl blir dax för återställning behöver jag inte klicka på varenda version för att kunna återställa allt, bara för att de har delats upp i massvis med olika versioner. Det kommer alltså ändå gå att återställa alla ikryssade mappar genom att välja "senaste" uppbackade versionen? Eller har jag fattat fel?

Eftersom jag tänkt köra en backup en gång i veckan så satte jag först antalet versioner på 52. Men vet ej om jag tänker rätt.

Permalänk
Vila i frid
Skrivet av asystoli:

Det kommer alltså ändå gå att återställa alla ikryssade mappar genom att välja "senaste" uppbackade versionen?

Korrekt. Men som alltid, har du inte testat det vet du inte om det funkar. Utforskar du backuperna ser du att sista versionen innehåller alla filer men som rent fysiskt bara upptar en bråkdel av vad det egentligen borde gjort. En restore till en labb-maskin och du VET om det fungerar eller inte - istället för att tro.

Permalänk
Medlem
Skrivet av hasenfrasen:

Korrekt. Men som alltid, har du inte testat det vet du inte om det funkar. Utforskar du backuperna ser du att sista versionen innehåller alla filer men som rent fysiskt bara upptar en bråkdel av vad det egentligen borde gjort. En restore till en labb-maskin och du VET om det fungerar eller inte - istället för att tro.

Jag får väl testa det helt enkelt! Är ganska mycket data jag har valt att ta backup på (ett par TB), så själva processen att göra en återställning lär ju ta ett tag innan själva resultatet med vilka filer som kommer med och inte går att se.