backup i ubuntuserver

Permalänk
Medlem

backup i ubuntuserver

Hej

Jag har en ubuntu server och i den vill jag jag göra en spegelkopia på en av datadiskarna. Jag vill först göra en full kopia och sen med tiden göra incrementala backuper. Jag vill inte komprimera.
Går det att göra i terminalen och isåfall hur?

/ sunfire

Permalänk

En lösning skulle vara att köra rsync, för då slipper du kopiera allting hela tiden, utan det är bara de filer som har ändrats som behöver skickas. Eftersom att du vill ha flera backuper så skulle jag kopiera backup1 till backup2 och från backup2 köra rsync mot servern en gång till. Nästa gång kopierar du backup2 till backup3 och kör rsync mot servern ännu en gång. Det kan du skriva ett simpelt bash-skript och lägga in som cronjob och köra med jämna mellanrum. Troligtvis vill du även begränsa dig till antalet backuper du har så du roterar på exempelvis 10 stycken.

Googlade lite också och rsnapshot verkar lovande, jag ska nog kika in det jag också så slipper jag mina fullösningar

http://rsnapshot.org/

Permalänk
99:e percentilen

Kan ZFS snapshots vara ett alternativ?

Visa signatur

Skrivet med hjälp av Better SweClockers

Permalänk
Medlem

Amanda eller Bacula när du kör Ubuntu kan kanske vara något att titta på.

@Alling
ZFS snapshots förutsätter att filsystemet är ZFS, vilket jag starkt misstänker inte är fallet på en Ubuntu maskin.

Visa signatur

//Dixon

Permalänk
Medlem
Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

Kör man med hårda länkar med cp -al DIR1 DIR2 när man kopierar backupdirektory så växer det inte så mycket i plats på backupdisken - bara filer som har ändrats så bryter rsync länken i DIR1 (som går emot alla andra tidigare filer som är hårdlänkade till andra kopierade DIR) och det blir en ny fil medans den gamla versionen finns kvar i de äldre backupdirektoryna som DIR2

Ett alternativ att titta på är rsync -avP --delete --link-dest=DIR1 DIR-orginal DIR2

(--delete är viktig om man vill spegla direktoryna, utan denna så raderas inte filerna som ev. finns kvar i DIR2 från en tidigare backup men är borta ur DIR-orginal)

det innebär att från en fil från DIR-orginal/file1 som redan finns på DIR1/file1 från en tidigare backup så läggs det en hårdlänk från DIR1/file1 till DIR2/file1 istället för att göra en ny komplett kopia av filen 'file1' i DIR2 (förutsätter dock att DIR1 och DIR2 är på samma filsystem)

Men skulle det vara någon skillnad på file1 vid backuppen gentemot backuppen tidigare i DIR1 så görs ingen hårdlänk utan file1 blir en ny fil i DIR2 med sitt eget innehåll.

---

rsync har väldigt mycket funktioner och en som jag använder ofta är när jag skall jämföra och tömma snarlika direktorys som tex gamla backupdirektorys, snapshot och hela diskar och vill se vilka filer som har ändrats sig mellan backupper

är rsync vtrP -0 --partial --append-verify --modify-window=2 --links --compare-dest=DIR_compare DIR_source DIR_rest

det innebär att den tittar i DIR_source, jämför med DIR_compare och finns inte filen i DIR_compare eller den är ändrad så läggs en kopia i DIR_rest - annars händer ingenting

Det innebär att alla filer i DIR_Source som _inte_ fins i DIR_compare eller är ändrade, läggs en kopia i DIR_rest.

Ovanstående tittar bara på filtider (modify-time) och "-0" och "--modify-window=2" är till för att hantera konstiga filnamn (i windows) som kan missuppfattas och att tidsupplösning är olika mellan tex. windows-filer och Unix-filer och är det avrundningsfel på nanosekunders-nivå för att de hoppat mellan olika filsystem så anses inte filerna lika fast de är det...

Skall man ha checksummebaserad jämförelse mellan filerna så kan man använda flagga '-c' men då tar det tid - både på servesidan och klientsidan och lastar dessa hårt eftersom filerna måste läsas igenom i sin helt på båda sidorna och utbyta checksummor innan åtgärd görs.

vill man ta bort alla filer i DIR_source efter koll mot DIR_compare (och filer som inte fins i DIR-compare hamnar i DIR_rest) så kan man lägga till "--remove-source_files"

dvs.

rsync vtrP -0 --partial --append-verify --modify-window=2 --links --remove-source-files --compare-dest=DIR_compare DIR_source DIR_rest

och DIR_source töms helt på filer. - rekommenderar dock att man kör utan --remove-source-files först för att se hur mycket det blir i DIR_rest blir innan man låter yxan gå... och även här kan man använda sig av '-c' om man verkligen vill vara säker på att filerna jämförs med checksummor innan delete

Blir det fel så blir det förfärligt många fel i sekunden om det också raderar filer samtidigt...

Skall man jämföra och tömma den ena av 2 nästan identiska diskbackupper på säg 2 TB styck och 8 miljoner filer var så spar ovanstående tid...

---

Att använda hårda länkar för ej ändrade filer i generationsbackuper är inget nytt - så gör tex. apples 'time machine' bakom den snygga grafiska skalet mot användaren.

Permalänk
Medlem
Skrivet av sunfire:

Hej

Jag har en ubuntu server och i den vill jag jag göra en spegelkopia på en av datadiskarna. Jag vill först göra en full kopia och sen med tiden göra incrementala backuper. Jag vill inte komprimera.
Går det att göra i terminalen och isåfall hur?

/ sunfire

Själv använder jag rsnapshot för just sånt, det är ett skal till rsync som sköter just inkrementella backuper mm. Det kan vara lite bökigt att konfigurera beroende på hur komplexa krav man har men när det väl är gjort så sköter det sig själv mha cron. Precis som de föreslagna rsync-lösningarna använder det hårdlänkar så filerna tar ingen onödig plats.

Enda nackdelen med rsnapshot är att det bara klarar "data pull", dvs det kan bara köras på måldatorn (target) och inte på källan (source). Om det är en lokal backup mellan två diskar i samma dator spelar det naturligtvis ingen roll.

Här är en bra beskrivning (strunta i varningarna om att det är en gammal version, inställningarna är samma i nyare versioner): https://www.digitalocean.com/community/tutorials/how-to-insta... och en annan: http://jeffskinnerbox.me/posts/2014/Feb/08/network-backups-vi...

För egen del kör jag rsnapshot både på min hemmaserver och på en RPi som står hos mina föräldrar tillsammans med en extern hårddisk och det fungerar galant.

Visa signatur

Det finns bara två sorters hårddiskar: de som har gått sönder och de som skall gå sönder.

Permalänk
Medlem

Borg Backup

Visa signatur

En server här, några servrar där.

Permalänk
Medlem

Vill du ha ett gui så har Veeam en klientversion för Linux.

Kosta gratis

Visa signatur

.: Learn the system, Play the system, Break the system :.

Permalänk
Medlem
Skrivet av Mr_Lazy:

Vill du ha ett gui så har Veeam en klientversion för Linux.

Kosta gratis

Är inte det bara för VMs? Dvs inte gratis för fysiska burkar?

Visa signatur

.

Permalänk
Medlem
Skrivet av fragwolf:

Är inte det bara för VMs? Dvs inte gratis för fysiska burkar?

Veeam Agent finns för fysiska Windows-installationer, och är gratis. Kan inte uttala mig om Linux, men borde vara samma rent spontant.

Funkar jättefint.

Visa signatur

En server här, några servrar där.

Permalänk
Medlem
Skrivet av moron:

Borg Backup

+1 på den. Jag är supernöjd med det.
Bara att följa guiderna på http://borgbackup.readthedocs.io/en/stable/quickstart.html uppifrån och ned och så tadaaa har man allting fullt fungerande.

Permalänk
Medlem

Jag tackar för alla tips...nu har jag lite att göra

tackar

Permalänk
Medlem
Skrivet av fragwolf:

Är inte det bara för VMs? Dvs inte gratis för fysiska burkar?

Skrivet av moron:

Veeam Agent finns för fysiska Windows-installationer, och är gratis. Kan inte uttala mig om Linux, men borde vara samma rent spontant.

Funkar jättefint.

De har en produkt som heter Endpoint Protection som är lite mer "traditionell" backupmjukvara. Finns till både Linux och Windows som är gratis. Den går även att ansluta Veeam Backup & Replication men då kostar det har jag för mig.

Visa signatur

.: Learn the system, Play the system, Break the system :.

Permalänk
Medlem

Har du provat dejadup, följer med ubuntu och deras default backup. Har stöd för allt du efterfrågar om jag inte har helt fel

Permalänk
Medlem

@moron:
Okej nice! jag tittade på deras backup free tool, då var det gratis men enligt texten så skulle man installera det på en VM. Måste prova deras backup då. Nice om det är gratis och man kan göra det mesta so mräcker för hemmet så behöver jag inte acronis längre. Även om det är nice. Vet du om gratis varianten har en möjlighet att återställa en backup till ny hårdvara/baremetal?

Visa signatur

.

Permalänk
Medlem

@fragwolf: Jag installareade själv Linux-agenten för ett tag sedan, och om jag inte minns fel så kan du återställa vart du vill.

Prova! Det är enkelt att komma igång.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

@fragwolf: Jag använder Veeam Enpoint (Eller Veaam agent heter det nu väl?) och dumpar till en SMB-share - beroende på om du kör file-leve eller disk-level så kan du nog återställa till vad som helst...

Visa signatur

En server här, några servrar där.

Permalänk
Medlem

Veeam kör jag på min Ubuntu och lagrar 10 återställningspunkter på en NAS
Körs varje natt och hela processen tar knappa 2 min

Visa signatur
Permalänk
Medlem

+1 för veeam. Du kan skapa en bootdisk på cd/usb som du bootar med och sen återställer bare metal backupen med. Man kan ju även återställa granulärt ner till minsta lilla fil.

Använder själv veeam på jobb och det är helt underbart snabbt att återställa filer när någon kund lyckats bli av med något.

Permalänk
Medlem
Skrivet av Dizzzad:

Veeam kör jag på min Ubuntu och lagrar 10 återställningspunkter på en NAS
Körs varje natt och hela processen tar knappa 2 min

https://i.imgur.com/G8nK7LD.png
https://i.imgur.com/sBFEmWn.png

Får prova detta - vet du om mount-points exkluderas från backup?

Blir lite kaka-på-kaka annars...

Visa signatur

En server här, några servrar där.

Permalänk
Medlem
Skrivet av moron:

@fragwolf: Jag använder Veeam Enpoint (Eller Veaam agent heter det nu väl?) och dumpar till en SMB-share - beroende på om du kör file-leve eller disk-level så kan du nog återställa till vad som helst...

Skrivet av Dizzzad:

Veeam kör jag på min Ubuntu och lagrar 10 återställningspunkter på en NAS
Körs varje natt och hela processen tar knappa 2 min

https://i.imgur.com/G8nK7LD.png
https://i.imgur.com/sBFEmWn.png

Jo jag laddade hem det å testade igår dock bara VMs. Men det ser rätt nice ut. Ska titta lite mer på linuxvarianten. Fick inte igång det, men det var nog pga min burk inte ville uppdatera repos. Så det blir nog att man byter ut acronis till nästa år.

Visa signatur

.

Permalänk

Jag kör idag rsnapshot för backup av filsystemet på mina virtuella maskiner i ESXi men Veem verkar ju vara lite bättre med full VM-backup men även har filbackup. Om man ska backupa flera maskiner sätter man då upp en Veeam server som man sedan kan styra alla agenter man har kopplade eller är det standalone installationer på varje data som man hanterar en och en och typ dumpar på en share någonstans?