backup i ubuntuserver

Trädvy Permalänk
Medlem
Registrerad
Aug 2005

backup i ubuntuserver

Hej

Jag har en ubuntu server och i den vill jag jag göra en spegelkopia på en av datadiskarna. Jag vill först göra en full kopia och sen med tiden göra incrementala backuper. Jag vill inte komprimera.
Går det att göra i terminalen och isåfall hur?

/ sunfire

Trädvy Permalänk
Medlem
Registrerad
Dec 2007

En lösning skulle vara att köra rsync, för då slipper du kopiera allting hela tiden, utan det är bara de filer som har ändrats som behöver skickas. Eftersom att du vill ha flera backuper så skulle jag kopiera backup1 till backup2 och från backup2 köra rsync mot servern en gång till. Nästa gång kopierar du backup2 till backup3 och kör rsync mot servern ännu en gång. Det kan du skriva ett simpelt bash-skript och lägga in som cronjob och köra med jämna mellanrum. Troligtvis vill du även begränsa dig till antalet backuper du har så du roterar på exempelvis 10 stycken.

Googlade lite också och rsnapshot verkar lovande, jag ska nog kika in det jag också så slipper jag mina fullösningar

http://rsnapshot.org/

Trädvy Permalänk
Entusiast
Testpilot
Plats
Chalmers
Registrerad
Aug 2011

Kan ZFS snapshots vara ett alternativ?

Skrivet med hjälp av Better SweClockers

Trädvy Permalänk
Medlem
Registrerad
Okt 2002

Amanda eller Bacula när du kör Ubuntu kan kanske vara något att titta på.

@Alling
ZFS snapshots förutsätter att filsystemet är ZFS, vilket jag starkt misstänker inte är fallet på en Ubuntu maskin.

//Dixon

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Registrerad
Aug 2016

Kör man med hårda länkar med cp -al DIR1 DIR2 när man kopierar backupdirektory så växer det inte så mycket i plats på backupdisken - bara filer som har ändrats så bryter rsync länken i DIR1 (som går emot alla andra tidigare filer som är hårdlänkade till andra kopierade DIR) och det blir en ny fil medans den gamla versionen finns kvar i de äldre backupdirektoryna som DIR2

Ett alternativ att titta på är rsync -avP --delete --link-dest=DIR1 DIR-orginal DIR2

(--delete är viktig om man vill spegla direktoryna, utan denna så raderas inte filerna som ev. finns kvar i DIR2 från en tidigare backup men är borta ur DIR-orginal)

det innebär att från en fil från DIR-orginal/file1 som redan finns på DIR1/file1 från en tidigare backup så läggs det en hårdlänk från DIR1/file1 till DIR2/file1 istället för att göra en ny komplett kopia av filen 'file1' i DIR2 (förutsätter dock att DIR1 och DIR2 är på samma filsystem)

Men skulle det vara någon skillnad på file1 vid backuppen gentemot backuppen tidigare i DIR1 så görs ingen hårdlänk utan file1 blir en ny fil i DIR2 med sitt eget innehåll.

---

rsync har väldigt mycket funktioner och en som jag använder ofta är när jag skall jämföra och tömma snarlika direktorys som tex gamla backupdirektorys, snapshot och hela diskar och vill se vilka filer som har ändrats sig mellan backupper

är rsync vtrP -0 --partial --append-verify --modify-window=2 --links --compare-dest=DIR_compare DIR_source DIR_rest

det innebär att den tittar i DIR_source, jämför med DIR_compare och finns inte filen i DIR_compare eller den är ändrad så läggs en kopia i DIR_rest - annars händer ingenting

Det innebär att alla filer i DIR_Source som _inte_ fins i DIR_compare eller är ändrade, läggs en kopia i DIR_rest.

Ovanstående tittar bara på filtider (modify-time) och "-0" och "--modify-window=2" är till för att hantera konstiga filnamn (i windows) som kan missuppfattas och att tidsupplösning är olika mellan tex. windows-filer och Unix-filer och är det avrundningsfel på nanosekunders-nivå för att de hoppat mellan olika filsystem så anses inte filerna lika fast de är det...

Skall man ha checksummebaserad jämförelse mellan filerna så kan man använda flagga '-c' men då tar det tid - både på servesidan och klientsidan och lastar dessa hårt eftersom filerna måste läsas igenom i sin helt på båda sidorna och utbyta checksummor innan åtgärd görs.

vill man ta bort alla filer i DIR_source efter koll mot DIR_compare (och filer som inte fins i DIR-compare hamnar i DIR_rest) så kan man lägga till "--remove-source_files"

dvs.

rsync vtrP -0 --partial --append-verify --modify-window=2 --links --remove-source-files --compare-dest=DIR_compare DIR_source DIR_rest

och DIR_source töms helt på filer. - rekommenderar dock att man kör utan --remove-source-files först för att se hur mycket det blir i DIR_rest blir innan man låter yxan gå... och även här kan man använda sig av '-c' om man verkligen vill vara säker på att filerna jämförs med checksummor innan delete

Blir det fel så blir det förfärligt många fel i sekunden om det också raderar filer samtidigt...

Skall man jämföra och tömma den ena av 2 nästan identiska diskbackupper på säg 2 TB styck och 8 miljoner filer var så spar ovanstående tid...

---

Att använda hårda länkar för ej ändrade filer i generationsbackuper är inget nytt - så gör tex. apples 'time machine' bakom den snygga grafiska skalet mot användaren.

Trädvy Permalänk
Medlem
Plats
Långtbortistan
Registrerad
Mar 2007
Skrivet av sunfire:

Hej

Jag har en ubuntu server och i den vill jag jag göra en spegelkopia på en av datadiskarna. Jag vill först göra en full kopia och sen med tiden göra incrementala backuper. Jag vill inte komprimera.
Går det att göra i terminalen och isåfall hur?

/ sunfire

Själv använder jag rsnapshot för just sånt, det är ett skal till rsync som sköter just inkrementella backuper mm. Det kan vara lite bökigt att konfigurera beroende på hur komplexa krav man har men när det väl är gjort så sköter det sig själv mha cron. Precis som de föreslagna rsync-lösningarna använder det hårdlänkar så filerna tar ingen onödig plats.

Enda nackdelen med rsnapshot är att det bara klarar "data pull", dvs det kan bara köras på måldatorn (target) och inte på källan (source). Om det är en lokal backup mellan två diskar i samma dator spelar det naturligtvis ingen roll.

Här är en bra beskrivning (strunta i varningarna om att det är en gammal version, inställningarna är samma i nyare versioner): https://www.digitalocean.com/community/tutorials/how-to-insta... och en annan: http://jeffskinnerbox.me/posts/2014/Feb/08/network-backups-vi...

För egen del kör jag rsnapshot både på min hemmaserver och på en RPi som står hos mina föräldrar tillsammans med en extern hårddisk och det fungerar galant.

Det finns bara två sorters hårddiskar: de som har gått sönder och de som skall gå sönder.

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

Borg Backup

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
-
Registrerad
Jul 2002

Vill du ha ett gui så har Veeam en klientversion för Linux.

Kosta gratis

.:Wks: Cooler Master Silencio 650|Core i5 3570 3.4 GHz|Asus P8Z77-V|8 GB| GT 465|1xDell U2311H, 2xAlienware AW2210 2xEizo 19|OCZ Revo 3 Drive 120 + Raptor 150:.
.:Server: Har ett gäng :) :.
-Learn the system, Play the system, Break the system-

Trädvy Permalänk
Medlem
Registrerad
Dec 2002
Skrivet av Mr_Lazy:

Vill du ha ett gui så har Veeam en klientversion för Linux.

Kosta gratis

Är inte det bara för VMs? Dvs inte gratis för fysiska burkar?

[size="1"]*signatur raderad*, referrallänkar behöver vi inte gömma i signaturer (§8 marknadsföring)[/size] Till MOD: Ditt smartskafft, man gömmer inte något som är helt synligt!

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008
Skrivet av fragwolf:

Är inte det bara för VMs? Dvs inte gratis för fysiska burkar?

Veeam Agent finns för fysiska Windows-installationer, och är gratis. Kan inte uttala mig om Linux, men borde vara samma rent spontant.

Funkar jättefint.

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Falun
Registrerad
Mar 2008
Skrivet av moron:

Borg Backup

+1 på den. Jag är supernöjd med det.
Bara att följa guiderna på http://borgbackup.readthedocs.io/en/stable/quickstart.html uppifrån och ned och så tadaaa har man allting fullt fungerande.

Trädvy Permalänk
Medlem
Registrerad
Aug 2005

Jag tackar för alla tips...nu har jag lite att göra

tackar

Trädvy Permalänk
Medlem
Plats
-
Registrerad
Jul 2002
Skrivet av fragwolf:

Är inte det bara för VMs? Dvs inte gratis för fysiska burkar?

Skrivet av moron:

Veeam Agent finns för fysiska Windows-installationer, och är gratis. Kan inte uttala mig om Linux, men borde vara samma rent spontant.

Funkar jättefint.

De har en produkt som heter Endpoint Protection som är lite mer "traditionell" backupmjukvara. Finns till både Linux och Windows som är gratis. Den går även att ansluta Veeam Backup & Replication men då kostar det har jag för mig.

.:Wks: Cooler Master Silencio 650|Core i5 3570 3.4 GHz|Asus P8Z77-V|8 GB| GT 465|1xDell U2311H, 2xAlienware AW2210 2xEizo 19|OCZ Revo 3 Drive 120 + Raptor 150:.
.:Server: Har ett gäng :) :.
-Learn the system, Play the system, Break the system-

Trädvy Permalänk
Medlem
Registrerad
Nov 2011

Har du provat dejadup, följer med ubuntu och deras default backup. Har stöd för allt du efterfrågar om jag inte har helt fel

Trädvy Permalänk
Medlem
Registrerad
Dec 2002

@moron:
Okej nice! jag tittade på deras backup free tool, då var det gratis men enligt texten så skulle man installera det på en VM. Måste prova deras backup då. Nice om det är gratis och man kan göra det mesta so mräcker för hemmet så behöver jag inte acronis längre. Även om det är nice. Vet du om gratis varianten har en möjlighet att återställa en backup till ny hårdvara/baremetal?

[size="1"]*signatur raderad*, referrallänkar behöver vi inte gömma i signaturer (§8 marknadsföring)[/size] Till MOD: Ditt smartskafft, man gömmer inte något som är helt synligt!

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013

@fragwolf: Jag installareade själv Linux-agenten för ett tag sedan, och om jag inte minns fel så kan du återställa vart du vill.

Prova! Det är enkelt att komma igång.

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

@fragwolf: Jag använder Veeam Enpoint (Eller Veaam agent heter det nu väl?) och dumpar till en SMB-share - beroende på om du kör file-leve eller disk-level så kan du nog återställa till vad som helst...

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Jun 2003

Veeam kör jag på min Ubuntu och lagrar 10 återställningspunkter på en NAS
Körs varje natt och hela processen tar knappa 2 min

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Jul 2002

+1 för veeam. Du kan skapa en bootdisk på cd/usb som du bootar med och sen återställer bare metal backupen med. Man kan ju även återställa granulärt ner till minsta lilla fil.

Använder själv veeam på jobb och det är helt underbart snabbt att återställa filer när någon kund lyckats bli av med något.

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008
Skrivet av Dizzzad:

Veeam kör jag på min Ubuntu och lagrar 10 återställningspunkter på en NAS
Körs varje natt och hela processen tar knappa 2 min

https://i.imgur.com/G8nK7LD.png
https://i.imgur.com/sBFEmWn.png

Får prova detta - vet du om mount-points exkluderas från backup?

Blir lite kaka-på-kaka annars...

En server här, några servrar där.

Trädvy Permalänk
Medlem
Registrerad
Dec 2002
Skrivet av moron:

@fragwolf: Jag använder Veeam Enpoint (Eller Veaam agent heter det nu väl?) och dumpar till en SMB-share - beroende på om du kör file-leve eller disk-level så kan du nog återställa till vad som helst...

Skrivet av Dizzzad:

Veeam kör jag på min Ubuntu och lagrar 10 återställningspunkter på en NAS
Körs varje natt och hela processen tar knappa 2 min

https://i.imgur.com/G8nK7LD.png
https://i.imgur.com/sBFEmWn.png

Jo jag laddade hem det å testade igår dock bara VMs. Men det ser rätt nice ut. Ska titta lite mer på linuxvarianten. Fick inte igång det, men det var nog pga min burk inte ville uppdatera repos. Så det blir nog att man byter ut acronis till nästa år.

[size="1"]*signatur raderad*, referrallänkar behöver vi inte gömma i signaturer (§8 marknadsföring)[/size] Till MOD: Ditt smartskafft, man gömmer inte något som är helt synligt!

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Maj 2010

Jag kör idag rsnapshot för backup av filsystemet på mina virtuella maskiner i ESXi men Veem verkar ju vara lite bättre med full VM-backup men även har filbackup. Om man ska backupa flera maskiner sätter man då upp en Veeam server som man sedan kan styra alla agenter man har kopplade eller är det standalone installationer på varje data som man hanterar en och en och typ dumpar på en share någonstans?