Permalänk
Medlem

Backup över internet

Jag skulle behöva göra om backuplösningen på min hemmaserver. Idag rsync:ar viss data över ssh till en annan dator och det fungerar väl bra men inte perfekt. Största problemet är att datorn kan betraktas som "osäker", det är massor med männsikor som har access till lagringsdatorn. Jag kör OpenSolaris på min server och lagringsdatorn kör RHEL/Centos.

Min kravlista ser ut så här ungefär

  • Inkrementella backuper

  • Kryptering i transportledet

  • Krypterad lagring på backupdatorn

  • Möjlighet att spara flera versioner av samma fil

  • Inga daemoner ska behövas på lagringsdatorn och helst inga andra prgram än rsync.

Enkla lösningar baserade på rsync, rsync-diff och duplicity faller på den krypterade lagringen. Har någon gjort något liknande tidigare? Det måste väl finnas fler människor än jag som har tillgång till fuldisk på internet och vill backup:a dit?

Permalänk
Medlem

krypteringen måste helst ske innan du skickar iväg datan om du ska känna dig helt trygg antar jag?

Permalänk
Medlem

Skapa och kryptera ett arkiv lokalt på klienten och kopiera över med scp?

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av Poka64
krypteringen måste helst ske innan du skickar iväg datan om du ska känna dig helt trygg antar jag?

Jo, så måste det vara.

Citat:

Ursprungligen inskrivet av NakedApe
Skapa och kryptera ett arkiv lokalt på klienten och kopiera över med scp?

Jo det är den lätta lösningen. Men med inkrementell backup tror jag att det blir lite jobbigt att återställa en specifik fil vid en specifik tidpunkt. Kanske går om man bygger något sorts register över vilka filer som ligger i vilka arkiv.

Permalänk
Medlem

Ett alternativ är jul att du krypterar datan lokalt till en annan map, och sedan backupar den krypterade mappen med hjälp av rsync. Nackdelen är ju då att du behöver mer lagringsutrymme på din server

Är inte speciellt instatt i backuplösningar, och nu efter flera öl kan jag inte påstå att jag är ännu bättre på det.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av Fnorken
Jo det är den lätta lösningen. Men med inkrementell backup tror jag att det blir lite jobbigt att återställa en specifik fil vid en specifik tidpunkt. Kanske går om man bygger något sorts register över vilka filer som ligger i vilka arkiv.

Att återställa en inkrementell backup handlar ju ändå alltid om att börja från en full backup och applicera de inkrementella tills du når önskat tillstånd.

Ett annat alternativ är ju en kedja i stil med tar | gpg | ssh -> fil vilket ger dig en fil på servern som du kan rota i om du vill hitta en specifik fil. Bara att köra kedjan omvänt och låta tar lista filerna.

Vill man slippa den mödan kan man ju tänka sig en lösning där du kör ett fullödigt backupprogram, t.ex. bacula som underhåller ett komplett register över alla filer som backats och vilken "volym" de finns i. Såvitt jag minns kan bacula backa till en lokal fil och har scripts för att backa databasen över filer. Sen kan du kopiera båda till den andra maskinen med scp.

Permalänk
Medlem

@Fnorken,

vill du lagra i molnet så kan jag reka http://www.jungledisk.com/
Den har det mesta. Jag lägger mina viktigaste dokument där. Sen kan jag accessa filerna via samma app på en usb-pinne eller via https. Filerna lagras hos Amazon.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av NakedApe
Vill man slippa den mödan kan man ju tänka sig en lösning där du kör ett fullödigt backupprogram, t.ex. bacula som underhåller ett komplett register över alla filer som backats och vilken "volym" de finns i. Såvitt jag minns kan bacula backa till en lokal fil och har scripts för att backa databasen över filer. Sen kan du kopiera båda till den andra maskinen med scp.

Ja, det är nog ett riktigt backupprogram jag behöver. Just Bacula har jag inte tittat så mycket på men Areca Backup http://www.areca-backup.org/ ser intressant ut och finns paketerat till OpenSolaris. Men paketet fungerar inte, det verkar vara något problem med classpath (jo det är skrivet i java).

Citat:

Ursprungligen inskrivet av pr0xy
vill du lagra i molnet så kan jag reka http://www.jungledisk.com/
Den har det mesta. Jag lägger mina viktigaste dokument där. Sen kan jag accessa filerna via samma app på en usb-pinne eller via https. Filerna lagras hos Amazon.

Men jungledisk verkar endast finnas till windows/mac? Inte för att jag har så mycket emot windows, alla mina datorer som har en skärm kör windows, men jag skulle helst vilja köra backuperna från min server och inte från någon "arbetsdator".

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av Fnorken
Men jungledisk verkar endast finnas till windows/mac? Inte för att jag har så mycket emot windows, alla mina datorer som har en skärm kör windows, men jag skulle helst vilja köra backuperna från min server och inte från någon "arbetsdator".

Finns iofs till Linux också, men ska du köra från OpenSolaris kan jag tänka mig att det blir problem (as usual)

Det var ett par år sedan jag "läste på" men Jungledisk är "mellan-vara" till Amazon. Om du orkar hacka ihop något själva så kan du gå direkt till "källan: http://aws.amazon.com/s3/

Det finns API:er för att accessa molnet - men jag har inte testat.

EDIT: Ett exempel http://developer.amazonwebservices.com/connect/entry.jspa?ext...

Permalänk
Medlem

jag har för mig att ska finns färdiga krypterings lösningar med rsync men kommer tyvärr inte ihåg vad det heter.

Permalänk
Medlem

Duplicity kanske är något för dig (caveat emptor: duplicity är fortfarande beta)?

Permalänk
Medlem

Liten uppdatering: Det verkar vara enklare och inte så dyrt att köpa sig lite plats i molnet än att använda gratis fuldisk. Amazons moln-lagring går att montera via FUSE vilket verkar enkelt och bra. Positivt!

Däremot verkar OpenSolaris Areca (verkar vara ett kompetent program) paket vara trasigt och jag vet inte riktigt om jag orkar laga det. Negativt! Kanske dags att leta upp ett nytt program.

Duplicity, amanda och bacula får jag titta lite närmare på.

Permalänk
Medlem

En liten uppdatering: Det verkar bli Amanda med Amazon S3 som lagringslösning. Jag ska se om jag får igång det på mitt testsystem idag.

En liten bonus är att jag kan backa upp mina andra datorer genom amanda, det ska ju inte finnas någon viktig data på dem men rätt var det är så ligger det något där ändå.

Permalänk
Medlem

Det låter som en bra lösning. Posta gärna hur det går! Jag kör själv sedan många år med jungledisk mot S3 och har tyvärr inte haft tid att läsa in mig på OSOL mot S3.

Permalänk
Medlem

måste ju finnas en time machine (mac) lösning till nix.

själv kör jag time machine över afp till lagringsdatorn. med time machine kan man bläddra i tidigare versioner av en fil.

Permalänk
Citat:

Ursprungligen inskrivet av akn3
måste ju finnas en time machine (mac) lösning till nix.

själv kör jag time machine över afp till lagringsdatorn. med time machine kan man bläddra i tidigare versioner av en fil.

Finns för osol (OpenSolaris), genom zfs (snapshots). Dock så är det endast lokalt och man måste fortfarande skicka backupen offsite om man vill ha offsite backup

zfs lösningen är dessutom mycket (verkligen mycket(!)) bättre än Apples Time Machine lösning (använder TM själv). Apple communityt trodde först att TM skulle vara baserat på zfs men tyvärr blev det inte så

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av rastersize
Finns för osol (OpenSolaris), genom zfs (snapshots). Dock så är det endast lokalt och man måste fortfarande skicka backupen offsite om man vill ha offsite backup

Jag skulle ju kunna tänka mig ett fulhack: hyra en zpool av ett pålitligt företag på internet och skicka snapshots med "zfs send | ssh | zfs receive". Finns det företag som sysslar med sådant? Fast krypterad lagring hos det "pålitliga företaget" är väl svårt att få?

Nåja, jag fortsätter på mitt amanda/s3 spår.

Permalänk
Citat:

Ursprungligen inskrivet av Fnorken
Jag skulle ju kunna tänka mig ett fulhack: hyra en zpool av ett pålitligt företag på internet och skicka snapshots med "zfs send | ssh | zfs receive". Finns det företag som sysslar med sådant? Fast krypterad lagring hos det "pålitliga företaget" är väl svårt att få?

Det hade varit grejer det. Men det finns nog tyvärr inte. Enda lösningarna på det är nog att antingen hyra serverplats hos någon isp eller hyra en vps med massor av disk.

Någon som är på?
Jag har just nu lite mer än 4 TiB som hade varit trevligt att ha backup på...

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av rastersize
Finns för osol (OpenSolaris), genom zfs (snapshots). Dock så är det endast lokalt och man måste fortfarande skicka backupen offsite om man vill ha offsite backup

zfs lösningen är dessutom mycket (verkligen mycket(!)) bättre än Apples Time Machine lösning (använder TM själv). Apple communityt trodde först att TM skulle vara baserat på zfs men tyvärr blev det inte så

varför är zfs snapshotsen så mycket bättre än time machine då?

Permalänk
Citat:

Ursprungligen inskrivet av akn3
varför är zfs snapshotsen så mycket bättre än time machine då?

Edit: Förtydligande om vad jag menade, zfs snapshots är myckte bättre rent tekniskt än TM.

För om du har en fil på 1 GiB och ändrar lite i den (t.ex. 1 MiB) måste du med Time Machine ta backup på hela filen igen. Med zfs snapshot så tas det endast en "backup"* på det som ändrats. Det blir då 1 MiB + snapshot overhead (någon KiB).

*: Med zfs snapshots gör man lite tvärt emot backup, man säger typ "börja skriva här istället i fortsättningen" och således skrivs endast de nya 1 MiB till disk och de gamla 999 MiB används. Väldigt smidigt för oss slutanvändare.

Inte sagt att TM är dåligt, jag vet inte något som fått så pass många (som tidigare inte brydde sig) att börja ta backup på sina filer! Dessutom är det väldigt snyggt utfört, enligt mig. Hade Apple valt att använda zfs som "grund" istället för HFS+ + hård länkning så att TM varit ännu bättre.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av rastersize
Edit: Förtydligande om vad jag menade, zfs snapshots är myckte bättre rent tekniskt än TM.

För om du har en fil på 1 GiB och ändrar lite i den (t.ex. 1 MiB) måste du med Time Machine ta backup på hela filen igen. Med zfs snapshot så tas det endast en "backup"* på det som ändrats. Det blir då 1 MiB + snapshot overhead (någon KiB).

*: Med zfs snapshots gör man lite tvärt emot backup, man säger typ "börja skriva här istället i fortsättningen" och således skrivs endast de nya 1 MiB till disk och de gamla 999 MiB används. Väldigt smidigt för oss slutanvändare.

Inte sagt att TM är dåligt, jag vet inte något som fått så pass många (som tidigare inte brydde sig) att börja ta backup på sina filer!

nämen shit! sjukt bra!

Hur fan dumpar jag time machine nu då? och börjar använda osol med zfs snapps??!?!?!

Permalänk
Citat:

Ursprungligen inskrivet av akn3
nämen shit! sjukt bra!

Hur fan dumpar jag time machine nu då? och börjar använda osol med zfs snapps??!?!?!

Jadu
Vill du ha kvar OS X så ser jag två alternativ och inget inkluderar egentligen zfs snapps utan baserar sig på zfs deduplication.

Först måste du se till att skaffa/ha en server som kör osol bör sedan ha minst två diskar (i mirror) eller gärna fler (i raidz1/raidz2). Sen så kan du välja ett (eller båda om du skulle känna för det ) av dessa alternativen:

I: Fortsätta att använda Time Machine men inte snapshots. Det kräver att du installerar osol b130 eller senare då den builden innehåller deduplication. Sen är det inte mycket kvar. Dela ut en del av din nya lagring-pool på servern, så som t.ex. tank/backup/macens_namn, över cifs/smb (via zfs). Därefter fixa "haxet" i OS X som tillåter en att ta backup till nätverksvolymer (on liner i terminalen). Därefter ställer du så att Time Machine använder denna utdelade volym och ser till så att den monteras automatiskt när datorn startas eller något liknande.

II: Kör på något annat program (så som CrashPlan) som tar backup till servern. Typ som tidigare och kräver mest troligen också deduplication på servern.

Personligen tänker jag välja "I" när deduplication har fått några fler månader på nacken, väldigt nytt b130 är senaste builden om jag inte missminner mig. Personligen tänker jag nog prova när osol når b134 (2010.02/2010.03).

Permalänk
Medlem

Idag har jag varit tillräckligt uttråkad för att pyssla med backupprojektet igen. Jag tröttnade väldigt på Amanda och bytte mjukvara till duplicity vilket fungerar rätt bra.

Resten av planen är att skriva ett litet script som:
Hittar filsystemen som ska backas upp genom att titta på zfs user-properties

För varje filsystem som ska backas upp
Tar ett snapshot av filsystemet
Backar upp det till min s3 lagringsyta
Förstör snapshotet

...eller så fular jag bara ihop ett par enkla skript som körs av cron...

Men inget kan implementeras innan den stabila versionen av OpenSolaris kommer ut, jag behöver gnupg (gpg) för krypteringen och den paketerades nyligen.

Permalänk
Medlem

Det är synd att truecrypt bara stöder OpenSuSE och Ubuntu. Annars vore det perfekt att skapa en TC-volym, skicka snapshottet till den och sedan TC-volymen till S3.

Permalänk
Medlem

Om man vill skicka krypterade snapshots till S3 så borde det gå med tex s3funnel. Något likande "zfs send | gpg | s3funnel" borde fungera.

Fast riktigt så enkelt är det ju inte tex så kan objekt som lagras på Amazon S3 bara vara 5GB stora så det krävs ju lite mer logik. Men möjligt är det ju.

Fast jag vill ha ju möjlighet att ta tillbaks enskilda filer och då fungerar det ju inte spara undan hela filsystem.

Permalänk
Avstängd
Citat:

Ursprungligen inskrivet av Fnorken
Idag har jag varit tillräckligt uttråkad för att pyssla med backupprojektet igen. Jag tröttnade väldigt på Amanda och bytte mjukvara till duplicity vilket fungerar rätt bra.

Resten av planen är att skriva ett litet script som:
Hittar filsystemen som ska backas upp genom att titta på zfs user-properties

För varje filsystem som ska backas upp
Tar ett snapshot av filsystemet
Backar upp det till min s3 lagringsyta
Förstör snapshotet

...eller så fular jag bara ihop ett par enkla skript som körs av cron...

Men inget kan implementeras innan den stabila versionen av OpenSolaris kommer ut, jag behöver gnupg (gpg) för krypteringen och den paketerades nyligen.

Som jag har förstått det, så kommer "zfs send" automatiskt att endast skicka över det som ändrats sedan sist. Så man behöver inte undersöka varje fil, som t.ex. rsync gör.

Med deduplicering, så kommer "zfs send" endast att skicka över de block som inte finns tidigare. Om det redan finns vissa block sedan tidigare, så kommer ZFS endast att skicka referenser till blocket ifråga. Detta är helt enormt för backup över avstånd! Man skickar inte datat på nytt, om det redan finns på backupen, man bara pekar på det datat istället.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av Fnorken

Fast riktigt så enkelt är det ju inte tex så kan objekt som lagras på Amazon S3 bara vara 5GB stora så det krävs ju lite mer logik. Men möjligt är det ju.

Det är faktiskt ganska lätt att "komma runt". Läs på om mknod & split

Exempel:

FILENAME="/tmp/zfs_snapshot_`date +%y%m%d.%H%M`.dmp"
export FILENAME

rm -f /tmp/exp_pipe
mknod /tmp/exp_pipe p

split -b2047m /tmp/exp_pipe ...

Jag har inte testat på OSOL. Jag har klippt lite från ett skript som jag har använt på solaris för att exportera ca 50Gb från en oracle-db. Filerna blir ca 2Gb styck, "split" fixar extension automagiskt.

Permalänk
Medlem

Man bör läsa manualsidan för zfs innan man börjar bygga den ultimata backuplösningen med zfs send/recieve:

Från man zfs i build 118:

Citat:

The format of the stream is evolving. No backwards com-
patibility is guaranteed. You may not be able to receive
your streams on future versions of ZFS.

Permalänk
Avstängd

Aj då. Du har gjort din läxa väl. Klokt av dig.