Backup lösning för FreeNAS och NextCloud

Permalänk
Medlem

Backup lösning för FreeNAS och NextCloud

Hej Alla

Jag letar efter en bra och enkel lösning för backup för min FreeNAS och NextCloud. (FreeNAS=NAS1)
NAS1 är en egen dator. Där jag har bara filer, jag kör inte några VM-s eller jails.
En annan dator är ESXI installerat och där jag har 5 VM-s.
Följande VM-s är installerad:
Unifi Controll
Unifi Video
Plex
Nextcloud
UPS Agent

Jag är ute efter denna lösning:

Filer som ligger på NextCloud ska backups till NAS1.
Filer som är på NAS1 ska backups till Synology NAS eller annan NAS2. (OBS! Synology NAS och NAS2 är placerat i en annan kommun).
Vill använda VPN.

Om det finns en annat alternativ, skriv om den.

mvh
Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem

Jag hade tittat på att köra rsync mellan dem. Sedan via SSH som är krypterad till den externa nasen

Permalänk
Medlem

@jocke92: Håller med föregående talare.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

Rsync och SSH är rätt väl ihopgifta för den här typen av sysslor - har du satt upp certifikat mellan burkarna så behöver man inte hantera password i scriptarna som kör det hela.

typiskt

"rsync -a -PH --delete /sökväg/till/det/som/skall/backupas -e ssh användare@host:sökväg/till/backupplagringen/"

användaren måste förstås ha filrättigheter till området filerna skall läggas

Skall man köra internt inom LAN och inte över publik Internet så kan man sätta upp den ena burken med rsync i serverläge

då ser kommando från klienten liknande

"rsync -a -PH --delete /sökväg/till/det/som/skall/backupas användare@host::lagring1"

- observera '::' som markerar att det är en serverfunktion som används och 'lagring1' är en post och förutsbestämd plats som sätts i serverns konfigurationsfil

Men i det läget görs överföringen i klartext och skyddet är enkel passord utan begränsning i antal inloggnings-försök - vinsten är högre överföringsfart och inte belastas av tunga och resursslukande krypteringar som med ssh vilket kan vara nog så viktigt för enklare NAS utan HW-kryptering till hjälp (och med SW-kryptering gör att farten sjunker till 10-30 MB/s i överföringen)

---

En sak till - någon av burkarna i kedjan bör ha daglig snapshot/generationsbackup för några veckors tid (längre än din längsta semester utomlands) så att all din värdefulla data inte utraderas och byts ut till krypterade inom enstaka dagar om någon av klienterna fått in ransomware/cryptovirus/cryptomalware och börja härja runt...

Att kopiera data till flera burkar i snabb kedja med rsync skyddar inte mot sådan malware då de krypterade versionerna av filerna sprids lika fort till alla lagringsplatser som den data du är rädd om.

Permalänk
Medlem

@xxargs: Hej

Jag testade mellan två olika burkar i samma LAN och den fungerar som det ska.
Men hur ska jag göra om jag vill att rsync ska köra automatisk?
Till exempel:
från pc1 till NAS två gånger om dagen 1st gången kl 11:00 och andra gången kl 23:00.

mvh
Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem
Skrivet av njanja:

@xxargs: Hej

Jag testade mellan två olika burkar i samma LAN och den fungerar som det ska.
Men hur ska jag göra om jag vill att rsync ska köra automatisk?
Till exempel:
från pc1 till NAS två gånger om dagen 1st gången kl 11:00 och andra gången kl 23:00.

mvh
Njanja

Du lägger scriptet i crontab bara. Ta hjälp av https://crontab.guru/ för att få till klockslagen

Permalänk
Medlem
Skrivet av jocke92:

Du lägger scriptet i crontab bara. Ta hjälp av https://crontab.guru/ för att få till klockslagen

Hejsan

Tack för hjälpen nu fick jag igång i samma nätverk. Men undrar hur ska man få den via VPN?
Måste jag ha rsync daemon installerat eller kan jag göra det via SSH?

mvh
Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem
Skrivet av njanja:

Hejsan

Tack för hjälpen nu fick jag igång i samma nätverk. Men undrar hur ska man få den via VPN?
Måste jag ha rsync daemon installerat eller kan jag göra det via SSH?

mvh
Njanja

Du behöver egentligen inte använda VPN om du har SSH-access mellan burkarna. SSH är redan krypterat.
Vill du använda VPN ändå så sätter du upp VPNen och sätter att routen för destinationen går via VPN-interfacet istället för ditt normala interface.

Du behöver inte ha rsync installerat på destinationen (eller köras som daemon någonstans), men du behöver ha det installerat på burken där du lägger in det i crontab.

Permalänk
Medlem

Kolla in Restic som kan använda t.ex. SFTP/SSH som lagringsyta: https://restic.net/
Enkelt sätt att hålla olika versioner av filer. Använder själv för backup av NextCloud.

Permalänk
Medlem
Skrivet av njanja:

Hejsan

Tack för hjälpen nu fick jag igång i samma nätverk. Men undrar hur ska man få den via VPN?
Måste jag ha rsync daemon installerat eller kan jag göra det via SSH?

mvh
Njanja

Börja med att öppna SSH ut mot internet. Det räcker att du gör det på den sidan du ska ansluta till. Sedan genererar du SSH-nycklar och ser till att du kan ansluta med dem utan lösenord. Sedan ansluter du genom att använda följande destination i backup-kommandot root@192.168.0.101:/home/

Permalänk
Medlem

Lite synd att restic inte har kompression eller dito lättviktspackning eller i alla fall någon form av entropi-maximerings packning (aka huffman-kompression)

En del saker fungera restic utmärkt med packningsnivå på mellan borg med kompression och borg utan kompression och jobbar rätt snabbt då den använder multipla kärnor i CPU till skillnad från borgbackup.

Men i andra fall rent bedrövligt som tex. massiva loggfiler med små ändringar per rad men det mesta upprepande i olika sekvenser och kan ger mer än dubbel lagringsvolym än en borgbackup med kompression...

Borgbackup kan också köras via SSH om man på mottagande datorn också har en körbar version av borgbackup (det går också via sshfs på linuxburkar men är inte speciellt snabb i det läget) - bygger man egen NAS så är det för det mesta lätt ordnat i befintliga använda OS/distrubition, men är det en köpeNAS så är stödet för borg-backup i form av färdiga programpaket eller möjlighet att kunna kompilera upp det varierande grad..

Borg är jättebra packare/arkiverare, men dess nackdel är dess rätt begränsade alternativ att lägga filerna på olika servertjänster om det inte är nätverksvolymer och då dessvärre också åtkomlig för cryptovirus...

Permalänk
Medlem
Skrivet av jocke92:

Börja med att öppna SSH ut mot internet. Det räcker att du gör det på den sidan du ska ansluta till. Sedan genererar du SSH-nycklar och ser till att du kan ansluta med dem utan lösenord. Sedan ansluter du genom att använda följande destination i backup-kommandot root@192.168.0.101:/home/

Jag känner att det blev några fel här. Exponera aldrig SSH direkt mot internet. Jättebra att köra SSH-nycklar, detta innebär inte att man inte ska köra lösenord också. Använd inte root användare för allt. Sätt upp en normal användare med så få behörigheter som möjligt och lås ner exponeringen mot systemet.

Jag rekommenderar att du använder dig av VPN, även fast SSH är redan krypterat. Hur du ska sätta upp VPNen beror på hur din setup ser ut.

Permalänk
Medlem

Jag kör 3 esxi hostar(30-tal vms) och en freenas burk hemma, jag har gjort så att min freenas agerar enbart iscsi storage för hostarna och jag backar hela vm'arna krypterade med veeam, först till mitt iscsi storage och syncas därefter till min google drive, därefter så körs ett copy job till min andra nas.

i ditt fall hade jag satt upp en s2s vpn till där dina andra nas'ar ligger och kört nånting liknande.
Veeam är gratis för 10vms.

Visa signatur

Citera om du vill ha svar :)

Permalänk
Medlem

@Pelle: Hejsan

tack, jag är nästan där har problem att sätta up s2s vpn med 2 USG. Eftersom guider och unifi forum är skitdåliga då fastnade jag.

mvh
Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem
Skrivet av njanja:

@Pelle: Hejsan

tack, jag är nästan där har problem att sätta up s2s vpn med 2 USG. Eftersom guider och unifi forum är skitdåliga då fastnade jag.

mvh
Njanja

Prova något sånt här: https://tynick.com/blog/06-23-2019/how-to-create-a-site-to-si...
site2site mellan 2 usg borde vara straight forward, har dock inte provat det

Visa signatur

Citera om du vill ha svar :)

Permalänk
Medlem
Skrivet av Pelle:

Prova något sånt här: https://tynick.com/blog/06-23-2019/how-to-create-a-site-to-si...
site2site mellan 2 usg borde vara straight forward, har dock inte provat det

Hej

Tack för hjälpen, fick igång fungerar som det ska. Tog 30 min att få igång allt.

mvh
Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem

Hej Alla

Försöker att få igång rsync mellan VM-s (nextcloud) på ESXI och FreeNAS. Får hela tider om behörigheter. Tanke var att allt som ligger i denna mappen på nextcloud ska flyttas till FreeNAS.
/var/www/html/nextcloud/data/njanja/files.

Testade med följande kommand:
rsync -e 'ssh -p 22' -av /var/www/html/nextcloud/data/njanja/files cloud@192.168.3.25:/cloud
rsync -av /var/www/html/nextcloud/data/njanja/files cloud@192.168.3.25:/cloud
rsync -av /var/www/html/nextcloud/data/njanja/files 192.168.3.25:/cloud

några förslag?
Kan bli att det är fel med rsync parameter

mvh
Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem

vad har 'cloud' för användarrättigheter hos kontot du SSH in på ? - är det vanlig användare så är det med dess användarrättigheter som bestämmer var filerna kan läggas.

samma sak med kommandot du kör - har du rättigheter till filerna ??

Permalänk
Medlem
Skrivet av njanja:

Hej Alla

Försöker att få igång rsync mellan VM-s (nextcloud) på ESXI och FreeNAS. Får hela tider om behörigheter. Tanke var att allt som ligger i denna mappen på nextcloud ska flyttas till FreeNAS.
/var/www/html/nextcloud/data/njanja/files.

Testade med följande kommand:
rsync -e 'ssh -p 22' -av /var/www/html/nextcloud/data/njanja/files cloud@192.168.3.25:/cloud
rsync -av /var/www/html/nextcloud/data/njanja/files cloud@192.168.3.25:/cloud
rsync -av /var/www/html/nextcloud/data/njanja/files 192.168.3.25:/cloud

några förslag?
Kan bli att det är fel med rsync parameter

mvh
Njanja

Om du loggar in manuellt med kontot cloud och sedan går till mappen /Cloud. Kan du då skapa en fil i den mappen? Annars har du fel rättigheter på mappen. Kolla med ls -l

Permalänk
Medlem

@jocke92:

Hejsan

Vet inte var felet ligger.
När jag kör den kommando som "root" då fungerar:
rsync -a -e "ssh" --rsync-path="sudo rsync" /usr/lib/unifi/data/backup/autobackup testuser@192.168.1.159:/mnt/StorageYouCanTrust/unifi

När jag skapar en sudo användarer (testuser) och kör samma kommando, får fel meddelande:
rsync change_dir failed permission denied (13)

Kör jag samma kommando som root och lägger framför sudo (fungerar)
sudo rsync -a -e "ssh" --rsync-path="sudo rsync" /usr/lib/unifi/data/backup/autobackup testuser@192.168.1.159:/mnt/StorageYouCanTrust/unifi

cronetab skript ser ut så här:
#!/bin/sh
rsync -e 'ssh -p 22' -av /usr/lib/unifi/data/backup/autobackup admin@192.168.1.159:/mnt/StorageYouCanTrust/unifi

mvh
Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem
Skrivet av njanja:

@jocke92:

Hejsan

Vet inte var felet ligger.
När jag kör den kommando som "root" då fungerar:
rsync -a -e "ssh" --rsync-path="sudo rsync" /usr/lib/unifi/data/backup/autobackup testuser@192.168.1.159:/mnt/StorageYouCanTrust/unifi

När jag skapar en sudo användarer (testuser) och kör samma kommando, får fel meddelande:
rsync change_dir failed permission denied (13)

Kör jag samma kommando som root och lägger framför sudo (fungerar)
sudo rsync -a -e "ssh" --rsync-path="sudo rsync" /usr/lib/unifi/data/backup/autobackup testuser@192.168.1.159:/mnt/StorageYouCanTrust/unifi

cronetab skript ser ut så här:
#!/bin/sh
rsync -e 'ssh -p 22' -av /usr/lib/unifi/data/backup/autobackup admin@192.168.1.159:/mnt/StorageYouCanTrust/unifi

mvh
Njanja

Har testuser behörigheter att skriva till /mnt/StorageYouCanTrust/unifi? Utan att vara root då
Sedan spelar det roll vilken crontab du kör det i också. Skriver du bara crontab så kör den det som den användaren du är inloggad i. Skriver du crontab -eu root så är det root-användarens crontab. Du kan också kolla så att användaren som kör scriptet kan läsa käll-katalogen /usr/lib/unifi/data/backup/autobackup

Permalänk
Medlem

@jocke92:

Hejsan

Testuser har behörigheter till mappen mnt/StorageYouCanTrust/unifi? Men när det gäller användare som ska läsa käll-katalogen /usr/lib/unifi/data/backup/autobackup. tror inte att han har behörigheter att göra det.
Mappen /usr/lib/unifi/data/backup/autobackup ägs av unifi användare och gruppen.

Min fråga är om jag lägger denna användare som ska läsa skriptet i samma grupp som ägare till käll-katalogen skulle den fixa problemet?

mvh
Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem
Skrivet av njanja:

@jocke92:

Hejsan

Testuser har behörigheter till mappen mnt/StorageYouCanTrust/unifi? Men när det gäller användare som ska läsa käll-katalogen /usr/lib/unifi/data/backup/autobackup. tror inte att han har behörigheter att göra det.
Mappen /usr/lib/unifi/data/backup/autobackup ägs av unifi användare och gruppen.

Min fråga är om jag lägger denna användare som ska läsa skriptet i samma grupp som ägare till käll-katalogen skulle den fixa problemet?

mvh
Njanja

Det borde lösa det

Permalänk
Medlem

@jocke92:

Hejsan vill meddela dig att nu fungerar kommandon.

mvh
Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem

Hej igen Alla

Har en dum fråga.

När jag skapar en skript med nano programmet i linux, ska jag spara den som skript eller skript.sh?

mvh
Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem
Skrivet av njanja:

Hej igen Alla

Har en dum fråga.

När jag skapar en skript med nano programmet i linux, ska jag spara den som skript eller skript.sh?

mvh
Njanja

Jag sparar alltid bash-script som .sh

Ytterligare tips är att lägga till så att den "pipes output to fil" i tempkatalogen, eller /var/log om du vill spara permanent. Så att du kan följa vilka filer den backar upp och om den blev successful. Dvs. "> /tmp/backuplogfile.log" efter rsync kommandot.

Man kan också döpa filen till dagens datum med variabler.

Permalänk
Medlem

@jocke92:

Hejsan,
Undrar om denna kommandot är OK att spara loggar i min /home/rsync/rsync.log mappen. Crontab är inställt att varje minut tar backup.

rsync -e 'ssh -p 22' -av --log-file="/home/user/rsync/rsync.log.$(date +%Y%m%d%H%m%S)" /var/www/html/nextcloud/data/adnan/files root@192.168.1.159:/mnt/StorageYouCanTrust

mvh
Nyanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem
Skrivet av njanja:

@jocke92:

Hejsan,
Undrar om denna kommandot är OK att spara loggar i min /home/rsync/rsync.log mappen. Crontab är inställt att varje minut tar backup.

rsync -e 'ssh -p 22' -av --log-file="/home/user/rsync/rsync.log.$(date +%Y%m%d%H%m%S)" /var/www/html/nextcloud/data/adnan/files root@192.168.1.159:/mnt/StorageYouCanTrust

mvh
Nyanja

Jo men det är ok att göra så också, eftersom rsync har en egen växel för loggningen.

Permalänk
Medlem

@jocke92:

Hej

Undrar är det samma procedur att lägga crontab för vanlig user. När jag kör som root fungerar klockren, men som användare händer ingenting.

Några tips?

mvh
Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem
Skrivet av njanja:

@jocke92:

Hej

Undrar är det samma procedur att lägga crontab för vanlig user. När jag kör som root fungerar klockren, men som användare händer ingenting.

Några tips?

mvh
Njanja

Hur menar du med att det inte händer något? Att den inte kör scriptet? Det är samma sak, men du måste hela tiden tänka på rättigheter och från vilken användares perspektiv du ser sakerna.