Hjälp med strategi för filserver och cloud backup

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Sep 2002

Hjälp med strategi för filserver och cloud backup

Tjena!

Tänkte höra med er kunniga om vad ni rekommenderar för strategi för min filserver (hemanvändning). Själv sysslar jag mest med överklockning och är inte jätteinsatt på området
Jag har i dagsläget en maskin med FreeNAS som jag bara kör som filserver samt transmission och flexget. HW är nåt intel moderkort, Pentium G3420 (två kärnor/trådar, 3.2GHz), 2x8GB ECC minne, 5x 1TB enterprisediskar (WD RE) i raidz1. Diskarna sitter i något instickskort flashat för någon form av passthrough som skulle funka bra för freenas, ni vet säkert vilket kort det är. Servern funkar jättebra och jag är hur nöjd som helst egentligen.
Dock så har jag börjat titta på att skaffa någon form av cloud backup. Idag kör jag bara med extern disk då och då. Vad jag kan hitta så det väldigt dyrt att skaffa en tjänst som är anpassad för ZFS, och även kanske lite för avancerat för mig att ställa in det osv. Alternativet är då att köra backup via en annan dator på nätverket till en tjänst som tillåter backup av nätverksdiskar (idrive t.ex.). Men det känns ju lite B att behöva köra backup via en annan dator när man har en server, jag vill ju helst att det ska vara helt automatiskt...

Så jag började titta runt vad det finns för alternativ till freenas idag och hittade unraid. Då kanske man även kan uppgradera hw lite och virtualisera och kunna göra lite mer saker med servern Vad jag förstod när jag byggde servern var att ZFS inte gillar virtualisering... Jag har egentligen inte något behov av fler funktioner, men man vet ju aldrig vad som dyker upp

Så frågan är egentligen, ska jag stanna kvar med FreeNas och hur kan jag då få till en vettig backup? Eller ska jag gå över till unraid (eller något helt annat)? Är fördelarna med ZFS fortfarande stora vad gäller filintegritet osv?

Tacksam för er tid och hjälp!

Trädvy Permalänk
Medlem
Registrerad
Jun 2012

Har du kollat på CrashPlan?

https://www.crashplan.com/en-us/

Skickades från m.sweclockers.com

Supermicro X9SRI-F | Xeon E5-2690 v2 | 128GB 1600MHz RDIMM | Dell Perc H200 (9211-8i IT) | Windows Server 2016 DataCenter med Hyper-V

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Sep 2002

@Calby:
Kollade lite på det nu. Det ska ju funka med freenas, och med de guider som finns så skulle jag kanske kunna klara av att installera det också. Dock har jag inte lyckats med jails tidigare för transmission t.ex. utan fått ful-installera det direkt mot freenas...
Däremot så verkar det som att det slutar fungera titt som tätt när crashplan gör uppdateringar. Det låter inte lockande för mig...

Trädvy Permalänk
Medlem
Registrerad
Jun 2012
Skrivet av Rauf:

@Calby:
Kollade lite på det nu. Det ska ju funka med freenas, och med de guider som finns så skulle jag kanske kunna klara av att installera det också. Dock har jag inte lyckats med jails tidigare för transmission t.ex. utan fått ful-installera det direkt mot freenas...
Däremot så verkar det som att det slutar fungera titt som tätt när crashplan gör uppdateringar. Det låter inte lockande för mig...

Skippa freenas, jag personligen föredrar Ubuntu LTS som server OS om jag inte kan köra Windows server.

Med Ubuntu server (utan desktop) så kan du få allt att spinna som du vill utan problem och det finns gott om guider.

Edit:
Jag kör backup var tredje timme mot en externHDD som i sin tur gör backup på natten mot CrashPlan

Skickades från m.sweclockers.com

Supermicro X9SRI-F | Xeon E5-2690 v2 | 128GB 1600MHz RDIMM | Dell Perc H200 (9211-8i IT) | Windows Server 2016 DataCenter med Hyper-V

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Sep 2002

Jag testade fyra olika tjänster igår på min windowsburk och alla var horribelt långsamma. Kommer ta en månad att ladda upp allt vid första synkningen, sen lång tid för varje synk. Och skulle man behöva utnyttja backupen så tar det orimligt lång tid att återställa också. Jag för köra på andra lösningar.
Tack för hjälpen ändå.

Trädvy Permalänk
Medlem
Registrerad
Mar 2016

@Rauf: Det hade varit väldigt intressant om du kunde utveckla det lite, vilka tjänster provade du, och vilka hastigheter fick du (och vad hade tjänsterna för utlovade hastigheter)

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2007
Skrivet av Rauf:

Jag testade fyra olika tjänster igår på min windowsburk och alla var horribelt långsamma. Kommer ta en månad att ladda upp allt vid första synkningen, sen lång tid för varje synk. Och skulle man behöva utnyttja backupen så tar det orimligt lång tid att återställa också. Jag för köra på andra lösningar.
Tack för hjälpen ändå.

Hos CrashPlan så finns där två inställningar som måste ändras om CPU:n gick i taket vid säkerhetskopiering. Om det ej var så att CPU:n gick i taket så har Du något annat problem. Min hastighet upp(faktiskt, inte effektiv) varierar mellan 6-120 Mbps och brukar snitta mellan 6-72 Mbps(faktisk, inte effektiv) per session. Kör just nu CrashPlan på CentOS 6.5 men har testat inför en migrering inför ZFS även på NAS4Free och FreeBSD 10.3 och 11. Krävdes lite Linux kompatibilitetsbibliotek och sedan kunde jag köra den både i jails och utan jails som en demon i ett OS utan X. All administration utav demonen sker via en klient på en annan dator som kör Windows.

Grundregel för felsökning: Bryt och begränsa.

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Sep 2002

De jag testade var idrive, sos, crashplan och onedrive (via tredjeparts synkapp). Idrive och sos hade jag ca 5.5Mb/s (kollade i taskman). Onedrive var något bättre men varierade rätt kraftigt mellan nästan ingenting och toppar på runt 70Mb/s. Genomsnittlig överföring var rätt låg även med onedrive. Crashplan stod det bara väntar på connection i 15min och sen gav jag upp. Får kanske testa det igen...

Ett annat problem med någon av tjänsterna (minns inte vilken) var att den typ zippade all data som skulle laddas upp till en enda fil innan den började ladda upp. Kul när man börjar synka 1TB

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013

Vet inte om Nextcloud finns som jail, men jag är säker på att ownCloud finns. Då kan du behålla ZFS på FreeNAS med dess fördelar, samt inte ändra någon nämnvärt. Förutom det får du tillgång till mobilappar, kalendersync, webmail (SMTP) osv osv.

Är du inte sugen på att köra det på FreeNAS så finns det färdiga VMs att tanka: https://github.com/nextcloud/vm/releases

Värt att testa kanske?

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Sep 2002

@enoch85:
Vet inte om jag missförstått dig men jag är inte ute efter att komma åt filerna på distans, det kör jag vpn för och det funkar bra. Jag behöver bara en säker och smidig backup.

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013

@Rauf: Aah, då missförstod jag frågeställningen.

Ja, inget som har med Windows att göra iaf. Sen kör jag FreeNAS själv. och därför blir det det jag rekommenderar. Alternativt, köp en NAS ställ någon annanstans, och vips så har du en "cloud" backup.

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Sep 2002

Sådär, jag provade crashplan igen på min windowsburk. Fick runt 50Mb/s då, så jag beslöt mig för att gå vidare med det till min FreeNAS. Beslutade mig för att uppdatera FreeNAS med allt vad det innebär för en som inte kan varken linux eller freebsd. Men nu har jag fått rätt på allting

För att få rätt på crashplan beslutade mig för att lägga in en ubuntu VM under FreeNAS, och köra synkningen mot crashplan från ubuntu. Har fått rätt på det också vad det verkar och nu har den börjat första synken mot crashplan cloud. Har kört ett par timmar nu och fick ca 50Mb/s initialt, nu har det gått ner mot 25, men det är kanske mer trafik nu på kvällen...

Trädvy Permalänk
Medlem
Plats
plats
Registrerad
Maj 2006
Skrivet av Rauf:

Sådär, jag provade crashplan igen på min windowsburk. Fick runt 50Mb/s då, så jag beslöt mig för att gå vidare med det till min FreeNAS. Beslutade mig för att uppdatera FreeNAS med allt vad det innebär för en som inte kan varken linux eller freebsd. Men nu har jag fått rätt på allting

För att få rätt på crashplan beslutade mig för att lägga in en ubuntu VM under FreeNAS, och köra synkningen mot crashplan från ubuntu. Har fått rätt på det också vad det verkar och nu har den börjat första synken mot crashplan cloud. Har kört ett par timmar nu och fick ca 50Mb/s initialt, nu har det gått ner mot 25, men det är kanske mer trafik nu på kvällen...

Har du provat att återställa? det är skillnad på att ladda upp jmf. med att dra hem ett par TB...

Nätverksnörd

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Sep 2002

Nej, har inte provat att återställa. Är det något problem eller?

Nu har uppladdningen gått ner till ca 10Mb/s. Någon som vet varför den sjunker så lågt efter ett tag? Det hjälper inte att pausa och återuppta... Jag har även provat att öka mängden minne programmet kan nyttja.

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2007
Skrivet av Rauf:

Nej, har inte provat att återställa. Är det något problem eller?

Nu har uppladdningen gått ner till ca 10Mb/s. Någon som vet varför den sjunker så lågt efter ett tag? Det hjälper inte att pausa och återuppta... Jag har även provat att öka mängden minne programmet kan nyttja.

Hur mycket CPU drar java processen?
Skriv top i ett terminalfönster.

Grundregel för felsökning: Bryt och begränsa.

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Sep 2002

Det var förmodligen CPU-begränsat, gissar att 1 kärna från en G3420 virtualiserad med bhyve i FreeNas inte ger så mycket kraft. Jag fick 100Mbit upload (har 100/100 från isp) när jag stängde av deduplication helt via xml-filen. Laddade på fint tills den kom upp i 95 % av mina 1.2TB, sen skönk hastigheten till 1Mbit...
Kunde inte få upp den igen och till slut så kunde den inte ansluta mot servern ens. Så jag installerade om crashplan och efter en lång stunds adopt så har nu all data laddats upp under natten. Vet inte hur snabbt det gick dock. Nu kör den en dock en "pruning" som tar typ 10 timmar. Vad jag kan se så belastar det inte CPUn särskilt hårt alls, och minne verkar den inte kräva så jättemycket heller. Vet inte varför det sån tid nu...

Ger snart upp det här och kör någon form av oregelbunden synk via min vanliga windows-burk istället...

Trädvy Permalänk
Medlem
Registrerad
Jun 2012
Skrivet av Rauf:

Det var förmodligen CPU-begränsat, gissar att 1 kärna från en G3420 virtualiserad med bhyve i FreeNas inte ger så mycket kraft. Jag fick 100Mbit upload (har 100/100 från isp) när jag stängde av deduplication helt via xml-filen. Laddade på fint tills den kom upp i 95 % av mina 1.2TB, sen skönk hastigheten till 1Mbit...
Kunde inte få upp den igen och till slut så kunde den inte ansluta mot servern ens. Så jag installerade om crashplan och efter en lång stunds adopt så har nu all data laddats upp under natten. Vet inte hur snabbt det gick dock. Nu kör den en dock en "pruning" som tar typ 10 timmar. Vad jag kan se så belastar det inte CPUn särskilt hårt alls, och minne verkar den inte kräva så jättemycket heller. Vet inte varför det sån tid nu...

Ger snart upp det här och kör någon form av oregelbunden synk via min vanliga windows-burk istället...

Eller så köper du en billig NAS och sätter in hemma hos någon annan så kan du ha rsync eller liknande över mot den.
Då kontrollerar du din egen data med.

Jag har precis börjat gått över helt till att kunna kontrollera all min egna data t.o.m e-post.
Inte för att jag behöver men det är skönt att veta att jag har krypterat allt min data och ingen annan kommer åt den.

Supermicro X9SRI-F | Xeon E5-2690 v2 | 128GB 1600MHz RDIMM | Dell Perc H200 (9211-8i IT) | Windows Server 2016 DataCenter med Hyper-V

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2007
Skrivet av Rauf:

Det var förmodligen CPU-begränsat, gissar att 1 kärna från en G3420 virtualiserad med bhyve i FreeNas inte ger så mycket kraft. Jag fick 100Mbit upload (har 100/100 från isp) när jag stängde av deduplication helt via xml-filen. Laddade på fint tills den kom upp i 95 % av mina 1.2TB, sen skönk hastigheten till 1Mbit...
Kunde inte få upp den igen och till slut så kunde den inte ansluta mot servern ens. Så jag installerade om crashplan och efter en lång stunds adopt så har nu all data laddats upp under natten. Vet inte hur snabbt det gick dock. Nu kör den en dock en "pruning" som tar typ 10 timmar. Vad jag kan se så belastar det inte CPUn särskilt hårt alls, och minne verkar den inte kräva så jättemycket heller. Vet inte varför det sån tid nu...

Ger snart upp det här och kör någon form av oregelbunden synk via min vanliga windows-burk istället...

Min Java(CrashPlan instansen) drar cirka 0,9% CPU per Mbit/s. När jag hade standardinställningarna så drog den cirka 95% CPU per 2 Mbit/s. Lade till en extra kärna så såg man att hastigheten förbättrades, men inte till det man haft från början. Stängde av deduplicering i inställningarna samt manuellt i XML-filen(satte 1 byte som max värde för deduplicering) och då spann den loss. Just nu kör den på mellan 72-96 Mbit/s enligt iftop.

Grundregel för felsökning: Bryt och begränsa.

Trädvy Permalänk
Medlem
Registrerad
Jun 2012

Jag har nu börjat prövat Jottacloud och det verkar faktist spinna på bra.
Fungerar riktigt smidigt och Jottacloud ligger i Norge så då är man enligt lagarna där mer skyddad än vad man är mot Crashplan som ligger i USA.

Supermicro X9SRI-F | Xeon E5-2690 v2 | 128GB 1600MHz RDIMM | Dell Perc H200 (9211-8i IT) | Windows Server 2016 DataCenter med Hyper-V

Trädvy Permalänk
Medlem
Registrerad
Feb 2017

För egen del förespråkar jag egenkrypterad inkrementell backup eller att du ställer en egen offside maskin nån stans.
Vill du inte bygga något själv med exempelvis gpg och AWS så finns exempelvis tarsnap

Trädvy Permalänk
Medlem
Registrerad
Jun 2012
Skrivet av Veni:

Min Java(CrashPlan instansen) drar cirka 0,9% CPU per Mbit/s. När jag hade standardinställningarna så drog den cirka 95% CPU per 2 Mbit/s. Lade till en extra kärna så såg man att hastigheten förbättrades, men inte till det man haft från början. Stängde av deduplicering i inställningarna samt manuellt i XML-filen(satte 1 byte som max värde för deduplicering) och då spann den loss. Just nu kör den på mellan 72-96 Mbit/s enligt iftop.

Kan du skriva exakt vad du ändrade i xml filen?
Skulle uppskattas

Edit:
Antar att du ändrade följande

<dataDeDupAutoMaxFileSize>1073741824</dataDeDupAutoMaxFileSize> <dataDeDupAutoMaxFileSizeForWan>1</dataDeDupAutoMaxFileSizeForWan> <dataDeDuplication>MINIMAL</dataDeDuplication>

Men hur ändrade du dom? Skrev du 1 på båda och sedan OFF på dataDeDuplication?

Supermicro X9SRI-F | Xeon E5-2690 v2 | 128GB 1600MHz RDIMM | Dell Perc H200 (9211-8i IT) | Windows Server 2016 DataCenter med Hyper-V

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2007
Skrivet av Calby:

Kan du skriva exakt vad du ändrade i xml filen?
Skulle uppskattas

Edit:
Antar att du ändrade följande

<dataDeDupAutoMaxFileSize>1073741824</dataDeDupAutoMaxFileSize> <dataDeDupAutoMaxFileSizeForWan>1</dataDeDupAutoMaxFileSizeForWan> <dataDeDuplication>MINIMAL</dataDeDuplication>

Men hur ändrade du dom? Skrev du 1 på båda och sedan OFF på dataDeDuplication?

Här ser Du mina 1:or :

<compression>OFF</compression> <dataDeDupAutoMaxFileSize>1</dataDeDupAutoMaxFileSize> <dataDeDupAutoMaxFileSizeForWan>1</dataDeDupAutoMaxFileSizeForWan> <dataDeDuplication>MINIMAL</dataDeDuplication> <encryptionEnabled>true</encryptionEnabled>

Tänk på att denna lösning enbart gäller om din CrashPlan/Java ligger på runt 99% CPU tid och Du inte får typ 100-110 Mbit/s upp(kolla med iftop+top/aktivitetshanteraren).

Grundregel för felsökning: Bryt och begränsa.

Trädvy Permalänk
Medlem
Plats
plats
Registrerad
Maj 2006

Prova att återställa några Rb, från resp. Leverantör. Vad får ni för snitt hastigheter då ...

Skickades från m.sweclockers.com

Nätverksnörd