Liten smidig backup lösning baserad på Freenas/Nas4Free

Trädvy Permalänk
Medlem
Registrerad
Maj 2004

Liten smidig backup lösning baserad på Freenas/Nas4Free

Hej,
Jag har funderingar på att bygga en Freenas/Nas4free maskin för backup, krav är minst 4 diskar i raid5. 4st WD red 4TB kommer det att vara.

Vilken hårdvara hade ni byggt detta på? Maskinen kommer vara igång 24/7. Inget krav på Hotswap men krav på hdd tray. iLO/IMPI mm är inget krav men hade varit nice. HPE microserver Gen8 hade varit perfekt. HPE microserver 10 har fått riktigt dålig kritik så den känns utesluten.

Inga rekommendationer på NAS, typ Synology, Netgear mm, då jag vill köra Freenas/Nas4Free.

/Patrik

Trädvy Permalänk
Medlem
Registrerad
Feb 2017

iXSystems har byggt den själv redan. Jag skulle inte byggt en så liten med någon annan hårdvara än vad FreeNAS Mini är ihopsat av.

Sen bör du inte köra RAIDZ1 i en backuplösning. Bättre att bara köra dubbla par speglade diskar. Att byta en trasig disk kommer gå mycket snabbare.

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Örebro
Registrerad
Okt 2001

Tänk på att RAID (Redundant Array of Independent Disks) inte är ämnat för backup, och skulle INTE rekommendera dig att köra backup i någon form av RAID.

RAID skyddar för hårdvarufel, det finns många fel som inte hanteras eller hanteras bra av RAID:
* File corruption
* Human error (deleting files by mistake)
* Catastrophic damage (someone dumps water onto the server)
* Viruses and other malware
* Software bugs that wipe out data
* Hardware problems that wipe out data or cause hardware damage (controller malfunctions, firmware bugs, voltage spikes, ...)

Redundans är inte backup

Referenser:
https://www.securedatarecovery.com/blog/why-raid-systems-do-not-replace-the-need-for-data-backup
http://blog.open-e.com/why-raid-is-not-a-backup/
http://www.petemarovichimages.com/2013/11/24/never-use-a-raid-as-your-backup-system/

Trädvy Permalänk
Medlem
Registrerad
Feb 2017

Alla fräna funktioner som skyddar mot det du nämner i ZFS fungerar bara med redundans dock..

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Falun
Registrerad
Mar 2008
Skrivet av GonAce:

* File corruption
* Human error (deleting files by mistake)
* Catastrophic damage (someone dumps water onto the server)
* Viruses and other malware
* Software bugs that wipe out data
* Hardware problems that wipe out data or cause hardware damage (controller malfunctions, firmware bugs, voltage spikes, ...)

Skrivet av Garmzon:

Alla fräna funktioner som skyddar mot det du nämner i ZFS fungerar bara med redundans dock..

Det enda i listan där du kan hävda att ZFS skyddar mot är file corruption. Lägger du till snapshots så kanske man kan sträcka sig till human error och viruses, men det är ju förutsatt att någon inte raderar även dessa.

Med det sagt kör jag Freenas med RAID-Z. Kör sedan borg backup till annan plats för backup, så bara man är medveten om vad som händer om den där burken i källaren inte existerar i morgon så tycker jag det är ett superbra system.

Ska du tvunget ha hårddiskvaggor är nog faktiskt Freenas Mini ett bra köp. De är dyra och börjar bli till åren, men just att du ska ha vaggor gör att det är svårt att hitta konkurrenter.

Trädvy Permalänk
Medlem
Registrerad
Feb 2017

ZFS skyddar mot hårdvarufel och korruption, snapshots skyddar mot handhavandefel, mjukvarufel och malware.

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

Det är lite svårt att ge rekommendationer innan man vet vad du vill ta backup av - typ av system, OS, etc?

ZFS med snapshots + remote snaps är jag nöjd med. Att kunna browsa snapshots genom vanlig terminal/valfri file explorer för att återställa enstaka filer är verkligen smidigt.

Skrivet av GonAce:

Tänk på att RAID (Redundant Array of Independent Disks) inte är ämnat för backup, och skulle INTE rekommendera dig att köra backup i någon form av RAID.

Inget av de saker du listar är du skyddad emot utan RAID heller så förstår inte vad du egentligen vill peka på.
(kanske faktumet att man inte kan vara helt säker/skyddad med RAID på en backup-storage, vilket är sant, men det gäller iprincip alla lösningar och något man bör vara införstådd på)

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Örebro
Registrerad
Okt 2001

@moron: Jo visst, är man skyddad emot det med en ordentlig backup strategi flera automatiserade off-site backuper på magnetband skyddar emot precis allt på listan. Sedan kan man alltid argumentera att man aldrig är 100% säker, vilket är sant, men att använda en teknik och strategi och både är lämpad och tekniskt designad för ändamålte är betydligt säkrare.

Sedan kan jag förstå att man som privatperson inte kan ha magnetband i flera olika världsdelar. Men faktum kvarstår, RAID är inte backup, det lämpar sig oerhört dåligt för det och bör int användas som backup.

Min poäng är egentligen bara att RAID inte är designat eller ämnat till att användas som backup, man kör ju inte Le Mans på en sparkcykel även om det rent teoretiskt är möljigt.

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008
Skrivet av GonAce:

@moron: Jo visst, är man skyddad emot det med en ordentlig backup strategi flera automatiserade off-site backuper på magnetband skyddar emot precis allt på listan. Sedan kan man alltid argumentera att man aldrig är 100% säker, vilket är sant, men att använda en teknik och strategi och både är lämpad och tekniskt designad för ändamålte är betydligt säkrare.

Sedan kan jag förstå att man som privatperson inte kan ha magnetband i flera olika världsdelar. Men faktum kvarstår, RAID är inte backup, det lämpar sig oerhört dåligt för det och bör int användas som backup.

Min poäng är egentligen bara att RAID inte är designat eller ämnat till att användas som backup, man kör ju inte Le Mans på en sparkcykel även om det rent teoretiskt är möljigt.

Jag kan såklart inte argumentera emot att sparat på band är säkrare emot filkorruption/malware och annat, men det är inte direkt ett konstruktivt svar på TS fråga.

Köper fortfarande inte att RAID lämpar sig _dåligt_ för backup, men det finns såklart bättre strategier - ingen av vilka som TS kommer använda/vilja använda.

Backup till en ( ev timerinställd ) dator lokal samt replikation/snaphots till något moln är fullgott skydd för de flesta lite mer avancerad användarna. Den lokala stationen kan vara en bandstation då

En server här, några servrar där.

Trädvy Permalänk
Medlem
Registrerad
Feb 2017

Om du inte kan säkerställa datat du skrivit till banden är du tillbaka på ruta ett ändå. ZFss checksummar alla block vilket gör att dom går att verifiera efter skrivning..

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Helsingborg
Registrerad
Maj 2003
Skrivet av GonAce:

Tänk på att RAID (Redundant Array of Independent Disks) inte är ämnat för backup, och skulle INTE rekommendera dig att köra backup i någon form av RAID.

Vänta nu här. Det är absolut inget fel på att ha RAID som backup. RAID är inte i sig själv backup. Men så länge du har 2 exemplar av filen, på minst två helt oberoende ställen, är det helt ok att det ena stället (fan, båda.) består av en RAID-lösning.

Allting jag skriver är om inget annat uttrycks, min åsikt! Ingenting måste vara dagens sanning enligt din åsikt, och gör du antaganden baserade på mina åsikter hoppas jag att du övervägt mer än bara just min åsikt.

Trädvy Permalänk
Medlem
Plats
Örebro
Registrerad
Okt 2001

@moron: Skulle inte säga att det var det, jag rekommenderar inte OP att använda RAID när det kommer till backup då det varken lämpar sig eller är designat för det. Sedan går det självklart att använda det till det, men på egen risk då.

Det är väll alltid bra att informera om vad en teknik är designad för och inte, så får den som ställer fårgan all fakta på bordet och kan göra ett bättre val även om det i slutändan är att köra backup med hjälp av en RAID-array.

@-=Mr_B=- Det är inget fel att ta cykeln och köra Le Mans heller, men kanske inte lämpar sig bäst att göra så. Jag framför bara informationen att RAID inte är en backuplösning och är så by design.

RAID är designat för data redundans, prestanda förbättring, eller båda inte backup. Jag ville bara informera om detta, hur personen i fråga sedan gör är hans val och väljer säkert det som lämpar honom bäst.

Citat:

RAID is not a Backup
RAID in its entirety cannot completely replace backup. RAID 0, for instance, does not even replicate the data within its disks, meaning that any corrupt data block will inevitably result in data loss. RAID 1, conversely, does store at least two instances of every file distributed between two disks, thereby ensuring that the failure of one of them will inflict no damage on the other. So in some sense RAID 1 (or RAID 5, which can also stand a failure of one drive from its structure) can be regarded as a form of local backup.

It, however, becomes a backup only when it is a copy of your files - that means that if you have the one and only copy of your files on the RAID - you cannot consider it a backup. So, if you have a copy of your files on RAID 1 or RAID 5 - you can consider it a backup. But having just one backup is never enough, not to mention the importance of having at least two local backups on two physically independent storage devices and at least one cloud backup, as per the industry's best practices.

Although the RAID is unable to replace backup by itself, it may very well serve as an auxiliary to your backup storage devices or services. For instance, you may back up your critical data directly to RAID 1, thus automatically creating two identical backups. Similarly, you can back up a RAID itself; that'll be fairly easy as your operating system regards RAIDs as regular hard drives, meaning that you can back up the data in the same manner as the data stored on your computer's internal storage.

Nu jobbar jag ju inte med it-drift längre utan sadlade om till Systemutvecklare för många år sedan, men av min erfarenhet är RAID något som lämpar sig bäst för det RAID är designat för.

Men absolut går det att göra det, och att ha två RAID-arrayer på två olika platser är ju aboslut ett alternativ även om jag perosnligen har åsikten att det inte är en bra lösning så finns det säker de som detta passar för.

Trädvy Permalänk
Medlem
Plats
Helsingborg
Registrerad
Maj 2003
Skrivet av GonAce:

RAID är designat för data redundans, prestanda förbättring, eller båda inte backup. Jag ville bara informera om detta, hur personen i fråga sedan gör är hans val och väljer säkert det som lämpar honom bäst.

Nu jobbar jag ju inte med it-drift längre utan sadlade om till Systemutvecklare för många år sedan, men av min erfarenhet är RAID något som lämpar sig bäst för det RAID är designat för.

Men absolut går det att göra det, och att ha två RAID-arrayer på två olika platser är ju aboslut ett alternativ även om jag perosnligen har åsikten att det inte är en bra lösning så finns det säker de som detta passar för.

Milde tid. Dina länkar, och ditt citat, säger exakt samma sak som jag gör. RAID, är inte backup. Backup, är att ha data på mer än ett ställe. RAID kan utan problem vara ett, eller flera av de här ställena. I fallet TS tar upp från början, så vill han ha en NAS som backup, med andra ord, alla data kommer finnas på primärsystemet, och på NAS'en. Det är två ställen, och de data som finns på två ställen, uppfyller kraven för att vara en "backup".
Det enda egentliga problemet är att man rimligtvis låter NAS'en vara igång 24/7, och det är kontraproduktivt. Men det blir inte bättre för att man ersätter RAID'en med en bandstation. Så länge den är online, är den utsatt för samma risker som allt annat på nätverket.

Allting jag skriver är om inget annat uttrycks, min åsikt! Ingenting måste vara dagens sanning enligt din åsikt, och gör du antaganden baserade på mina åsikter hoppas jag att du övervägt mer än bara just min åsikt.

Trädvy Permalänk
Medlem
Plats
Örebro
Registrerad
Okt 2001

@-=Mr_B=-: Och du verkar ta till dig att jag i början bara påpekade bristerna med RAID som backup, hade kunnat vara end of styr där......

Trädvy Permalänk
Medlem
Registrerad
Feb 2017

Att inte spara sin _backup_ på redundant media så som ZFS är galet feltänkt..

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Helsingborg
Registrerad
Maj 2003
Skrivet av GonAce:

@-=Mr_B=-: Och du verkar ta till dig att jag i början bara påpekade bristerna med RAID som backup, hade kunnat vara end of styr där......

Du försöker hävda att RAID är olämpligt att använda som backup yta. Det är helt enkelt fel. RAID är inte backup i sig själv, men mycket lämpligt som faktiskt backup lagring.

Allting jag skriver är om inget annat uttrycks, min åsikt! Ingenting måste vara dagens sanning enligt din åsikt, och gör du antaganden baserade på mina åsikter hoppas jag att du övervägt mer än bara just min åsikt.

Trädvy Permalänk
Medlem
Plats
Örebro
Registrerad
Okt 2001

@-=Mr_B=-: Det är precis så det är, det kanske är tekniskt möjigt men varken tekniken är designad eller ämnad för det. RAID kanske i bästa fall kan fungera som ett mellan-lager innan en faktiskt backup är gjord.

Finns ingen som värderar sin backup som enbart använder en eller flera RAID arrayer för att lagra sin backup på...

Om du tänker ett steg längre, hur många drift-leverantörer använder en eller flera RAID-arrayer som backup, jag skulle våga påstå att ingen av de större och tekniskt kompetenta gör så. Av just den anledningen jag påpekar. End of story.

Trädvy Permalänk
Medlem
Registrerad
Feb 2017

@GonAce Men ge dig.. backup på ett filsystem som ZFS är idealt.. dataintegritet är garanterad över tid om du har redundans och replikering är otroligt enkelt.. ingen hävdar att en enda kopia av data är backup.. men att backa upp säg en laptop på FreeNAS eller backa upp FreeNAS på AWS är en av få garanter idag för dataintegritet..

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Örebro
Registrerad
Okt 2001

@Garmzon: ZFS är ett filsystem och LVM, RAID är en virtualiseringsteknik för lagring så förstår inte riktigt vad ZFS har med just denna diskussion om RAID har att göra.

Trädvy Permalänk
Medlem
Plats
Kungsbacka
Registrerad
Sep 2004

@GonAce: hur tycker du att det är lämpligt att spara stora datamängder om nu inte RAID är acceptabelt?

Trädvy Permalänk
Medlem
Plats
Helsingborg
Registrerad
Maj 2003
Skrivet av GonAce:

förstår inte riktigt vad ZFS har med just denna diskussion om RAID har att göra.

ZFS är mjukvaruRAID, med scrubbing och verifikation av data integritet, precis som vilken bättre RAIDkontroller som helst...

Allting jag skriver är om inget annat uttrycks, min åsikt! Ingenting måste vara dagens sanning enligt din åsikt, och gör du antaganden baserade på mina åsikter hoppas jag att du övervägt mer än bara just min åsikt.

Trädvy Permalänk
Medlem
Plats
Örebro
Registrerad
Okt 2001

@-=Mr_B=-: Nej, ZFS (Z File System) är ett filsystem och LVM men tillhanda håller b.la. mjukvaru-RAID genom ZFS-Z schemat! ZFS tillhandahåller också kryptering men skulle ju inte påstå att ZFS är en crypto service för det.

Skämt och sido, ZFS snapshot fungerar bra så länge man kör off-site backup med hjälp av zfs send, gjort precis på det sättet många gånger tidigare.

@joakim99: Svårt att säga, beror på ekonomi men för en privatperson skulle dock RAID fungera så länge man är medveten om bristerna och täcker upp för detta, så hade jag snålat hade jag nog satt upp RAID på två platser men jag hade då varje natt gjort en hard backup på magnetband.

Trädvy Permalänk
Medlem
Registrerad
Feb 2017

@GonAce
Vad har LVM med ZFS att göra?
OpenZFS stöder inte kryptering än, men man jobbar på det..
Redundans är inbyggd i ZFS, det är ingen påbyggnad.. är man bara påläst när man konfigurerar sina pooler finns inga ”brister” att vara medveten om..
Att ”skicka” snapshots är en bekväm backupmetod men inte det primära syftet. Primärt är snapshot en metod för att ”låsa” data i en viss tidpunkt, för att exempelvis kunna rullantillbaka ett OS till före en uppdatering, reversera effekterna av skadlig kod/användare eller som sagt, skicka data från en viss tidpunkt till ett annat system/media

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Registrerad
Feb 2017
Skrivet av GonAce:

@Garmzon: ZFS är ett filsystem och LVM, RAID är en virtualiseringsteknik för lagring så förstår inte riktigt vad ZFS har med just denna diskussion om RAID har att göra.

OP frågade inte om RAID, det är du som envisas med att tjata om det.. vi andra pratar om OpenZFS

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Örebro
Registrerad
Okt 2001

@Garmzon: RAID-Z nämndes, jag påpekade (eller åt minstonde ville jag framföra) att man inte enskilt ska förlita sig på någon form av RAID sedan detta inte är ämnat för backup.

ZFS och RAID-Z fungerar utmärkt så länge man inte missar själva "backup" streategin och använder sig utav zfs send till något off-site mål.

ZFS är inte bara ett filsystem utan också en LVM (Huruvida det är så i OpenZFS minns jag inte). Sedan är ju inte OP påläst heller varav han frågar, så att anta att han förstår brister eventuella brister är ju inte heller något man böra göra.

OpenZFS nändes först i ditt inlägg nu, jag har aldrig påstått att ZFS inte har redundans, men jag har påpekat att redundans != backup.

Sedan kan du ju alltid läsa manualen för OpenZFS som klart och tydligt säger "Remember that ZFS alone is not a substitute for a good backup strategy."

Trädvy Permalänk
Medlem
Plats
Helsingborg
Registrerad
Maj 2003
Skrivet av GonAce:

@-=Mr_B=-: Nej, ZFS (Z File System) är ett filsystem och LVM men tillhanda håller b.la. mjukvaru-RAID genom ZFS-Z schemat! ZFS tillhandahåller också kryptering men skulle ju inte påstå att ZFS är en crypto service för det.

Citat:

ZFS is a combined file system and logical volume manager designed by Sun Microsystems. The features of ZFS include protection against data corruption, support for high storage capacities, efficient data compression, integration of the concepts of filesystem and volume management, snapshots and copy-on-write clones, continuous integrity checking and automatic repair, RAID-Z and native NFSv4 ACLs.

källa

You. Were. Saying?

Skrivet av GonAce:

Sedan kan du ju alltid läsa manualen för OpenZFS som klart och tydligt säger "Remember that ZFS alone is not a substitute for a good backup strategy."

Ja? RAID, är inte backup. Backup, på RAID, är.
Med andra ord, du har inte en backup bara för att du har redundans på ditt system. Om du har en backup på ett system, som har redundans, har du dock fortfarande en backup. RAID, är varken lösningen, eller problemet. Det är bara en metod för att få en lagringsyta med hög tillgänglighet.

Allting jag skriver är om inget annat uttrycks, min åsikt! Ingenting måste vara dagens sanning enligt din åsikt, och gör du antaganden baserade på mina åsikter hoppas jag att du övervägt mer än bara just min åsikt.

Trädvy Permalänk
Medlem
Plats
Örebro
Registrerad
Okt 2001

@-=Mr_B=-: Sorry men du har ingen koll på vad du pratar om, allt du gör är att länka till en källa (wikipedia) som stärker precis det jag har sagt all along.

Jag har aldrig sagt att RAID tillsammans med en backup strategi inte är en god sådan, jag har sagt att RAID aldrig ska anses vara en bra backup strategi. Att kombinera RAID med en faktisk backup lösning kan absolut vara en god strategi.

ZFS är dugligt och är ett mycket trelig filsystem som jag har använt det många gånger tidigare, så länge man inte glömmer bort just steget som har med backup att göra. Där kan man b.la. använda zfs send som jag också tidigare sagt, som jag personligen använt för att skicka snapshots till faktiska backup siter.

Trädvy Permalänk
Medlem
Plats
Kungsbacka
Registrerad
Sep 2004
Skrivet av GonAce:

@joakim99: Svårt att säga, beror på ekonomi men för en privatperson skulle dock RAID fungera så länge man är medveten om bristerna och täcker upp för detta, så hade jag snålat hade jag nog satt upp RAID på två platser men jag hade då varje natt gjort en hard backup på magnetband.

Vilka brister har RAID i detta sammanhanget? Det är fortfarande backup vi pratar om.

Jag tror inte att det är så vanligt att privatpersoner gör backup till tape varje natt.

Trädvy Permalänk
Medlem
Registrerad
Aug 2016

Backup är inte samma sak som att lagra på band (även om man kan det)

Backup på datat är när du har data på minst två olika helt _oberoende_ lagringsmedia. En NAS med RAID hur stor den än är och hur många RAID-1 kopior den har av datat på diskarna - är fortfarande bara en _enda_ lagringsenhet, inte två....

Görs backup på innehållet i ovan nämnda NAS på en USB-disk, på en kassett i en bandmaskin eller skivor på optisk enhet som sedan fysiskt är bortkopplad och undanlagd - då först har man en backup i och med att datat finns på två olika _OBEROENDE_ media - även att lagra mot annan NAS i annan byggnad/stad eller lagra i molntjänst räknas dit.

Lagringsmediat i sig kan mycket väl vara en NAS med RAID, externa USB-hårddiskar, bandkassetter till bandmaskiner, optisk-media (DVD/Blueray-skivor), molntjänster - dessa ensamma i sig bestämmer inte om de är backup eller inte.

Trädvy Permalänk
Medlem
Registrerad
Feb 2017
Skrivet av GonAce:

@Garmzon: RAID-Z nämndes, jag påpekade (eller åt minstonde ville jag framföra) att man inte enskilt ska förlita sig på någon form av RAID sedan detta inte är ämnat för backup.

ZFS och RAID-Z fungerar utmärkt så länge man inte missar själva "backup" streategin och använder sig utav zfs send till något off-site mål.

ZFS är inte bara ett filsystem utan också en LVM (Huruvida det är så i OpenZFS minns jag inte). Sedan är ju inte OP påläst heller varav han frågar, så att anta att han förstår brister eventuella brister är ju inte heller något man böra göra.

OpenZFS nändes först i ditt inlägg nu, jag har aldrig påstått att ZFS inte har redundans, men jag har påpekat att redundans != backup.

Sedan kan du ju alltid läsa manualen för OpenZFS som klart och tydligt säger "Remember that ZFS alone is not a substitute for a good backup strategy."

Förstår inte vad du missförstått. Att skriva sina backups till ZFS är för mig givet. Aldrig jag förlitar mig på något utan block checksum. Block checksum spelar ingen roll ifall man inte har redundans, raidz eller mirror på ZFS språk. Ingen har nämt RAID.. RAID är något annat än RAIDZ..
Eftersom OP vill ha FreeNAS är ZFS givet, något alternativ finns nämligen inte längre.. att säga att ”RAID” inte lämpar sig för backup är sålunda FUD.. redundans är givet ifall man använder ZFS för backup. Det finns anledningar att köra utan redundans men definitivt inte om data man skriver är av betydelse..

ZFS Send är inte ett krav för att använda ZFS för backup.. ZFS kan utan problem vara mediet i alla led i en 3-2-1 backup lösning.. hur man skriver data från client till backup spelar mindre roll..

Skickades från m.sweclockers.com