Permalänk

Är rsnapshot riktig backup?

Hej!

Vill egentligen bara dubbelkolla att jag fattat allt korrekt.

Satte för en tid sen upp en VM (openSUSE) som rsnapshot-backup, som dagligen tar snapshots på min filserver-VMs (centOS7) NFS-share. Allt tuggar på fint vad jag kan se.

Vill bara dubbelkolla att jag förstår saken rätt att rsnapshot faktiskt tar en regelrätt backup på filerna?

Alltså om tex raidkortet för main-storage rasar på filservern, och jag fixar en ny raid osv osv -> bara öppna Dolphin och kopiera över all data från rsnapshot-servern till den nya raiden och allt är frid och fröjd?

Har läst på deras hemsida, vill bara dubbelkolla.
Tacksam för svar

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Permalänk
Medlem
Skrivet av BerraBing:

Alltså om tex raidkortet för main-storage rasar på filservern, och jag fixar en ny raid osv osv -> bara öppna Dolphin och kopiera över all data från rsnapshot-servern till den nya raiden och allt är frid och fröjd?

Vilken backupmetod du än använder så har du inte en backup föräns du testat att du kan återställa korrekt.

Permalänk
Skrivet av iXam:

Vilken backupmetod du än använder så har du inte en backup föräns du testat att du kan återställa korrekt.

Nej jag vet det.
Jag testade precis att kopiera en mapp från en snapshot till en test-mapp på main-storage och det fungerade ju.
Men jag har inte riktigt hårdvaran att sätta upp en extra raid på den storleken för att testa fullskalig återställning, därför jag ställde frågan här.
Har du erfarenhet/kunskap om rsnapshot så du kan svara på frågan?

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Permalänk
Medlem

Vad är syftet med din backup? Lagras den i samma fysiska dator som operativsystemet körs på?

Visa signatur

Ryzen 5800x @ 32gb 3200mhz @ 7tb ssd @ 3060ti Fractal r5 @ Arch
i5 4670k @ 24gb 1600mhz @ Fractal r3 @ 12tb ZFS @ Truenas Scale
Thinkpad T450 @ i5 5300u @ 16gb @ 512gb ssd @ 24+48wh batteri @ Debian

Permalänk
Skrivet av sleepyoh:

Vad är syftet med din backup? Lagras den i samma fysiska dator som operativsystemet körs på?

Syftet är att inte förlora all data om tex raidkortet rasar eller flera diskar packar ihop samtidigt. Hur så? Det var väl inte svar på min fråga?
Jag vet att man ska ha offsite backup osv men det har inte med detta att göra.

Skickades från m.sweclockers.com

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Permalänk
Medlem

Rsnapshot körs på filnivå, inte blocknivå, så det bryr sig inte om hur din data är fördelad på diskarna. Om operativsystemet bara visar en volym så ser rsnapshot bara en volym oavsett om diskarna under är raidade på ett eller annat sätt. På samma sätt bryr det sig inte om vad det skriver till, det kan vara ett usbminne eller en stor ZFS-array som gömmer sig där bakom.

Visa signatur

Det finns bara två sorters hårddiskar: de som har gått sönder och de som skall gå sönder.

Permalänk

@BerraBing: Jag har kört rsnapshot i flera år och det har räddat mig många gånger när man råkat ändra något som slutat fungera, då kan man lätt bara lyfta tillbaka de från rsnapshot maskinen på någon minut så är allt som vanligt igen

Permalänk
Medlem
Skrivet av BerraBing:

Syftet är att inte förlora all data om tex raidkortet rasar eller flera diskar packar ihop samtidigt. Hur så? Det var väl inte svar på min fråga?
Jag vet att man ska ha offsite backup osv men det har inte med detta att göra.

Skickades från m.sweclockers.com

Det har absolut att göra med vad som är "riktig backup", även om det kanske inte är svar på din direkta fråga.
I ett fall där backupen ligger på samma maskin så är det ju uppenbart så att det finns en mängd scenarion där den inte hjälper alls.

Rsnapshot håller iaf en kopia av filerna, men att du har många snapshots innebär inte att du har många kopior annat än i fall då filerna förändrats.

Visa signatur

Desktop: Ryzen 5800X3D || MSI X570S Edge Max Wifi || Sapphire Pulse RX 7900 XTX || Gskill Trident Z 3600 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Permalänk
Skrivet av zarkov:

Rsnapshot körs på filnivå, inte blocknivå, så det bryr sig inte om hur din data är fördelad på diskarna. Om operativsystemet bara visar en volym så ser rsnapshot bara en volym oavsett om diskarna under är raidade på ett eller annat sätt. På samma sätt bryr det sig inte om vad det skriver till, det kan vara ett usbminne eller en stor ZFS-array som gömmer sig där bakom.

Tackar för informationen, misstänkte att det var så.

Skrivet av ciscodisco:

@BerraBing: Jag har kört rsnapshot i flera år och det har räddat mig många gånger när man råkat ändra något som slutat fungera, då kan man lätt bara lyfta tillbaka de från rsnapshot maskinen på någon minut så är allt som vanligt igen

TACK! Där fick jag svaret på frågan jag ställde! Enkelt och direkt svar, bugar och bockar!

Skrivet av evil penguin:

Det har absolut att göra med vad som är "riktig backup", även om det kanske inte är svar på din direkta fråga.
I ett fall där backupen ligger på samma maskin så är det ju uppenbart så att det finns en mängd scenarion där den inte hjälper alls.

Rsnapshot håller iaf en kopia av filerna, men att du har många snapshots innebär inte att du har många kopior annat än i fall då filerna förändrats.

Men herregud, det var väl inte frågan jag ställde?
Jag vet exakt vad det innebär att ha en backup på samma fysiska maskin, jag kan ändå ställa till det i en VM eller hur? huset måste ju inte brinna ner för att jag ska ha behov av en backup eller?

Andra stycket du skrev svarade dock på min fråga, tack!

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Permalänk
Medlem
Skrivet av BerraBing:

Men herregud, det var väl inte frågan jag ställde?

Gillar attityden.

Visa signatur

Desktop: Ryzen 5800X3D || MSI X570S Edge Max Wifi || Sapphire Pulse RX 7900 XTX || Gskill Trident Z 3600 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Permalänk
Skrivet av evil penguin:

Gillar attityden.

Men snälla du, är så trött på folk som på det här forumet svarar på frågor som inte ställts och på ett sätt idiotförklarar frågeställaren..!
Jag vet exakt vad det innebär att ha lokal backup på samma fysiska maskin, det var inte den frågan jag ställde. Så varför känner du behovet att påpeka att det inte är fullständigt klockren backup?
Svara på frågan som ställdes istället så uppkommer inte attityden, eller känner du att du behöver visa andra hur fel dem gör?

Se tidigare svar i tråden, på korrekt svar på frågan jag ställde.

Uppläxad kan jag bli av andra, inte av folk man söker svar på en enkel fråga på ett forum som är till för att hjälpa varandra.

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Permalänk
Medlem
Skrivet av BerraBing:

Men snälla du, är så trött på folk som på det här forumet svarar på frågor som inte ställts och på ett sätt idiotförklarar frågeställaren..!
Jag vet exakt vad det innebär att ha lokal backup på samma fysiska maskin, det var inte den frågan jag ställde. Så varför känner du behovet att påpeka att det inte är fullständigt klockren backup?
Svara på frågan som ställdes istället så uppkommer inte attityden, eller känner du att du behöver visa andra hur fel dem gör?

Se tidigare svar i tråden, på korrekt svar på frågan jag ställde.

Uppläxad kan jag bli av andra, inte av folk man söker svar på en enkel fråga på ett forum som är till för att hjälpa varandra.

@evil penguin:

Det är faktiskt ännu tråkigare med TS som inte förstår varför vi som svarar på frågorna, ibland verkar som att vi idiotförklarar TS. Det gör vi inte (iaf inte jag och inte evil penguin heller i detta fall) man behöver dels ibland få en helhetsuppfattning av TS läge. Så man kan svara på frågan på ett bra sätt och inte behöva utgå ifrån gissningar/förutsättningar. Och sen den största orsaken är att man inte har en Susning om vilken nivå TS ligger på. Därför brukar man utgå ifrån att TS inte kan så mycket. Därmed kan det verka som att man blir idiotförklarad.
I detta fall var det faktiskt mer du som idiotförklarade han som försökte hjälpa dig än tvärtom.

Ett tillägg till gällande din fråga: Tänk på att ibland så behöver man ha mer eller mindre Exakt samma raidkort för att kunna återställa datan. Beroende på vad man hade från början. Så det kan vara bra att ha i åtanke så du inte står där med ett pajjat raidkort och så får du inte tag på ett som fungerar med din befintliga raid. Men har man riktigt raidkort från ex LSI så är det i regel inga problem att göra som du frågade om man kunde göra.
Och som också nämndes, och som du redan gjort. Prova i mellanåt att återställa backupen (om du inte har möjlighet att göra en Hel återställning) så gör iaf delar. Så det verkligen fungerar. Och gör det några ggr per år så du slipper upptäcka att det inte funkar.

Och det finns väldigt många trådar här om folk som ställer frågor om backup. Eller folk som behöver hjälp efter att servern ballat ur och man inte har någon backup. Eller att man trodde att man hade.

Visa signatur

.

Permalänk
Skrivet av fragwolf:

@evil penguin:

Det är faktiskt ännu tråkigare med TS som inte förstår varför vi som svarar på frågorna, ibland verkar som att vi idiotförklarar TS. Det gör vi inte (iaf inte jag och inte evil penguin heller i detta fall) man behöver dels ibland få en helhetsuppfattning av TS läge. Så man kan svara på frågan på ett bra sätt och inte behöva utgå ifrån gissningar/förutsättningar. Och sen den största orsaken är att man inte har en Susning om vilken nivå TS ligger på. Därför brukar man utgå ifrån att TS inte kan så mycket. Därmed kan det verka som att man blir idiotförklarad.
I detta fall var det faktiskt mer du som idiotförklarade han som försökte hjälpa dig än tvärtom.

Ett tillägg till gällande din fråga: Tänk på att ibland så behöver man ha mer eller mindre Exakt samma raidkort för att kunna återställa datan. Beroende på vad man hade från början. Så det kan vara bra att ha i åtanke så du inte står där med ett pajjat raidkort och så får du inte tag på ett som fungerar med din befintliga raid. Men har man riktigt raidkort från ex LSI så är det i regel inga problem att göra som du frågade om man kunde göra.
Och som också nämndes, och som du redan gjort. Prova i mellanåt att återställa backupen (om du inte har möjlighet att göra en Hel återställning) så gör iaf delar. Så det verkligen fungerar. Och gör det några ggr per år så du slipper upptäcka att det inte funkar.

Och det finns väldigt många trådar här om folk som ställer frågor om backup. Eller folk som behöver hjälp efter att servern ballat ur och man inte har någon backup. Eller att man trodde att man hade.

Ställde en fråga gällande en specifik mjukvara, förstår inte varför man ska blanda in min hårdvara eller backuplösning i det hela?
Men men, vissa har bara behov av att trycka ner andra uppenbarligen.
Vad är det som säger att jag inte har en offsite-backup hos exempelvis min farsa som har liknande hårdvara hemma?

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Permalänk
Medlem
Skrivet av BerraBing:

Ställde en fråga gällande en specifik mjukvara, förstår inte varför man ska blanda in min hårdvara eller backuplösning i det hela?
Men men, vissa har bara behov av att trycka ner andra uppenbarligen.
Vad är det som säger att jag inte har en offsite-backup hos exempelvis min farsa som har liknande hårdvara hemma?

Det är ingenting som säger att du har eller inte har. Lite det som är poängen, vi vet inte vad du har å inte har å vad du kan och inte kan Har inte avsikt att käfta med dig mer. Bara förklara varför det ibland kan verka som att vi idiotförklarar dig (andra TS). Det skadar inte om du kanske anger lite mer information i dina inlägg om du absolut inte tål att andra frågar tillbaka och försöker hjälpa dig. Det kan ibland vara svårt att veta Exakt vad för svar du önskar. Som sagt om vi vetat att du har skapligt bra koll på saker å ting så hade du troligen sluppit det inlägget där evil frågade om andra saker. Utan antingen svarat på att rsnapshot är EN bra backup och du kan flytta den till en annan dator.
Ibland kan man få lite bättre svar på frågan, men även information som kan vara nyttigt att ha gällande närliggande saker också. Mitt tips är (om du nu inte redan har offsitebackup) är att du sparar dina allra viktigaste saker på en plats till. Gällande att ha backupen i samma fysiska server/låda så krävs det brand, vattenskada eller blixtnedslag för att pajja diskarna. Åska är ju ganska vanligt, så det är ju inte fel att även tänka på det. Därför jag inte har backup i samma dator.

Visa signatur

.

Permalänk
Skrivet av fragwolf:

Det är ingenting som säger att du har eller inte har. Lite det som är poängen, vi vet inte vad du har å inte har å vad du kan och inte kan Har inte avsikt att käfta med dig mer. Bara förklara varför det ibland kan verka som att vi idiotförklarar dig (andra TS). Det skadar inte om du kanske anger lite mer information i dina inlägg om du absolut inte tål att andra frågar tillbaka och försöker hjälpa dig. Det kan ibland vara svårt att veta Exakt vad för svar du önskar. Som sagt om vi vetat att du har skapligt bra koll på saker å ting så hade du troligen sluppit det inlägget där evil frågade om andra saker. Utan antingen svarat på att rsnapshot är EN bra backup och du kan flytta den till en annan dator.
Ibland kan man få lite bättre svar på frågan, men även information som kan vara nyttigt att ha gällande närliggande saker också. Mitt tips är (om du nu inte redan har offsitebackup) är att du sparar dina allra viktigaste saker på en plats till. Gällande att ha backupen i samma fysiska server/låda så krävs det brand, vattenskada eller blixtnedslag för att pajja diskarna. Åska är ju ganska vanligt, så det är ju inte fel att även tänka på det. Därför jag inte har backup i samma dator.

Varför ska du, och andra, göra det så komplicerat?
Svara på frågan man ställer, liksom andra i tråden gjort..?

Skickades från m.sweclockers.com

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Permalänk

Det har gått upp för mig nu att man inte kan ställa en mjukvarufråga på swec utan att få dryga hw-svar på det. Bortse från denna tråden

Skickades från m.sweclockers.com

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Permalänk
Medlem
Skrivet av BerraBing:

Varför ska du, och andra, göra det så komplicerat?
Svara på frågan man ställer, liksom andra i tråden gjort..?

Skickades från m.sweclockers.com

Jag la mig i bara för att du tyckte du blev idiotförklarad när det var du som otrevlig mot en av de som svarade. Det var det enda. Försökte förklara varför man kan bli idiotförklarad bara. Och att det kanske inte är så trevligt om man själv är det mot dem som försöker hjälpa dig. Det var min enda poäng med det hela. Så har du förstått det så behöver vi inte föra tråden vidare.
Sen gav jag dig tilläggsinfo på din specifika fråga.

Btw när du sa regelrätt backup, menade du att det skulle räcka med att kopiera det till en ny hw och köra igång det? Och Nej det är inte meningen att trolla utan det var en genuin fråga.

Visa signatur

.

Permalänk
Medlem
Skrivet av BerraBing:

Ställde en fråga gällande en specifik mjukvara, förstår inte varför man ska blanda in min hårdvara eller backuplösning i det hela?
Men men, vissa har bara behov av att trycka ner andra uppenbarligen.
Vad är det som säger att jag inte har en offsite-backup hos exempelvis min farsa som har liknande hårdvara hemma?

Just den här inställningen att "jag ska minsann inte acceptera att någon främling där ute tagit sig tid att besvara min fråga på ett annat sätt än jag hade tänkt mig, den enda rimliga förklaringen är att de gör så för att djävlas med mig!" är ju dock rejält egocentrisk och fullkomligt kontraproduktiv.

Jag lämnar härmed diskussionen.

Visa signatur

Desktop: Ryzen 5800X3D || MSI X570S Edge Max Wifi || Sapphire Pulse RX 7900 XTX || Gskill Trident Z 3600 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Permalänk

Ber om ursäkt, hade några riktigt dåliga dagar var inte meningen att det skulle gå ut över er.

Tack för hjälpen!

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system

Permalänk
Medlem

Jag har kört rsnapshot några år och det har inte varit några problem med det. En sak att tänka på är att snapshottarna så småningom raderas beroende på hur många månader bakåt i tiden man valt att behålla dem. Så har man missat att en fil försvunnit så kan den gå förlorad så småningom om man inte har någon annan backup som man kan återställa ifrån. Man kan se det som att man tömmer soppåsarna i en soptunna och så länge inte soptunnan har hunnit tömmas kan man alltid rota igenom sina gamla soppåsar. Eller snarare kanske en soptumma som hela tiden töms från botten och fylls på uppifrån.

Man har kanske Daily snapshots i en vecka och weekly snapshots i en månad och monthly i 3 månader. En fil som ändrats dagligen kan man ju återställa från vilken dag som helst senaste veckan men sedan går man ännu längre bakåt så får man bara en version av filen per vecka och så vidare. Till slut så finns den inte kvar.

Jag kör rsnapshot från min server över internet till en raspberry pi på annan plats som har extern hårddisk. På min server har jag också snapshots men använder där de som finns i ZFS filsystem. Även dessa snapshots raderas så småningom. Kör också backuper över internet till CrashPlan men det är även där en liknande princip. Så de filer man är riktigt rädda om bör man väl bränna ut på skiva eller något.

Permalänk
Skrivet av ronnylov:

Jag har kört rsnapshot några år och det har inte varit några problem med det. En sak att tänka på är att snapshottarna så småningom raderas beroende på hur många månader bakåt i tiden man valt att behålla dem. Så har man missat att en fil försvunnit så kan den gå förlorad så småningom om man inte har någon annan backup som man kan återställa ifrån. Man kan se det som att man tömmer soppåsarna i en soptunna och så länge inte soptunnan har hunnit tömmas kan man alltid rota igenom sina gamla soppåsar. Eller snarare kanske en soptumma som hela tiden töms från botten och fylls på uppifrån.

Man har kanske Daily snapshots i en vecka och weekly snapshots i en månad och monthly i 3 månader. En fil som ändrats dagligen kan man ju återställa från vilken dag som helst senaste veckan men sedan går man ännu längre bakåt så får man bara en version av filen per vecka och så vidare. Till slut så finns den inte kvar.

Jag kör rsnapshot från min server över internet till en raspberry pi på annan plats som har extern hårddisk. På min server har jag också snapshots men använder där de som finns i ZFS filsystem. Även dessa snapshots raderas så småningom. Kör också backuper över internet till CrashPlan men det är även där en liknande princip. Så de filer man är riktigt rädda om bör man väl bränna ut på skiva eller något.

Tack för utförligt svar!
Det är ungefär så jag till slut förstod det

Har för närvarande bara daily och behåller sju, så jag kan ju inte gå så långt tillbaka.
Kanske är dumt...

Visa signatur

Klient: ASUS TUF Gaming X670E-Plus | AMD R9-7900X | Kingston FURY Beast DDR5-6000MHz 32GB | MSI GTX 1070Ti | Lian Li PC-O11XL | Cutom H20-loop ½"
Server: Supermicro H11SSL-i | Epyc 7551P | 8x16GB 2933 RDIMM | ConnectX5 2x25gig | 2xLSI 9400-16i | 14x4TB zfs-raid60 | NVMe/900p logs/cache/system