Ska bygga lagringsserver TrueNAS, åsikter mottages!

Permalänk

Ska bygga lagringsserver TrueNAS, åsikter mottages!

Tjenare!

Jag är säker på att ni är trötta på frågor om lagringsserverbyggen men här kommer en iaf. Jag är newbi på detta så jag kan verkligen behöva feedback

Applikation
Krypto, för att vara mer specifik Chia. Om du inte vet vad det är så går det ut på att lagra mycket stora filer på en/flera hårdisk(ar) för att sedan delta i ett lotteri. Man kan se det ungefär som dragning där antalet filer är ungefär samma som om du köper flera lotter. Ju mer filer ju större chans att vinna i dragningen.

Dessa filer är riktigt stora, runt 108+ gigabyte per styck. Det gör att det går åt massor med disk. Jag har experimenterat med en TrueNAS hemma och även om jag gillar den så har den massor med "sjukdommar". Jag är rätt säker på att det är för att hårdvaran jag valt inte är helt perfekt till TrueNAS.

Nu vill jag alltså bygga en från grunden och se till att all hårdvara faktiskt fungerar med TN.

System:
Moderkort X11SCH-LN4F
Intel Xeon E-2246G 6C/12T
Minne 16GB DDR4 ECC @ 2666 (för att sedan utökas när diskarna blir fler)
Raidkort Supermicro 8-port 12GSAS3 HBA
Chassi MRS-9136E1C.H4 - 36 disk max

Det finns vissa saker som jag inte hänger med på helt. För det första raidkortet. Filerna som lagras på servern är ganska "billiga" om man förlorar dem för att en disk krashar. Så det betyder att det kanske inte är vettigt att köra raid. Jag har kollat lite på den TrueNas jag kör nu och den gnäller hejdlöst när en disk blir över 80% full. Att då köra raid uppe på detta gör att jag tappar ännu mer lagring. Är det specifikt för TN att inte "klara" av diskar med mer än 80% utnyttjat, kanske får jag vänja mig vid det? Diskarna kostar ca 250-300kr per tb så det är ganska dyrt att tappa 20%.

Jag måste kunna komma åt filerna från servern genom en enhet. Det har visat sig att det fungerar utmärkt att mounta en nätverksenhet till windows så man får en enhetsbokstav på det. Det känns ju "så där" att mounta 36 olika enheter, men det är kanske det jag måste om jag inte vill köra raid?

Diskar kommer troligtvis någon i Seagate Exos-serie, mellan 12 och 16 TB.

Vad tror ni, har jag missat något viktigt?

Permalänk
Skrivet av theSwedGuy:

Det finns vissa saker som jag inte hänger med på helt. För det första raidkortet. Filerna som lagras på servern är ganska "billiga" om man förlorar dem för att en disk krashar. Så det betyder att det kanske inte är vettigt att köra raid.

Ja, för ditt use-case låter det bara som att du vill garantera tillgängligheten hos lagringsutrymmet, inte lagrad data.

Skrivet av theSwedGuy:

Det känns ju "så där" att mounta 36 olika enheter, men det är kanske det jag måste om jag inte vill köra raid?

Njae. Du kan använda någon form av logisk volymhantering för att slå ihop flera fysiska lagringsenheter till en logisk volym, eller RAID 0, som inte är redundant.

Skrivet av theSwedGuy:

Vad tror ni, har jag missat något viktigt?

Svårt att säga. Du har inte beskrivit vad som motiverar en delad lösning, där du behöver komma åt filerna på NASen från någon annan dator. Du har inte beskrivit vilka egenskaper hos TrueNAS du tycker är viktiga och skälen till att du valde just den lösningen.

Permalänk
Skrivet av Hieronymus Bosch:

Njae. Du kan använda någon form av logisk volymhantering för att slå ihop flera fysiska lagringsenheter till en logisk volym, eller RAID 0, som inte är redundant.

Ja, raid0 fungerar ju så. Om jag har säg, 6 diskar i raid0 och en av dem skär ihop så förlorar jag informationen på alla diskar? Då känns det mer vettigt att inte ha någon raid alls.

Citat:

Svårt att säga. Du har inte beskrivit vad som motiverar en delad lösning, där du behöver komma åt filerna på NASen från någon annan dator. Du har inte beskrivit vilka egenskaper hos TrueNAS du tycker är viktiga och skälen till att du valde just den lösningen.

Jag har sökt på naslösningar länge och TN är den som verkar ha fått bäst betyg av användare. Jag har använt gränssnittet lite och gillar det verkligen. Så på den vägen är det.

Det finns flera skäl till varför jag helst vill ha en NAS. Jag måste lagra tusentals filer på massor av disk. Det är enklast och mest kostnadseffektivt att ha en server för det. Alternativet är att köra massor av små servrar men det känns inte helt optimalt. På det här sättet så kan jag lagra allt på en eller flera servrar och sedan låta en enda dator hantera mina filer gentemot blockkedjan, så kallad "farming".

Permalänk
Medlem

System:
Moderkort X11SCH-LN4F
Intel Xeon E-2246G 6C/12T
Minne 16GB DDR4 ECC @ 2666 (för att sedan utökas när diskarna blir fler)
Raidkort Supermicro 8-port 12GSAS3 HBA
Chassi MRS-9136E1C.H4 - 36 disk max

Supermicro brukar göra fina grejor, Antar att du tänker använda SAS diskar, annars är det max 8 diskar på en sån kontroller.

Det finns vissa saker som jag inte hänger med på helt. För det första raidkortet. Filerna som lagras på servern är ganska "billiga" om man förlorar dem för att en disk krashar. Så det betyder att det kanske inte är vettigt att köra raid. Jag har kollat lite på den TrueNas jag kör nu och den gnäller hejdlöst när en disk blir över 80% full. Att då köra raid uppe på detta gör att jag tappar ännu mer lagring. Är det specifikt för TN att inte "klara" av diskar med mer än 80% utnyttjat, kanske får jag vänja mig vid det? Diskarna kostar ca 250-300kr per tb så det är ganska dyrt att tappa 20%.

Har du flera 100TB med plots lär du nog inte vilja plotta om dom för att en disk pajjar, så jag skulle definitivt köra med nån form av redundans. Med 36 diskar hade man som exempel kunnat köra 3 st 11+1 raid-z vdevs i samma pool och ha ett visst skydd.
80% varningen är nog rätt harmlös om du kör Chia som bara är stora filer som det bara läses från, använder du den mer som en generell filserver med blandad läs/skriv går väl prestandan ner när filsystemet börjar fyllas. Tror dessutom varnings nivån går att sätta i Truenas.

Jag måste kunna komma åt filerna från servern genom en enhet. Det har visat sig att det fungerar utmärkt att mounta en nätverksenhet till windows så man får en enhetsbokstav på det. Det känns ju "så där" att mounta 36 olika enheter, men det är kanske det jag måste om jag inte vill köra raid?

Du kan exportera ut all disk via ett specifikt dataset så länge dom ligger i samma ZFS pool. Om man inte vill ha redundans går det att lägga till diskarna en och en som massa "raid 0:or" i samma ZFS pool och på så sätt kunna exportera ut allt utrymme via en monteringspunkt/enhetsbokstav. Alternativt som jag skrev ovan att man lägger in en eller flera raid-z vdevs i samma pool

Permalänk
Skrivet av ddelin:

Supermicro brukar göra fina grejor, Antar att du tänker använda SAS diskar, annars är det max 8 diskar på en sån kontroller.

Nej, jag har tänkt köra SATA. Jag behöver inte någon jättehög dataöverföringshastighet och sedan är priset lite högre med. Jag har inte för avsikt att plotta på dessa diskar utan det är mer för långtidslagring. All plottning sköts av speciella "plottnoder" som sedan skickar färdiga plots till servern.

Jag skulle kunna bifoga länk till hårdvaran men är osäker om man får länka på forumet.

Skrivet av ddelin:

Har du flera 100TB med plots lär du nog inte vilja plotta om dom för att en disk pajjar, så jag skulle definitivt köra med nån form av redundans. Med 36 diskar hade man som exempel kunnat köra 3 st 11+1 raid-z vdevs i samma pool och ha ett visst skydd.

Jag tänker att om jag hade 36st individuella diskar så skulle jag aldrig få plotta om mer än en disk. Men om jag har någon form av raid så finns ju alltid risken att jag får plotta om en massa. Du skrev att man kunde köra 3st 11+1 raid-z. Innebär det en pool med tolv diskar och en disk är paritet? Eller är det så att pariteten sprids ut över alla 12 diskarna?

Jag ska kolla lite på den här lösningen. Jag tror att TrueNas har någon rekommendation om hur många diskar det bör var i en uppsättning.

Permalänk
Medlem

Nu är jag inte helt insatt på chia, men tror du kan ha plotarna sparade separat, på tex en raid grupp.
Resterande diskar skulle jag köra utan raid.
Dock hade jag kört Ubuntu direkt, slå ihop diskarna med mergerFS och dela med samba.

Permalänk
Skrivet av Sions:

Nu är jag inte helt insatt på chia, men tror du kan ha plotarna sparade separat, på tex en raid grupp.
Resterande diskar skulle jag köra utan raid.
Dock hade jag kört Ubuntu direkt, slå ihop diskarna med mergerFS och dela med samba.

Frågan är dock hur mkt utrymme jag tappar om jag skall köra raid. Jag kollade på en typ, där man har paritet över ett gäng diskar och kan då förlora en disk utan att det blir problem.

Men det visade sig sedan att när man bygger upp raiden igen när man sätter i den nya disken. Så tar man en stor risk för ett read-falure som inte går att återhämta sig från och då e man körd.

Jag håller på att undersöka det mer .

Permalänk
Medlem

Stämmer bra, därför du enbart har typ två små SSD diskar i raid 1 för plotter. Medans "datan" är på diskarna utan raid.

Permalänk

Det är så det är tänkt. Jag tror det kommer funka bra. Men måste undersöka risken för readfailes. Jag sett att några avfärdar detta som en risk helt och andra säger att risken är sjukt stor. Jag har dock svårt att se hur den kan vara sjukt stor. Men som sagt, måste kolla runt mer

Permalänk
Skrivet av theSwedGuy:

Ja, raid0 fungerar ju så. Om jag har säg, 6 diskar i raid0 och en av dem skär ihop så förlorar jag informationen på alla diskar? Då känns det mer vettigt att inte ha någon raid alls.

Så är det.

Skrivet av theSwedGuy:

Jag har sökt på naslösningar länge och TN är den som verkar ha fått bäst betyg av användare. Jag har använt gränssnittet lite och gillar det verkligen. Så på den vägen är det.

Det finns ytterligare några egenskaper som jag inte är säker på att TrueNAS hanterar, som också kan vara intressanta:
- Vill du lägga till nya lagringsenheter med andra storlekar och sedan sömlöst utöka NASens logiska volymer med den nya lagringsmängden?
- Vill du kunna ta bort lagringsenheter som blivit gamla eller för att ersätta dem med enheter med större lagringskapacitet utan att förlora lagrade data?
- Vill du kunna använda en snabbare lagringsenhet som skrivcache?

Skrivet av theSwedGuy:

Det finns flera skäl till varför jag helst vill ha en NAS. Jag måste lagra tusentals filer på massor av disk. Det är enklast och mest kostnadseffektivt att ha en server för det. Alternativet är att köra massor av små servrar men det känns inte helt optimalt. På det här sättet så kan jag lagra allt på en eller flera servrar och sedan låta en enda dator hantera mina filer gentemot blockkedjan, så kallad "farming".

Jamen, varför vill du ha lagringsenheterna i en maskin och köra själva chia-applikationen på en annan? Varför vill du ha fler kritiska delar i form av hård- och mjukvara som kan fallera?

Permalänk
Medlem

Nej, jag har tänkt köra SATA. Jag behöver inte någon jättehög dataöverföringshastighet och sedan är priset lite högre med. Jag har inte för avsikt att plotta på dessa diskar utan det är mer för långtidslagring. All plottning sköts av speciella "plottnoder" som sedan skickar färdiga plots till servern.

Jag skulle kunna bifoga länk till hårdvaran men är osäker om man får länka på forumet.

OK, men då tror jag du blir begränsad till 8 diskar som sagt, lådan du skall använda ser ut att ha SAS expanders i bakplanet så du kan köra alla 36 diskarna på en kontoller, men det kräver ju då givetvis SAS diskar. Prismässigt verkar det nästan inte skilja något på dom Seagate diskarna du skulle använda, men det kan ju begränsa återanvändningsbarheten i framtiden kanske.

Jag tänker att om jag hade 36st individuella diskar så skulle jag aldrig få plotta om mer än en disk. Men om jag har någon form av raid så finns ju alltid risken att jag får plotta om en massa. Du skrev att man kunde köra 3st 11+1 raid-z. Innebär det en pool med tolv diskar och en disk är paritet? Eller är det så att pariteten sprids ut över alla 12 diskarna?

Jag ska kolla lite på den här lösningen. Jag tror att TrueNas har någon rekommendation om hur många diskar det bör var i en uppsättning.

För att vara helt säker på det skulle du behöva skapa 36 pooler med en disk i varje, och sedan 36 datasets som du exporterar med CIFS eller NFS. Det jag menade med raid-z (som i princip är raid-5) är att du kan ha 3 uppsättningar med 11 datadiskar och en paritetsdisk, och sedan pytsar du in dessa 3 uppsättningar (vdevs) i samma ZFS pool, sedan går det att skapa ett dataset som kan utnyttja allt det aggregerade utrymmet. Detta gör ju dock att om du får ett dubbeldisk fel i samma vdev så tappar du allt data.
Ett annat alternativ är att skapa 3 st 11+1 raid-z vdevs och skapa 3 pooler med en vdev i varje, då tappar man bara 1/3 av datat vid dubbeldisk fel, men det blir ju då 3 CIFS exporter/enhetsbokstäver.

Tror man brukar rekommendera max 12 diskar per vdev, men kolla Truenas manualen.
En annan fördel med att köra raid i någon form i Truenas är att du i kombination med ECC minne har end-to-end checksumming hela vägen ner till disk, och ZFS kan reparera ev. fel som upptäcks vid ex. en scrub.

Permalänk
Medlem
Skrivet av ddelin:

OK, men då tror jag du blir begränsad till 8 diskar som sagt, lådan du skall använda ser ut att ha SAS expanders i bakplanet så du kan köra alla 36 diskarna på en kontoller, men det kräver ju då givetvis SAS diskar. Prismässigt verkar det nästan inte skilja något på dom Seagate diskarna du skulle använda, men det kan ju begränsa återanvändningsbarheten i framtiden kanske.

Nja, så länge Du har ett bakplan med en expander ifrån t.ex. LSI och ett HBA kort ifrån t.ex. LSI som 9211-4i så kan Du även köra väldigt många S-ATA lagringsenheter mot ett HBA kort på en kabel mellan HBA och bakplan.

På en 9211-4i så är det max 128 lagringsenheter. På en 9211-8i är det max 256 lagringsenheter.
D.v.s. max 128 enheter per port.

Naturligtvis så är prestandan det som kan bli lidande beroende på nyttjandemönster.

Så 36 S-ATA hårddiskar/halvledare ser jag inget problem med. Kör själv med en 9211-8i(hade dom redan hemma) på en server med enbart S-ATA enheter på ett bakplan ifrån Supermicro med expanderkrets ifrån LSI. 12 stycken fördelat på 2 st SSD och 10 st HDD med ZFS på FreeBSD.

Visa signatur

Grundregel för felsökning: Bryt och begränsa.

Permalänk
Skrivet av Hieronymus Bosch:

Så är det.
Det finns ytterligare några egenskaper som jag inte är säker på att TrueNAS hanterar, som också kan vara intressanta:
- Vill du lägga till nya lagringsenheter med andra storlekar och sedan sömlöst utöka NASens logiska volymer med den nya lagringsmängden?
- Vill du kunna ta bort lagringsenheter som blivit gamla eller för att ersätta dem med enheter med större lagringskapacitet utan att förlora lagrade data?
- Vill du kunna använda en snabbare lagringsenhet som skrivcache?

Att kunna köra ny lagringsenheter med olika storlekar vore nice. Förstås, men just nu vet jag inte om det är ett krav jag har. Men för flexibiliteten vore det smutt.

Att kunna ersätta lagringsenheter vore också nice. Men vet inte om det är ett krav.

Att avvända snabbare skrivcachegår väl med TN idag, eller?

Skrivet av Hieronymus Bosch:

Jamen, varför vill du ha lagringsenheterna i en maskin och köra själva chia-applikationen på en annan? Varför vill du ha fler kritiska delar i form av hård- och mjukvara som kan fallera?

Nej, vill inte ha flera, det är därför jag har en server för om jag inte har en server, hur många enskilda datorer måste jag då ha? Vet ej, men nästan garanterat blir det många fler än en. Jag gissar att de då är mycket flera saker som kan fallera än om jag har en central lagring och sedan en som farmar direkt från servern. Alternativt köra ett VM på servern och farma därifrån.