Ni som byggt Freenas, vilket moderkort använder ni?

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Okt 2010

Ni som byggt Freenas, vilket moderkort använder ni?

Som rubriken lyder, vilket mobo har ni valt? Efter att ha läst freenas.org tycks det nästan obligatoriskt med Supermicro, men jag vill helst beställa från de större återförsäljarna och där finns, om alls, bara de dyrare modellerna. Instegsmodellerna finns bara hos "dussinåterförsäljare".

Jag känner mig inte serverkunning nog att frångå rekommendationerna och välja ett annat märke.

Det ska bli en filserver utan transkodning. Jag behöver minst 6 Sataportar. Tror det räcker med gigabit-hastighet.

Trädvy Permalänk
Entusiast
Testpilot
Plats
Chalmers
Registrerad
Aug 2011

Först köpte jag ett C2550D4I med integrerad CPU och tolv SATA-portar. Som gjort för en filserver, tyckte både jag och @Lindhe. Det visade sig vara ett av de mest problematiska moderkort jag någonsin hört talas om, utan att gå in på några detaljer.

Byggde istället servern runt en Core i3‑6100T och ett Gigabyte GA‑Z170N‑WIFI med sex SATA-portar (vilket räcker gott och väl för mig) och dubbla Intel Gigabit Ethernet. Har ej haft några problem med det hittills åtminstone.

Just FreeNAS vet jag inte om jag kan säga något om egentligen. Körde det förr men gick sedermera över till Ubuntu Server och därefter NixOS. Det sistnämnda är onekligen källa till huvudvärk vid vissa moment på grund av bristen på guider och exempel, men jag kommer nog aldrig vilja konfigurera en server på något annat sätt igen. Utmaningen just nu är att försöka installera Nextcloud, vilket inte är helt enkelt.

Skrivet med hjälp av Better SweClockers

Trädvy Permalänk
Medlem
Registrerad
Feb 2017

Supermicro är inte ett krav direkt men serverklassade komponenter är definitivt att föredra då vi vill ha stabilitet.

Du bör kunna hitta kortet du vill ha på mullet.se eller amazon.de

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Mar 2005

Som ovanstående skriver, kolla Mullet.
Har dom inte kortet i sortimentet så är det bara att skicka ett mejl eller slå en signal så tar dom in det.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016

Själv så utgår jag från denna här http://www.freenas.org/hardware-requirements/ för att bygga upp den så stabilt som det går.

Mitt FreeNAS är inte klar än väntar på mitt HBA kort så kan inte säga så mycket om det än.

Men har ett par Supermicro server men har aldrig haft några större problem med dom.

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Okt 2010

Mullet kände jag inte till. Tack för den!

Skrivet av superegg:

Själv så utgår jag från denna här http://www.freenas.org/hardware-requirements/ för att bygga upp den så stabilt som det går.

Jag med.

Förresten, vilken skulle poängen kunna vara med att välja ett mobo med 4 st LAN-portar snarare än 2 st? Jag har svårt att se hur jag skulle använda mer än 1 st till routern, men jag kanske missar nåt?

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

@guermantes: om du vill köra bundlat och aggregera ihop flera portar.

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av guermantes:

Mullet kände jag inte till. Tack för den!

Jag med.

Förresten, vilken skulle poängen kunna vara med att välja ett mobo med 4 st LAN-portar snarare än 2 st? Jag har svårt att se hur jag skulle använda mer än 1 st till routern, men jag kanske missar nåt?

Nu vet jag inte hur dom andra har löst det men risken är stor att om du föröver något så kommer det påverka internethastigheten därför så har jag ett eget nätverk för just data och internet i ett eget men jag har bara en switch så läge så jag kommer att köra FreeNAS mot min andra serverdator utan att gå via någon switch så läge och då kommer jag kunna få högra överförings hastighet.

Så du kommer inte komma upp i ens 120 MB då ditt internet kommer påverka lite av det då dom använder samma kabel.

Men om du ska bara använda den som filserver och bara kommer lägga in lite filer då och då så skulle det funka bra med 1 kabel då dom andra dator bara har en kabel.

Då jag kommer köra bara med iscsi mot mina serverdator så kräver det högsäkerhet och då kan man inte ha andra saker som använder samma kabel då risken för fel är större.

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Okt 2010
Skrivet av moron:

@guermantes: om du vill köra bundlat och aggregera ihop flera portar.

Okej. Det där får jag googla... 😁

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Okt 2010
Skrivet av superegg:

Nu vet jag inte hur dom andra har löst det men risken är stor att om du föröver något så kommer det påverka internethastigheten därför så har jag ett eget nätverk för just data och internet i ett eget men jag har bara en switch så läge så jag kommer att köra FreeNAS mot min andra serverdator utan att gå via någon switch så läge och då kommer jag kunna få högra överförings hastighet.

Så du kommer inte komma upp i ens 120 MB då ditt internet kommer påverka lite av det då dom använder samma kabel.

Men om du ska bara använda den som filserver och bara kommer lägga in lite filer då och då så skulle det funka bra med 1 kabel då dom andra dator bara har en kabel.

Då jag kommer köra bara med iscsi mot mina serverdator så kräver det högsäkerhet och då kan man inte ha andra saker som använder samma kabel då risken för fel är större.

Du menar om jag typ kör massa ftpöverföring eller tunga webbsidor mellan server och internet samtidigt?

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av guermantes:

Du menar om jag typ kör massa ftpöverföring eller tunga webbsidor mellan server och internet samtidigt?

Skickades från m.sweclockers.com

Ja. Då hårddiskar lätt kommer över 100 MB/s om du är inne på sidor som kräver mycket bredband så kommer filserver eller internet påverkas.

Då en kabel klara max 120MB/s om man skulle sätt en gräns på router att filserver inte får komma över 100MB/s så skulle tex 20MB gå åt för internet då en 100Mbit är 12MB/s.

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Okt 2010
Skrivet av superegg:

Ja. Då hårddiskar lätt kommer över 100 MB/s om du är inne på sidor som kräver mycket bredband så kommer filserver eller internet påverkas.

Då en kabel klara max 120MB/s om man skulle sätt en gräns på router att filserver inte får komma över 100MB/s så skulle tex 20MB gå åt för internet då en 100Mbit är 12MB/s.

Okej, det där får jag ha i åtanke. Men om jag förstått rätt har detta dock inte så mycket att göra med hur många LAN-portar servermoderkortet har? Flaskhalsen i detta scenariot är ju mellan router och fiberuttaget i väggen.

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013
Skrivet av Alling:

Utmaningen just nu är att försöka installera Nextcloud, vilket inte är helt enkelt.

https://github.com/nextcloud/vm

OnT: Minns inte vad mitt kort heter, men jag gjorde misstaget att köpa ett där jag bara kunde stoppa i 32GB RAM. Ångrar mig nu då ZFS äter RAM till frukost, lunch, mellanmål och middag.

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av guermantes:

Okej, det där får jag ha i åtanke. Men om jag förstått rätt har detta dock inte så mycket att göra med hur många LAN-portar servermoderkortet har? Flaskhalsen i detta scenariot är ju mellan router och fiberuttaget i väggen.

Tänkte mer mellan din dator och FreeNAS. Om du har flera portar på moderkortet och sen kör någon from av link aggregation tex två portar så blir det 240MB/s den kan komma upp i men då din dator har bara en port så kommer den upp i max 120MB/s och när den kör max då kommer det påverka internet då dom delar på samma kabel.

Router ska klara av så många portar den har så om den har 5 portar i 1000Mbit som är 120MB/s så ska hela router klara av 5000Mbit som är 600MB/s internt trafik. (Det är lite olika per Router.)

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av enoch85:

https://github.com/nextcloud/vm

OnT: Minns inte vad mitt kort heter, men jag gjorde misstaget att köpa ett där jag bara kunde stoppa i 32GB RAM. Ångrar mig nu då ZFS äter RAM till frukost, lunch, mellanmål och middag.

Vad gör du med din FreeNAS då den äter mycket RAM?

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Okt 2010

Skulle precis fråga samma sak.

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013
Skrivet av superegg:

Vad gör du med din FreeNAS då den äter mycket RAM?

Skrivet av guermantes:

Skulle precis fråga samma sak.

Desto mer RAM du har, desto mer kan ZFS cachea vilket ger snabbare disk. När det gäller ZFS överlag så kan du aldrig få för mycket ram. Så det är inte FreeNAS som äter RAM, det är ZFS.

Själv köpte jag en SLOG för 4 lax för att få fart på grejerna.

Det finns mycket info om hur mycket RAM som behövs. Måttstocken är väl minst 1 GB per 1 TB, dock skulle jag säga typ 5 GB per 1 TB, minst.

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Okt 2010
Skrivet av enoch85:

Desto mer RAM du har, desto mer kan ZFS cachea vilket ger snabbare disk. När det gäller ZFS överlag så kan du aldrig få för mycket ram. Så det är inte FreeNAS som äter RAM, det är ZFS.

Men då har du väl en massa aktivitet på dina diskar hela tiden för att behöva detta ständiga cachande, eller? En scrub på en pool med 4x4TB i RZ2 borde väl kunna skrubbas med 16GB utan att man tappar hakan? Jag nämner scrub eftersom jag gissar att det kommer vara det mest disk-intensiva som min freenas kommer att göra.

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013
Skrivet av guermantes:

Men då har du väl en massa aktivitet på dina diskar hela tiden för att behöva detta ständiga cachande, eller? En scrub på en pool med 4x4TB i RZ2 borde väl kunna skrubbas med 16GB utan att man tappar hakan? Jag nämner scrub eftersom jag gissar att det kommer vara det mest disk-intensiva som min freenas kommer att göra.

Jo, dom får jobba en del. Jag kör publik server med cirka 2000 besökare per dag, en hel del up och download osv. Så jag kanske inte är rätt måttstock att mäta med.

RZ2 är rätt så segt, själv kör jag en vanlig 10:a. Å andra sidan är hela min storage DataStore i VMware så mina krav är kanske lite högre.

Gällande MB som tråden handlar om... En CPU, mycket ram, många SATA-platser. Har inget bra på rak arm, men det är vad jag skulle köpt idag.

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av enoch85:

Desto mer RAM du har, desto mer kan ZFS cachea vilket ger snabbare disk. När det gäller ZFS överlag så kan du aldrig få för mycket ram. Så det är inte FreeNAS som äter RAM, det är ZFS.

Själv köpte jag en SLOG för 4 lax för att få fart på grejerna.

Det finns mycket info om hur mycket RAM som behövs. Måttstocken är väl minst 1 GB per 1 TB, dock skulle jag säga typ 5 GB per 1 TB, minst.

Vad har du sätt för inställningar för ZFS? Kör du bara med HDD?

Min FreeNAS server har 256GB ram och två E5-2680v1 dock så väntar jag på mitt HBA kort innan jag kan börja testa den.

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
Skövde
Registrerad
Jan 2009
Skrivet av guermantes:

Men då har du väl en massa aktivitet på dina diskar hela tiden för att behöva detta ständiga cachande, eller? En scrub på en pool med 4x4TB i RZ2 borde väl kunna skrubbas med 16GB utan att man tappar hakan? Jag nämner scrub eftersom jag gissar att det kommer vara det mest disk-intensiva som min freenas kommer att göra.

Jag har 16gb i min linux+zfs. Den scrubade en 10x8Tb raidz2 utan problem. Låg runt 600MByte/s samtidigt som 2 st rsync tuffade på med runt 200mbit vardera. Totalt 12 GB ocachad minnesanvändning. Det verkar fungera alldeles utmärkt för hemanvändare.

Skickades från m.sweclockers.com

Pentium E5200, 4x2048MB DDR2 667mhz, ATI RADEON HD4670 512MB.
AMD 4850E, 4x2048 DDR2 667Mhz. ATI RADEON HD3200.

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

ZFS kommer använda så mycket minne som det "får". Kan rulla på en RPI om du så vill.

Scrubbar är CPU intensivt och har ingen egentlig påverkan på hur mycket minne som är reserverat till ZFS. (oavsett om det är diskintensivt)

EDIT: On topic, moderkort - välj vilken socket samt CPU du (behöver) sen tar du passande Supermicro-moderkort.

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013
Skrivet av superegg:

Vad har du sätt för inställningar för ZFS? Kör du bara med HDD?

Min FreeNAS server har 256GB ram och två E5-2680v1 dock så väntar jag på mitt HBA kort innan jag kan börja testa den.

Jadu, har en massa olika som jag satte upp i början. Minns inte allt. Jag har en sån där "sätt upp och glöm" setup. Det bara funkar, det är det jag bryr mig om. Här har du mina tunables iaf (spefifikt för min setup):

Din maskin kommer bli riktigt fin, det hör jag lång väg.

Skrivet av moron:

ZFS kommer använda så mycket minne som det "får". Kan rulla på en RPI om du så vill.

Scrubbar är CPU intensivt och har ingen egentlig påverkan på hur mycket minne som är reserverat till ZFS. (oavsett om det är diskintensivt)

EDIT: On topic, moderkort - välj vilken socket samt CPU du (behöver) sen tar du passande Supermicro-moderkort.

What he said --^

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av enoch85:

Jadu, har en massa olika som jag satte upp i början. Minns inte allt. Jag har en sån där "sätt upp och glöm" setup. Det bara funkar, det är det jag bryr mig om. Här har du mina tunables iaf (spefifikt för min setup):

https://i.imgur.com/yYnKp4f.png

Din maskin kommer bli riktigt fin, det hör jag lång väg.

Har du ändrat dina tunables själv eller har systemet gjort det åt dig? Använder du iscsi?

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013
Skrivet av superegg:

Har du ändrat dina tunables själv eller har systemet gjort det åt dig? Använder du iscsi?

Jag ägnade några veckor på IRC (hänger fortfarande där) och frågade experterna. Det är inga autotuneinställningar (som också finns), utan rekommendationer från användare och FreeNAS staff.

Jag kör NFS av olika skäl. Var inne på iSCSI, men valet föll på NFS efter många timmars läsande.

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av enoch85:

Jag ägnade några veckor på IRC (hänger fortfarande där) och frågade experterna. Det är inga autotuneinställningar (som också finns), utan rekommendationer från användare och FreeNAS staff.

Jag kör NFS av olika skäl. Var inne på iSCSI, men valet föll på NFS efter många timmars läsande.

Ah, fick du hjälp på en gång?

Funkar NFS bra till Linux?

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013
Skrivet av superegg:

Ah, fick du hjälp på en gång?

Funkar NFS bra till Linux?

Joina #freenas här: http://webchat.freenode.net

NFS är klockrent, får ut cirka 300 MB/s (inte Mbit/s) på mina guests i skrivhastighet, inga diskar i servern, allt går över NFS.

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av enoch85:

Joina #freenas här: http://webchat.freenode.net

NFS är klockrent, får ut cirka 300 MB/s (inte Mbit/s) på mina guests i skrivhastighet, inga diskar i servern, allt går över NFS.

Gött, kommer du inte upp i högre hastigheter är det dina hårddiskar som sätter stopp för det eller är det nätverkskortet?

För både NFS och iscsi ska kunna komma upp i mycket högre hastigheter.

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013
Skrivet av superegg:

Gött, kommer du inte upp i högre hastigheter är det dina hårddiskar som sätter stopp för det eller är det nätverkskortet?

För både NFS och iscsi ska kunna komma upp i mycket högre hastigheter.

Det är förmodligen diskarna. Jag kör 10 GBit/s mellan servern och FreeNAS, så det är iaf inte det som är flaskhalsen.

En stor anledning till att jag inte valde iSCISI var att du tappar mycket hastighet när du når över 50% utrymme på diskarna. Med NFS så ligger det på typ 80%. ZFS mår inte bra av att ha för lite utrymme på diskarna överlag, så även med diskarna på servern direkt så hade det varit 80%. D.v.s. du får ut full hastighet på NFS. Bara ett tips.

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av enoch85:

Det är förmodligen diskarna. Jag kör 10 GBit/s mellan servern och FreeNAS, så det är iaf inte det som är flaskhalsen.

En stor anledning till att jag inte valde iSCISI var att du tappar mycket hastighet när du når över 50% utrymme på diskarna. Med NFS så ligger det på typ 80%. ZFS mår inte bra av att ha för lite utrymme på diskarna överlag, så även med diskarna på servern direkt så hade det varit 80%. D.v.s. du får ut full hastighet på NFS. Bara ett tips.

Får testar det när mitt HBA kort kommer.

Vad har du för hårddiskar?

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666