Freenas Hur gör man en ZFS server?

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016

Freenas Hur gör man en ZFS server?

Hej,

Undra hur man gör en ZFS server?

Jag vet att man kör utan Raid men kan man använda ett Raid kort utan att använda själva Raiden på kortet utan bara använda den för att kunna koppla ihop alla 24 diskar?

Är det då det kallas ZFS?

Eller är det med Raid med HBA mode?

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
Östergötland
Registrerad
Apr 2012

Hej,

Nu är jag ingen expert i frågan även om jag faktiskt kör FreeNAS med ZFS.

ZFS är ett filsystem / volym hanterare där du kan välja att köra dina diskar i olika typer av RAID, men via mjukvara istället för ett kontrollerkort (hårdvara). Jag kör själv en pool med 2 x 4TB speglat och sedan en pool med 3 x 4 TB RAID 5. Dessa pooler delar jag sedan ut i nätverket med samba.

Finns mer info på typ wikipedia:
https://en.wikipedia.org/wiki/ZFS

Vad är det specifikt du tror en zfs server gör och vad vill du använda den till?

Mvh
Alex

Trädvy Permalänk
Medlem
Plats
Nära kontinenten
Registrerad
Jul 2003

Hur du än väljer att koppla in diskarna (moderkortets kontroller, HBA-kort etc) så ska dessa vara inställda på JBOD-läge, INTE RAID-läge. ZFS vill ha direktaccess till diskarna så hårdvaruraid är no-no.

Korten har antingen stöd rakt av för JBOD, eller så får man flasha om dem. Läst lite om det bara, tydligen kallas det för IT-läge.

ZFS är filsystemet (tänk NTFS, FAT32, EXT4) och är något speciellt uppbyggt. Är lekman och skulle nog göra bort mig om jag försökte förklara i detalj.

https://www.freebsd.org/doc/handbook/zfs-term.html

Där har du lite matnyttigt, och ja, det kan verka förvirrande till en början, har själv glömt hur fn jag byggde upp min gamla NAS, men minns jag rätt körde jag 6 2TB-diskar i raidz2 (ungefär motsvarande raid 6) som jag sedan hade i en pool, och denna pool hade jag i ett dataset som jag sedan skapade en SMB-share av...

Det finns en del fallgropar, minns inte exakt vad de är, men det var något med att man lägger till diskar på fel sätt och tappar då skyddet som paritet och/eller spegling innebär...

Det tål att läsas på en hel del innan man mekar för mycket då systemet faktiskt förväntar sig att DU som admin vet vad du sysslar med.

Scribere ergo sum
Supermicro x9dr3-ln4f+ | 2 x Xeon E5-2670 | 32GB RDIMM | 6x2TB @ RAIDZ2 | 6x4TB @ RAIDZ2

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av MushForBrains:

Hur du än väljer att koppla in diskarna (moderkortets kontroller, HBA-kort etc) så ska dessa vara inställda på JBOD-läge, INTE RAID-läge. ZFS vill ha direktaccess till diskarna så hårdvaruraid är no-no.

Korten har antingen stöd rakt av för JBOD, eller så får man flasha om dem. Läst lite om det bara, tydligen kallas det för IT-läge.

ZFS är filsystemet (tänk NTFS, FAT32, EXT4) och är något speciellt uppbyggt. Är lekman och skulle nog göra bort mig om jag försökte förklara i detalj.

https://www.freebsd.org/doc/handbook/zfs-term.html

Där har du lite matnyttigt, och ja, det kan verka förvirrande till en början, har själv glömt hur fn jag byggde upp min gamla NAS, men minns jag rätt körde jag 6 2TB-diskar i raidz2 (ungefär motsvarande raid 6) som jag sedan hade i en pool, och denna pool hade jag i ett dataset som jag sedan skapade en SMB-share av...

Det finns en del fallgropar, minns inte exakt vad de är, men det var något med att man lägger till diskar på fel sätt och tappar då skyddet som paritet och/eller spegling innebär...

Det tål att läsas på en hel del innan man mekar för mycket då systemet faktiskt förväntar sig att DU som admin vet vad du sysslar med.

Jag hittar nästan ingen info om denna Raid kort LSI Megaraid 9271-8i har den JBOD eller IT-läge?

Så om server har IT-läge eller JBOD då kallas den för ZFS om jag fattar det rätt?

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
Norrköping
Registrerad
Okt 2009
Skrivet av superegg:

Jag hittar nästan ingen info om denna Raid kort LSI Megaraid 9271-8i har den JBOD eller IT-läge?

Så om server har IT-läge eller JBOD då kallas den för ZFS om jag fattar det rätt?

Den hitta jag efter en lite googling. Finns user guides, firmwares osv.
LSI 9271

Hitta någon post på nått forum då typ många megaraid går att flasha om till stöd av jbod men mitt tips är att läsa runt innan.

MegaRAID SAS 9270-8i
MegaRAID SAS 9271-4i
MegaRAID SAS 9271-8i
MegaRAID SAS 9271-8iCC

ZFS är fortfarande ett filsystem så som windows använder NTFS som typ standard och linux ext4

Trädvy Permalänk
Medlem
Plats
olofström
Registrerad
Jun 2010

Själv kör jag med detta kort

http://www.ebay.com/itm/LSI-9211-8i-IT-MODE-w-P19-F-W-AUTHENT...

Detta tar dock bara 8 hårddiskar :/

Asus Maximus VII Hero | Intel i7 4790k @4.9ghz | Corsair 450D | Gtx 980 sli @1500mhz | Corsair platanium 2400mhz 16gb | 4x samsung 850 250GB SSD raid 0 | Evga Supernova 1300W | Fractal Design Kelvin S36

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013

Man ska inte använda hårdvaruraid tillsammans med ZFS. Kör på moderkortets raid och låt ZFS sköta resten. Du kan även använda HBA kort som nämnts innan.

ZFS är ett filsystem och har inget med raid att göra.

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
~
Registrerad
Jul 2001
Skrivet av superegg:

Jag hittar nästan ingen info om denna Raid kort LSI Megaraid 9271-8i har den JBOD eller IT-läge?

Så om server har IT-läge eller JBOD då kallas den för ZFS om jag fattar det rätt?

Du har fattat fel.
ZFS är ett filsystem medan JBOD är en generell term för en uppsättning block devices (i det här fallet hårddiskar) som används som en synlig enhet. Två helt olika saker med andra ord.

Något förenklat:

De fysiska hårddiskarna ses av operativsystemet som "block devices", d.v.s. enheter som vi skriver ettor och nollor till.
För att hålla koll på vart på diskarna saker och ting ligger behöver vi ett filsystem, vilket (aningen förenklat) är en trädstruktur med index och adresspekare. Exakt hur denna trädstruktur ska hanteras (metadatan i form av dessa pekare, rättigheter, o.s.v.) finns många olika modeller för, och dessa kallar vi för filsystem. Ett filsystem kan ligga på en del av en block device, en hel block device eller spänna över flera block devices. Men, för att veta hur vi ska dela in dessa diskar (block devices) så måste vi ha en huvudindex som håller koll på detta. Vanligen (på en vanlig hemdator) sker detta genom en boot record på varje enskild disk som säger att "vi har delat disken i två partitioner, från A till B, och från B till C".

Olika nivåer av RAID (och JBOD) är något som styr hur data ska fördelas över blockdevices, exempelvis att enhet A och B ska ha hälften av datan var, eller att de ska innehålla exakt samma data. Det vi dock inte har någon kontroll på på den här nivån är filernas utplacering logiskt (trädstrukturen). Vi ser bara till att dela ut datan över diskarna enligt order, men själva addresseringen lämnar vi till filsystemet.

ZFS är dels ett filsystem, men håller även ett eget index över vilka diskar som används vilket gör att det lätt kan bli lite rörigt om ZFS är det första man ger sig in på när man försöker få rätsida på dylikt. Det har många godsaker att bjuda på, men frågan är: vad är det du är ute efter? Oavsett vad svaret är så är troligen inte ZFS svaret på alla dina problem. Se till att få klart för dig vad ett filsystem är, vad olika RAID-nivåer är, och vad ditt mål är. Därefter är det dags att börja ställa specifika frågor.

Fedora, i3wm, Ansible, Vim, git, LaTeX - allt som behövs för att göra mig nöjd.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av Crazy Ferret:

Du har fattat fel.
ZFS är ett filsystem medan JBOD är en generell term för en uppsättning block devices (i det här fallet hårddiskar) som används som en synlig enhet. Två helt olika saker med andra ord.

Något förenklat:

De fysiska hårddiskarna ses av operativsystemet som "block devices", d.v.s. enheter som vi skriver ettor och nollor till.
För att hålla koll på vart på diskarna saker och ting ligger behöver vi ett filsystem, vilket (aningen förenklat) är en trädstruktur med index och adresspekare. Exakt hur denna trädstruktur ska hanteras (metadatan i form av dessa pekare, rättigheter, o.s.v.) finns många olika modeller för, och dessa kallar vi för filsystem. Ett filsystem kan ligga på en del av en block device, en hel block device eller spänna över flera block devices. Men, för att veta hur vi ska dela in dessa diskar (block devices) så måste vi ha en huvudindex som håller koll på detta. Vanligen (på en vanlig hemdator) sker detta genom en boot record på varje enskild disk som säger att "vi har delat disken i två partitioner, från A till B, och från B till C".

Olika nivåer av RAID (och JBOD) är något som styr hur data ska fördelas över blockdevices, exempelvis att enhet A och B ska ha hälften av datan var, eller att de ska innehålla exakt samma data. Det vi dock inte har någon kontroll på på den här nivån är filernas utplacering logiskt (trädstrukturen). Vi ser bara till att dela ut datan över diskarna enligt order, men själva addresseringen lämnar vi till filsystemet.

ZFS är dels ett filsystem, men håller även ett eget index över vilka diskar som används vilket gör att det lätt kan bli lite rörigt om ZFS är det första man ger sig in på när man försöker få rätsida på dylikt. Det har många godsaker att bjuda på, men frågan är: vad är det du är ute efter? Oavsett vad svaret är så är troligen inte ZFS svaret på alla dina problem. Se till att få klart för dig vad ett filsystem är, vad olika RAID-nivåer är, och vad ditt mål är. Därefter är det dags att börja ställa specifika frågor.

Tänkte mer på hur dom här har gjort det https://www.mullet.se/product.html?product_id=340525&CNFid=l5....

"3st LSI SAS3008 kontrollers med totalt 24 portar. Anslutna över x8 PCI-e 3.0 vilket gör att alla SAS portar kan skyffla data samtidigt utan flaskhalsar. Flashade med IT firmware för snabbast möjliga access till diskarna. (En på moderkortet och två på instickskort)"

Hur har dom gjort här?

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
gbg
Registrerad
Nov 2007
Skrivet av superegg:

Jag hittar nästan ingen info om denna Raid kort LSI Megaraid 9271-8i har den JBOD eller IT-läge?

Så om server har IT-läge eller JBOD då kallas den för ZFS om jag fattar det rätt?

Läget som diskarna körs i har inget med filsystemet (ZFS) att göra. Du kan använda dig av ZFS filsystemet på vanlig hårdvaru-RAID också men det tillför inte ett dugg då hårdvaru-RAID agerar som en mellanhand åt filsystemet vilket förstör hela konceptet med ZFS.

ZFS är ett avancerat filsystem vars värdefulla funktioner endast tas tillvara om man kör i JBOD eller "IT-läge" så att filsystemet har full access och kontroll till alla hårddiskar som skall ingå i lagringspoolen den vill vara sin egen "herre på täppan" utan någon mellanhand.
Man bör även ha RAM-minne med ECC (Error-Correcting Code) för att få ut alla fördelar som filsystemet ger, för lite RAM-minne eller icke ECC Ram-minne = liten eller ingen fördel alls med filsystemet ZFS.

Ett kontrollerkort/adapter där du enbart kan koppla in lagringsenheter utan något stöd för RAID-nivåer kallas HBA (Host Bus Adapter)
På ett RAID-kort som körs med all RAID-funktionalitet avstängt utan enbart länkar vidare diskarna (likt HBA) kallas läget JBOD (Just a Bunch Of Disks)
Båda ovanstående varianter innebär att mjukvara måste ta hand om ev. intelligens eller "RAID-nivåer" (t.ex. FreeNAS med filsystemet ZFS) då RAID-funktionaliteten är avstängd eller ej befintlig på adaptrarna som diskarna sitter kopplade via.

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 16.04 LTS

Trädvy Permalänk
Medlem
Plats
gbg
Registrerad
Nov 2007
Skrivet av superegg:

Tänkte mer på hur dom här har gjort det https://www.mullet.se/product.html?product_id=340525&CNFid=l5....

"3st LSI SAS3008 kontrollers med totalt 24 portar. Anslutna över x8 PCI-e 3.0 vilket gör att alla SAS portar kan skyffla data samtidigt utan flaskhalsar. Flashade med IT firmware för snabbast möjliga access till diskarna. (En på moderkortet och två på instickskort)"

Hur har dom gjort här?

Dessa är säkerligen supportade kort (ZFS-loggan) dvs. 2 RAID-kort med "IT-läge" som har 8 SAS-portar vardera + ett RAID chipp på moderkortet även det med 8 SAS-portar i ett "IT-läge" vilket ger 3x8p SAS = 24 diskar.
Det är inget ovanligt på serverhårdvara.

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 16.04 LTS

Trädvy Permalänk
Medlem
Plats
Nära kontinenten
Registrerad
Jul 2003
Skrivet av gevsan:

Själv kör jag med detta kort

http://www.ebay.com/itm/LSI-9211-8i-IT-MODE-w-P19-F-W-AUTHENT...

Detta tar dock bara 8 hårddiskar :/

Du KAN koppla in fler, "Connect up to 256 SAS and SATA devices with 8 internal 6Gb/s SAS and SATA ports", men då krävs typ extra hårdvara, typ expander eller port multiplier om det är SATA-diskar... Har kört 5 diskar på en och samma SATA-kabel tidigare, numera 5 stycken över USB då moderkortet inte har eSATA

Scribere ergo sum
Supermicro x9dr3-ln4f+ | 2 x Xeon E5-2670 | 32GB RDIMM | 6x2TB @ RAIDZ2 | 6x4TB @ RAIDZ2

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016

@krigelkorren:

Svara på båda dina inlägg.

Så om jag fattar det rätt så använder dom 3 Raid kort med IT-Läge eller JBOD och 8 port så att vare hårddisk får en port för sig själv?

För man kan ju använda ett kort till 24 diskar men då delar dom väl på samma presenta och därför så använder man 3 kort?

Jag kollar på dom här.

http://mullet.se/product.html?product_id=332865
https://www.mullet.se/product.html?product_id=336569

Denna har med 24 portar http://mullet.se/product.html?product_id=344068

Vilken av dom är bäst eller finns det någon som är bättre?

@all
Ledsen var trött igår så kunde inte förklara så bra då.

Jag vet att ZFS är ett filsystem men själva fråga var bara vilken hårdvara som är bäst till ZFS.

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
Nära kontinenten
Registrerad
Jul 2003
Skrivet av superegg:

@krigelkorren:

Svara på båda dina inlägg.

Så om jag fattar det rätt så använder dom 3 Raid kort med IT-Läge eller JBOD och 8 port så att vare hårddisk får en port för sig själv?

För man kan ju använda ett kort till 24 diskar men då delar dom väl på samma presenta och därför så använder man 3 kort?

Jag kollar på dom här.

http://mullet.se/product.html?product_id=332865
https://www.mullet.se/product.html?product_id=336569

Denna har med 24 portar http://mullet.se/product.html?product_id=344068

Vilken av dom är bäst eller finns det någon som är bättre?

@all
Ledsen var trött igår så kunde inte förklara så bra då.

Jag vet att ZFS är ett filsystem men själva fråga var bara vilken hårdvara som är bäst till ZFS.

Det är lite mer komplicerat än antalet kort. Ett kort med 6 mini-sas (24 portar internt), eller 3 kort med 2 mini-SAS vardera (8 portar internt * 3 = 24 portar), sedan spelar annat in, som att det ena kortet du länkar till (LSI 9201) är ett SAS 2.0-kort men har 16 portar internt, medans Megaraid 9341 i sin ena variant har 8 interna portar, men följer nyare SAS 3.0-standarden, dvs stödjer högre hastigheter. Ytterligare avgörande är huruvida korten kör enligt PCIe 2.0 eller PCIe 3.0. Såg inget om det vid snabbtitt, men SAS 3.0-korten bör stödja PCIe 3.0.

Om ett kort är SAS 3.0 och stödjer PCIe 3.0 och faktiskt sitter på ett moderkort med PCIe 3.0-plats så bör du utan nämnvärd prestandaförlust kunna koppla in fler än 8 diskar till ett kort med 8 portar med expander eller port multiplier (beroende på om det är SAS- eller SATA-diskar), men är hastigheten riktigt viktigt så bör du kanske räkna på det, orkade själv inte räkna ut vad max throughput blir till varje disk

Sista kortet är ju riktigt trevligt, 24 interna portar, SAS 3.0 OCH PCIe 3.0, trevligt trevligt, men samtidigt är det också det klart dyraste av de 3, så det handlar mest om hur mycket man vill lägga, samt om man har några preferenser gällande tillverkare.

Scribere ergo sum
Supermicro x9dr3-ln4f+ | 2 x Xeon E5-2670 | 32GB RDIMM | 6x2TB @ RAIDZ2 | 6x4TB @ RAIDZ2

Trädvy Permalänk
Medlem
Plats
gbg
Registrerad
Nov 2007

@superegg: Ja i deras fall med den specialbyggda servern har de nog gått på att dela upp HDD över flera PCI-E lanes just för att säkerställa att bandbredden inte blir en flashhals när vi snackarriktigt tunga laster.
24 diskar på 1x8 PCI-E känns rätt späckat. Speciellt om man har snabba SSD's och mängder av data som skall överföras kontinuerligt men för ett hemma-syfte lär fokus ligga på antal utrymme/diskar som man kan koppla till och då lär det räcka gott och väl för flera år framöver.

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 16.04 LTS

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013
Skrivet av krigelkorren:

Läget som diskarna körs i har inget med filsystemet (ZFS) att göra. Du kan använda dig av ZFS filsystemet på vanlig hårdvaru-RAID också men det tillför inte ett dugg då hårdvaru-RAID agerar som en mellanhand åt filsystemet vilket förstör hela konceptet med ZFS.

Precis! Helt rätt!

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av krigelkorren:

@superegg: Ja i deras fall med den specialbyggda servern har de nog gått på att dela upp HDD över flera PCI-E lanes just för att säkerställa att bandbredden inte blir en flashhals när vi snackarriktigt tunga laster.
24 diskar på 1x8 PCI-E känns rätt späckat. Speciellt om man har snabba SSD's och mängder av data som skall överföras kontinuerligt men för ett hemma-syfte lär fokus ligga på antal utrymme/diskar som man kan koppla till och då lär det räcka gott och väl för flera år framöver.

Så du menar att det är bättre att köra med 3 st så man delar det på flera PCI-E plaster?

Så typ 3 av denna https://www.mullet.se/product.html?product_id=336569 med 8 port?

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
gbg
Registrerad
Nov 2007

@superegg: Ja då nyttjar man bandbredden på ett bättre sätt så länge man har 24 eller fler PCI-E lanes till sitt förfogande, det är i det läget som olika chipsets kan ha begränsningar. Så det är bra att kolla upp i förväg.
Normalt sett har ju server-grade hårdvara gott om PCI-E lanes i.o.m. dubbla CPU's och med det en fet minnesbandbredd så då vill man bruka/sprida ut lasten över så många lanes som möjligt för att prestanda inte skall bli lidande under några som helst förhållanden. Dyrt men effektivt och klart värt det när man inte vill ha några kompromisser.

Kort stycke om lanes från wikipedia:
https://en.wikipedia.org/wiki/PCI_Express#Lane

Japp, 3st. av den sorten, de skall ju vara supportade av "...FreeBSD, VMware and more" men jag vet ej om de är supportade av FreeNAS om du tänkt köra just den distributionen.

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 16.04 LTS

Trädvy Permalänk
Medlem
Plats
Nära kontinenten
Registrerad
Jul 2003

OM man kör 24 SSD:er då blir det lite per disk, men rent krasst så hamnar man på strax över 300MB/s som max med 24 diskar på EN PCIex8-slot, OM man accessar ALLA på samma gång kontinuerligt... Det är mycket OM där.

Sedan får man inte glömma att en NAS ska skyffla över ett nätverk också, om man nu inte gör en massa saker lokalt på den...

Är det SAS 3.0 så är iaf kortet en mindre flaskhals än så, även om det är ett kort med enbart 2 mini-SAS (8 lanes @ 12Gb/s)...

Scribere ergo sum
Supermicro x9dr3-ln4f+ | 2 x Xeon E5-2670 | 32GB RDIMM | 6x2TB @ RAIDZ2 | 6x4TB @ RAIDZ2

Trädvy Permalänk
Medlem
Plats
Södertälje
Registrerad
Aug 2007
Skrivet av krigelkorren:

Läget som diskarna körs i har inget med filsystemet (ZFS) att göra. Du kan använda dig av ZFS filsystemet på vanlig hårdvaru-RAID också men det tillför inte ett dugg då hårdvaru-RAID agerar som en mellanhand åt filsystemet vilket förstör hela konceptet med ZFS.

ZFS är ett avancerat filsystem vars värdefulla funktioner endast tas tillvara om man kör i JBOD eller "IT-läge" så att filsystemet har full access och kontroll till alla hårddiskar som skall ingå i lagringspoolen den vill vara sin egen "herre på täppan" utan någon mellanhand.
Man bör även ha RAM-minne med ECC (Error-Correcting Code) för att få ut alla fördelar som filsystemet ger, för lite RAM-minne eller icke ECC Ram-minne = liten eller ingen fördel alls med filsystemet ZFS.

Ett kontrollerkort/adapter där du enbart kan koppla in lagringsenheter utan något stöd för RAID-nivåer kallas HBA (Host Bus Adapter)
På ett RAID-kort som körs med all RAID-funktionalitet avstängt utan enbart länkar vidare diskarna (likt HBA) kallas läget JBOD (Just a Bunch Of Disks)
Båda ovanstående varianter innebär att mjukvara måste ta hand om ev. intelligens eller "RAID-nivåer" (t.ex. FreeNAS med filsystemet ZFS) då RAID-funktionaliteten är avstängd eller ej befintlig på adaptrarna som diskarna sitter kopplade via.

Man ska kanske tänka på att JBOD (Just a Bunch Of Disks) är då ett kontrollerkort kopplar samman diskarna i en serie och presenterar dem som en disk, vilket förstör hela iden med ZFS. Det ska helt enkelt inte stå i något läge som alt att du sätter en jbod manuellt per disk. Kontrollen ska helst bara skyffla data inte vara inblandad i någon extra skapande av logiska enheter.

Edit: Ser ut som du har rätt och jag har fel. Även om jag varigt med om fler raidkort, i huvudsakt softraid. Som man kan välja jbod på och då förutsätts det att man väljer flera stycken så de se hamnar efter varandra få samma logiska volym. Var extremt vanligt på moderkort för 10-15 år sedan.

CPU: i7 3770k@4,50Ghz MB Z77X-D3H RAM: 16GB@2133mhz (10-12-11-27 2T)
GPU: 980Ti@1404,8 HDD: 4st MLC 1st TLC and 2st HDD for random: FD-PSU-TS2B-800W. Sound: SB-Z -> toslink (DTS)-> old JVC. MB Via to Z-2300 for VOIP. http://valid.x86.fr/nf1u3d https://www.techpowerup.com/gpuz/gxryb

Trädvy Permalänk
Medlem
Plats
Södertälje
Registrerad
Aug 2007
Skrivet av MushForBrains:

OM man kör 24 SSD:er då blir det lite per disk, men rent krasst så hamnar man på strax över 300MB/s som max med 24 diskar på EN PCIex8-slot, OM man accessar ALLA på samma gång kontinuerligt... Det är mycket OM där.

Sedan får man inte glömma att en NAS ska skyffla över ett nätverk också, om man nu inte gör en massa saker lokalt på den...

Är det SAS 3.0 så är iaf kortet en mindre flaskhals än så, även om det är ett kort med enbart 2 mini-SAS (8 lanes @ 12Gb/s)...

Jag är nog på lite grin humör just nu, men det går inte att räkna så. Ditt teoretiska exempel förutsätter att kontroller på kortet inte har några fördröjningar då den (kanske ska vara hen ) hanterar samtliga diskar, inget kösystem utan alla är helt separata. Sen att det inte heller är något kösystem via pci-e som kan skapa ytterligare fördröjningar, samt att os och drivrutiner inte lägger till mer problem än om det bara t.ex. några få diskar som används samtidigt. Om det är stora filer vi pratar om och inte så mycket IO så kan man komma i närheten av teoretisk max, men annars inte. Det vet du lika väl som jag.

CPU: i7 3770k@4,50Ghz MB Z77X-D3H RAM: 16GB@2133mhz (10-12-11-27 2T)
GPU: 980Ti@1404,8 HDD: 4st MLC 1st TLC and 2st HDD for random: FD-PSU-TS2B-800W. Sound: SB-Z -> toslink (DTS)-> old JVC. MB Via to Z-2300 for VOIP. http://valid.x86.fr/nf1u3d https://www.techpowerup.com/gpuz/gxryb

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av krigelkorren:

@superegg: Ja då nyttjar man bandbredden på ett bättre sätt så länge man har 24 eller fler PCI-E lanes till sitt förfogande, det är i det läget som olika chipsets kan ha begränsningar. Så det är bra att kolla upp i förväg.
Normalt sett har ju server-grade hårdvara gott om PCI-E lanes i.o.m. dubbla CPU's och med det en fet minnesbandbredd så då vill man bruka/sprida ut lasten över så många lanes som möjligt för att prestanda inte skall bli lidande under några som helst förhållanden. Dyrt men effektivt och klart värt det när man inte vill ha några kompromisser.

Kort stycke om lanes från wikipedia:
https://en.wikipedia.org/wiki/PCI_Express#Lane

Japp, 3st. av den sorten, de skall ju vara supportade av "...FreeBSD, VMware and more" men jag vet ej om de är supportade av FreeNAS om du tänkt köra just den distributionen.

Men hur gör man med tex bakplan med 24 diskar då den jag kollar på hade 6 st SFF 8087 men hur gör man då om man vill koppla så att vare disk får en egen kabel?

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
Åland, Finland
Registrerad
Aug 2006
Skrivet av superegg:

Men hur gör man med tex bakplan med 24 diskar då den jag kollar på hade 6 st SFF 8087 men hur gör man då om man vill koppla så att vare disk får en egen kabel?

Hej, en SFF 8087 har 4 "kanaler" den är alltså som fyra stycken sata kablar i en, riktigt smidigt.

Själv kör jag en SFF 8087 till ett backplane på mitt chassi (https://www.supermicro.nl/products/chassis/3U/836/SC836E26-R1...)

Har inget problem att maxxa ur gbit på 7st 4TB red diskar i raid 6. Nu vet jag ju inte vilken fart du är ute efter, men då du har 6st SFF 8087 så motsvarar det 24st satakablar, mao, varje disk får varsin kabel även om det inte är fysiskt lika många kablar som diskar.

Citera så hittar jag tillbaks och kan ge svar.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av olol:

Hej, en SFF 8087 har 4 "kanaler" den är alltså som fyra stycken sata kablar i en, riktigt smidigt.

Själv kör jag en SFF 8087 till ett backplane på mitt chassi (https://www.supermicro.nl/products/chassis/3U/836/SC836E26-R1...)

Har inget problem att maxxa ur gbit på 7st 4TB red diskar i raid 6. Nu vet jag ju inte vilken fart du är ute efter, men då du har 6st SFF 8087 så motsvarar det 24st satakablar, mao, varje disk får varsin kabel även om det inte är fysiskt lika många kablar som diskar.

Men då kommer man till problemet jag hade tänkte att köra med 3 st HBA kort och sen dela det på 24 diskar så vare disk får en egen kabel hur löser man detta?

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
Åland, Finland
Registrerad
Aug 2006

Alltså, så varje HBA kort har 8diskar var, eller varje disk är ansluten tilll varje HBA kort?

om du menar 8 diskar var så är väl det enkla svaret, två SFF8087 kablar / HBA kort för att få 8 diskar/kort. om jag inte har missuppfattat nu.

Citera så hittar jag tillbaks och kan ge svar.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av olol:

Alltså, så varje HBA kort har 8diskar var, eller varje disk är ansluten tilll varje HBA kort?

om du menar 8 diskar var så är väl det enkla svaret, två SFF8087 kablar / HBA kort för att få 8 diskar/kort. om jag inte har missuppfattat nu.

Tre HBA kort blir det 24 portar totalt så en port till vare disk för att ger den max prestanda.

Men hur gör man det då det bara finns bakplan med 6st SFF 8087?

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Plats
Åland, Finland
Registrerad
Aug 2006
Skrivet av superegg:

Tre HBA kort blir det 24 portar totalt så en port till vare disk för att ger den max prestanda.

Men hur gör man det då det bara finns bakplan med 6st SFF 8087?

Något som detta? https://www.amazon.com/Cable-Matters-Internal-Mini-SAS-Breako...

SFF 8087 breakout cable

Citera så hittar jag tillbaks och kan ge svar.

Trädvy Permalänk
Medlem
Registrerad
Feb 2015
Skrivet av superegg:

Tre HBA kort blir det 24 portar totalt så en port till vare disk för att ger den max prestanda.

Men hur gör man det då det bara finns bakplan med 6st SFF 8087?

Men du skriver ju det själv, om ditt backplan har 6st SFF så blir det ju 24 kanaler. 6x4=24. Varje SFF 8087 kabel har 4 kanaler i sig. Men på frågan om man ska köra ett, två eller tre HBA kort låter jag någon mer insatt på pci lanes svara på för att få max hastighet.

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jul 2016
Skrivet av davidodbro:

Men du skriver ju det själv, om ditt backplan har 6st SFF så blir det ju 24 kanaler. 6x4=24. Varje SFF 8087 kabel har 4 kanaler i sig. Men på frågan om man ska köra ett, två eller tre HBA kort låter jag någon mer insatt på pci lanes svara på för att få max hastighet.

Skickades från m.sweclockers.com

Så man kan får max hastighet med SFF 8087 även om den går till 4 diskar?

För jag tänkte så här om SFF 8087 går till 4 diskar så tänkte jag att dom delar på samma kabel och då kanske den inte kommer upp i max hastighet då den delas på 4 diskar.

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Trädvy Permalänk
Medlem
Registrerad
Feb 2015
Skrivet av superegg:

Så man kan får max hastighet med SFF 8087 även om den går till 4 diskar?

För jag tänkte så här om SFF 8087 går till 4 diskar så tänkte jag att dom delar på samma kabel och då kanske den inte kommer upp i max hastighet då den delas på 4 diskar.

Precis, en SFF kabel är inte en SATA kabel. I SATA kabeln är det endast en kanal medans det är 4 SAS/SATA kanaler i en SFF. Så på fyra diskar med en SFF 8087 blir det full speed.

Skickades från m.sweclockers.com