Forum Datorer och system Server Tråd Inlägg

Freenas Hur gör man en ZFS server?

1 2
Skriv svar
Permalänk
Avstängd
●

Freenas Hur gör man en ZFS server?

Hej,

Undra hur man gör en ZFS server?

Jag vet att man kör utan Raid men kan man använda ett Raid kort utan att använda själva Raiden på kortet utan bara använda den för att kunna koppla ihop alla 24 diskar?

Är det då det kallas ZFS?

Eller är det med Raid med HBA mode?

Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Hej,

Nu är jag ingen expert i frågan även om jag faktiskt kör FreeNAS med ZFS.

ZFS är ett filsystem / volym hanterare där du kan välja att köra dina diskar i olika typer av RAID, men via mjukvara istället för ett kontrollerkort (hårdvara). Jag kör själv en pool med 2 x 4TB speglat och sedan en pool med 3 x 4 TB RAID 5. Dessa pooler delar jag sedan ut i nätverket med samba.

Finns mer info på typ wikipedia:
https://en.wikipedia.org/wiki/ZFS

Vad är det specifikt du tror en zfs server gör och vad vill du använda den till?

Mvh
Alex

Redigera
Citera flera Citera
Permalänk
Medlem
●

Hur du än väljer att koppla in diskarna (moderkortets kontroller, HBA-kort etc) så ska dessa vara inställda på JBOD-läge, INTE RAID-läge. ZFS vill ha direktaccess till diskarna så hårdvaruraid är no-no.

Korten har antingen stöd rakt av för JBOD, eller så får man flasha om dem. Läst lite om det bara, tydligen kallas det för IT-läge.

ZFS är filsystemet (tänk NTFS, FAT32, EXT4) och är något speciellt uppbyggt. Är lekman och skulle nog göra bort mig om jag försökte förklara i detalj.

https://www.freebsd.org/doc/handbook/zfs-term.html

Där har du lite matnyttigt, och ja, det kan verka förvirrande till en början, har själv glömt hur fn jag byggde upp min gamla NAS, men minns jag rätt körde jag 6 2TB-diskar i raidz2 (ungefär motsvarande raid 6) som jag sedan hade i en pool, och denna pool hade jag i ett dataset som jag sedan skapade en SMB-share av...

Det finns en del fallgropar, minns inte exakt vad de är, men det var något med att man lägger till diskar på fel sätt och tappar då skyddet som paritet och/eller spegling innebär...

Det tål att läsas på en hel del innan man mekar för mycket då systemet faktiskt förväntar sig att DU som admin vet vad du sysslar med.

Visa signatur

Scribere ergo sum
Supermicro x9dr3-ln4f+ | 2 x Xeon E5-2670 | 32GB RDIMM | 6x2TB @ RAIDZ2 | 6x4TB @ RAIDZ2

Redigera
Citera flera Citera
Permalänk
Avstängd
●
Skrivet av MushForBrains:

Hur du än väljer att koppla in diskarna (moderkortets kontroller, HBA-kort etc) så ska dessa vara inställda på JBOD-läge, INTE RAID-läge. ZFS vill ha direktaccess till diskarna så hårdvaruraid är no-no.

Korten har antingen stöd rakt av för JBOD, eller så får man flasha om dem. Läst lite om det bara, tydligen kallas det för IT-läge.

ZFS är filsystemet (tänk NTFS, FAT32, EXT4) och är något speciellt uppbyggt. Är lekman och skulle nog göra bort mig om jag försökte förklara i detalj.

https://www.freebsd.org/doc/handbook/zfs-term.html

Där har du lite matnyttigt, och ja, det kan verka förvirrande till en början, har själv glömt hur fn jag byggde upp min gamla NAS, men minns jag rätt körde jag 6 2TB-diskar i raidz2 (ungefär motsvarande raid 6) som jag sedan hade i en pool, och denna pool hade jag i ett dataset som jag sedan skapade en SMB-share av...

Det finns en del fallgropar, minns inte exakt vad de är, men det var något med att man lägger till diskar på fel sätt och tappar då skyddet som paritet och/eller spegling innebär...

Det tål att läsas på en hel del innan man mekar för mycket då systemet faktiskt förväntar sig att DU som admin vet vad du sysslar med.

Gå till inlägget

Jag hittar nästan ingen info om denna Raid kort LSI Megaraid 9271-8i har den JBOD eller IT-läge?

Så om server har IT-läge eller JBOD då kallas den för ZFS om jag fattar det rätt?

Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av superegg:

Jag hittar nästan ingen info om denna Raid kort LSI Megaraid 9271-8i har den JBOD eller IT-läge?

Så om server har IT-läge eller JBOD då kallas den för ZFS om jag fattar det rätt?

Gå till inlägget

Den hitta jag efter en lite googling. Finns user guides, firmwares osv.
LSI 9271

Hitta någon post på nått forum då typ många megaraid går att flasha om till stöd av jbod men mitt tips är att läsa runt innan.

MegaRAID SAS 9270-8i
MegaRAID SAS 9271-4i
MegaRAID SAS 9271-8i
MegaRAID SAS 9271-8iCC

ZFS är fortfarande ett filsystem så som windows använder NTFS som typ standard och linux ext4

Redigera
Citera flera Citera
Permalänk
Medlem
●

Själv kör jag med detta kort

http://www.ebay.com/itm/LSI-9211-8i-IT-MODE-w-P19-F-W-AUTHENT...

Detta tar dock bara 8 hårddiskar :/

Visa signatur

SERVER: Case: SC-4324S | Mobo: Asrock Z690 Pro RS | Cpu: i7 12700K | Ram: 3200mhz 128GB | Gpu: GTX 1660 Super | Psu: ASUS Strix 850W | Controller card: LSI 9300-8i & LSI 9300-16i | Cache: 5TB | Storage: 40TB

GAMING: Case: SilverStone RM44 | Mobo: ASRock B760M | Cpu: i5 13600KF | Ram: DDR5 6000mhz 32GB | Gpu: RTX 3080 | Psu: EVGA Supernova 1300W | Nvme: 1x Samsung 980 pro 1TB Monitor: Asus PG42UQ

Redigera
Citera flera Citera
Permalänk
Medlem
●

Man ska inte använda hårdvaruraid tillsammans med ZFS. Kör på moderkortets raid och låt ZFS sköta resten. Du kan även använda HBA kort som nämnts innan.

ZFS är ett filsystem och har inget med raid att göra.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av superegg:

Jag hittar nästan ingen info om denna Raid kort LSI Megaraid 9271-8i har den JBOD eller IT-läge?

Så om server har IT-läge eller JBOD då kallas den för ZFS om jag fattar det rätt?

Gå till inlägget

Du har fattat fel.
ZFS är ett filsystem medan JBOD är en generell term för en uppsättning block devices (i det här fallet hårddiskar) som används som en synlig enhet. Två helt olika saker med andra ord.

Något förenklat:

De fysiska hårddiskarna ses av operativsystemet som "block devices", d.v.s. enheter som vi skriver ettor och nollor till.
För att hålla koll på vart på diskarna saker och ting ligger behöver vi ett filsystem, vilket (aningen förenklat) är en trädstruktur med index och adresspekare. Exakt hur denna trädstruktur ska hanteras (metadatan i form av dessa pekare, rättigheter, o.s.v.) finns många olika modeller för, och dessa kallar vi för filsystem. Ett filsystem kan ligga på en del av en block device, en hel block device eller spänna över flera block devices. Men, för att veta hur vi ska dela in dessa diskar (block devices) så måste vi ha en huvudindex som håller koll på detta. Vanligen (på en vanlig hemdator) sker detta genom en boot record på varje enskild disk som säger att "vi har delat disken i två partitioner, från A till B, och från B till C".

Olika nivåer av RAID (och JBOD) är något som styr hur data ska fördelas över blockdevices, exempelvis att enhet A och B ska ha hälften av datan var, eller att de ska innehålla exakt samma data. Det vi dock inte har någon kontroll på på den här nivån är filernas utplacering logiskt (trädstrukturen). Vi ser bara till att dela ut datan över diskarna enligt order, men själva addresseringen lämnar vi till filsystemet.

ZFS är dels ett filsystem, men håller även ett eget index över vilka diskar som används vilket gör att det lätt kan bli lite rörigt om ZFS är det första man ger sig in på när man försöker få rätsida på dylikt. Det har många godsaker att bjuda på, men frågan är: vad är det du är ute efter? Oavsett vad svaret är så är troligen inte ZFS svaret på alla dina problem. Se till att få klart för dig vad ett filsystem är, vad olika RAID-nivåer är, och vad ditt mål är. Därefter är det dags att börja ställa specifika frågor.

Visa signatur

Desktop: AMD 3950X, 64 GB RAM, Nvidia 4070 ... (Windows 11)
Serverdesktop: AMD 5600G, 64 GB RAM (Proxmox)
Labbmiljö: Supermicro SC825 X9DRi-F 2xE5-2667v2 64GB RAM
Kamera: Canon R5, Canon RF 100-500, Laowa 100mm f/2.8, Canon RF 24-70 f/2,8

Redigera
Citera flera Citera
Permalänk
Avstängd
●
Skrivet av Crazy Ferret:

Du har fattat fel.
ZFS är ett filsystem medan JBOD är en generell term för en uppsättning block devices (i det här fallet hårddiskar) som används som en synlig enhet. Två helt olika saker med andra ord.

Något förenklat:

De fysiska hårddiskarna ses av operativsystemet som "block devices", d.v.s. enheter som vi skriver ettor och nollor till.
För att hålla koll på vart på diskarna saker och ting ligger behöver vi ett filsystem, vilket (aningen förenklat) är en trädstruktur med index och adresspekare. Exakt hur denna trädstruktur ska hanteras (metadatan i form av dessa pekare, rättigheter, o.s.v.) finns många olika modeller för, och dessa kallar vi för filsystem. Ett filsystem kan ligga på en del av en block device, en hel block device eller spänna över flera block devices. Men, för att veta hur vi ska dela in dessa diskar (block devices) så måste vi ha en huvudindex som håller koll på detta. Vanligen (på en vanlig hemdator) sker detta genom en boot record på varje enskild disk som säger att "vi har delat disken i två partitioner, från A till B, och från B till C".

Olika nivåer av RAID (och JBOD) är något som styr hur data ska fördelas över blockdevices, exempelvis att enhet A och B ska ha hälften av datan var, eller att de ska innehålla exakt samma data. Det vi dock inte har någon kontroll på på den här nivån är filernas utplacering logiskt (trädstrukturen). Vi ser bara till att dela ut datan över diskarna enligt order, men själva addresseringen lämnar vi till filsystemet.

ZFS är dels ett filsystem, men håller även ett eget index över vilka diskar som används vilket gör att det lätt kan bli lite rörigt om ZFS är det första man ger sig in på när man försöker få rätsida på dylikt. Det har många godsaker att bjuda på, men frågan är: vad är det du är ute efter? Oavsett vad svaret är så är troligen inte ZFS svaret på alla dina problem. Se till att få klart för dig vad ett filsystem är, vad olika RAID-nivåer är, och vad ditt mål är. Därefter är det dags att börja ställa specifika frågor.

Gå till inlägget

Tänkte mer på hur dom här har gjort det https://www.mullet.se/product.html?product_id=340525&CNFid=l5....

"3st LSI SAS3008 kontrollers med totalt 24 portar. Anslutna över x8 PCI-e 3.0 vilket gör att alla SAS portar kan skyffla data samtidigt utan flaskhalsar. Flashade med IT firmware för snabbast möjliga access till diskarna. (En på moderkortet och två på instickskort)"

Hur har dom gjort här?

Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av superegg:

Jag hittar nästan ingen info om denna Raid kort LSI Megaraid 9271-8i har den JBOD eller IT-läge?

Så om server har IT-läge eller JBOD då kallas den för ZFS om jag fattar det rätt?

Gå till inlägget

Läget som diskarna körs i har inget med filsystemet (ZFS) att göra. Du kan använda dig av ZFS filsystemet på vanlig hårdvaru-RAID också men det tillför inte ett dugg då hårdvaru-RAID agerar som en mellanhand åt filsystemet vilket förstör hela konceptet med ZFS.

ZFS är ett avancerat filsystem vars värdefulla funktioner endast tas tillvara om man kör i JBOD eller "IT-läge" så att filsystemet har full access och kontroll till alla hårddiskar som skall ingå i lagringspoolen den vill vara sin egen "herre på täppan" utan någon mellanhand.
Man bör även ha RAM-minne med ECC (Error-Correcting Code) för att få ut alla fördelar som filsystemet ger, för lite RAM-minne eller icke ECC Ram-minne = liten eller ingen fördel alls med filsystemet ZFS.

Ett kontrollerkort/adapter där du enbart kan koppla in lagringsenheter utan något stöd för RAID-nivåer kallas HBA (Host Bus Adapter)
På ett RAID-kort som körs med all RAID-funktionalitet avstängt utan enbart länkar vidare diskarna (likt HBA) kallas läget JBOD (Just a Bunch Of Disks)
Båda ovanstående varianter innebär att mjukvara måste ta hand om ev. intelligens eller "RAID-nivåer" (t.ex. FreeNAS med filsystemet ZFS) då RAID-funktionaliteten är avstängd eller ej befintlig på adaptrarna som diskarna sitter kopplade via.

Visa signatur

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 20.04 LTS
-Numera titulerad: "dator-hipster" då jag har en AMD GPU och dessutom kör Linux.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av superegg:

Tänkte mer på hur dom här har gjort det https://www.mullet.se/product.html?product_id=340525&CNFid=l5....

"3st LSI SAS3008 kontrollers med totalt 24 portar. Anslutna över x8 PCI-e 3.0 vilket gör att alla SAS portar kan skyffla data samtidigt utan flaskhalsar. Flashade med IT firmware för snabbast möjliga access till diskarna. (En på moderkortet och två på instickskort)"

Hur har dom gjort här?

Gå till inlägget

Dessa är säkerligen supportade kort (ZFS-loggan) dvs. 2 RAID-kort med "IT-läge" som har 8 SAS-portar vardera + ett RAID chipp på moderkortet även det med 8 SAS-portar i ett "IT-läge" vilket ger 3x8p SAS = 24 diskar.
Det är inget ovanligt på serverhårdvara.

Visa signatur

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 20.04 LTS
-Numera titulerad: "dator-hipster" då jag har en AMD GPU och dessutom kör Linux.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av gevsan:

Själv kör jag med detta kort

http://www.ebay.com/itm/LSI-9211-8i-IT-MODE-w-P19-F-W-AUTHENT...

Detta tar dock bara 8 hårddiskar :/

Gå till inlägget

Du KAN koppla in fler, "Connect up to 256 SAS and SATA devices with 8 internal 6Gb/s SAS and SATA ports", men då krävs typ extra hårdvara, typ expander eller port multiplier om det är SATA-diskar... Har kört 5 diskar på en och samma SATA-kabel tidigare, numera 5 stycken över USB då moderkortet inte har eSATA

Visa signatur

Scribere ergo sum
Supermicro x9dr3-ln4f+ | 2 x Xeon E5-2670 | 32GB RDIMM | 6x2TB @ RAIDZ2 | 6x4TB @ RAIDZ2

Redigera
Citera flera Citera
Permalänk
Avstängd
●

@krigelkorren:

Svara på båda dina inlägg.

Så om jag fattar det rätt så använder dom 3 Raid kort med IT-Läge eller JBOD och 8 port så att vare hårddisk får en port för sig själv?

För man kan ju använda ett kort till 24 diskar men då delar dom väl på samma presenta och därför så använder man 3 kort?

Jag kollar på dom här.

http://mullet.se/product.html?product_id=332865
https://www.mullet.se/product.html?product_id=336569

Denna har med 24 portar http://mullet.se/product.html?product_id=344068

Vilken av dom är bäst eller finns det någon som är bättre?

@all
Ledsen var trött igår så kunde inte förklara så bra då.

Jag vet att ZFS är ett filsystem men själva fråga var bara vilken hårdvara som är bäst till ZFS.

Senast redigerat
Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av superegg:

@krigelkorren:

Svara på båda dina inlägg.

Så om jag fattar det rätt så använder dom 3 Raid kort med IT-Läge eller JBOD och 8 port så att vare hårddisk får en port för sig själv?

För man kan ju använda ett kort till 24 diskar men då delar dom väl på samma presenta och därför så använder man 3 kort?

Jag kollar på dom här.

http://mullet.se/product.html?product_id=332865
https://www.mullet.se/product.html?product_id=336569

Denna har med 24 portar http://mullet.se/product.html?product_id=344068

Vilken av dom är bäst eller finns det någon som är bättre?

@all
Ledsen var trött igår så kunde inte förklara så bra då.

Jag vet att ZFS är ett filsystem men själva fråga var bara vilken hårdvara som är bäst till ZFS.

Gå till inlägget

Det är lite mer komplicerat än antalet kort. Ett kort med 6 mini-sas (24 portar internt), eller 3 kort med 2 mini-SAS vardera (8 portar internt * 3 = 24 portar), sedan spelar annat in, som att det ena kortet du länkar till (LSI 9201) är ett SAS 2.0-kort men har 16 portar internt, medans Megaraid 9341 i sin ena variant har 8 interna portar, men följer nyare SAS 3.0-standarden, dvs stödjer högre hastigheter. Ytterligare avgörande är huruvida korten kör enligt PCIe 2.0 eller PCIe 3.0. Såg inget om det vid snabbtitt, men SAS 3.0-korten bör stödja PCIe 3.0.

Om ett kort är SAS 3.0 och stödjer PCIe 3.0 och faktiskt sitter på ett moderkort med PCIe 3.0-plats så bör du utan nämnvärd prestandaförlust kunna koppla in fler än 8 diskar till ett kort med 8 portar med expander eller port multiplier (beroende på om det är SAS- eller SATA-diskar), men är hastigheten riktigt viktigt så bör du kanske räkna på det, orkade själv inte räkna ut vad max throughput blir till varje disk

Sista kortet är ju riktigt trevligt, 24 interna portar, SAS 3.0 OCH PCIe 3.0, trevligt trevligt, men samtidigt är det också det klart dyraste av de 3, så det handlar mest om hur mycket man vill lägga, samt om man har några preferenser gällande tillverkare.

Visa signatur

Scribere ergo sum
Supermicro x9dr3-ln4f+ | 2 x Xeon E5-2670 | 32GB RDIMM | 6x2TB @ RAIDZ2 | 6x4TB @ RAIDZ2

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@superegg: Ja i deras fall med den specialbyggda servern har de nog gått på att dela upp HDD över flera PCI-E lanes just för att säkerställa att bandbredden inte blir en flashhals när vi snackarriktigt tunga laster.
24 diskar på 1x8 PCI-E känns rätt späckat. Speciellt om man har snabba SSD's och mängder av data som skall överföras kontinuerligt men för ett hemma-syfte lär fokus ligga på antal utrymme/diskar som man kan koppla till och då lär det räcka gott och väl för flera år framöver.

Visa signatur

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 20.04 LTS
-Numera titulerad: "dator-hipster" då jag har en AMD GPU och dessutom kör Linux.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av krigelkorren:

Läget som diskarna körs i har inget med filsystemet (ZFS) att göra. Du kan använda dig av ZFS filsystemet på vanlig hårdvaru-RAID också men det tillför inte ett dugg då hårdvaru-RAID agerar som en mellanhand åt filsystemet vilket förstör hela konceptet med ZFS.

Gå till inlägget

Precis! Helt rätt!

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Avstängd
●
Skrivet av krigelkorren:

@superegg: Ja i deras fall med den specialbyggda servern har de nog gått på att dela upp HDD över flera PCI-E lanes just för att säkerställa att bandbredden inte blir en flashhals när vi snackarriktigt tunga laster.
24 diskar på 1x8 PCI-E känns rätt späckat. Speciellt om man har snabba SSD's och mängder av data som skall överföras kontinuerligt men för ett hemma-syfte lär fokus ligga på antal utrymme/diskar som man kan koppla till och då lär det räcka gott och väl för flera år framöver.

Gå till inlägget

Så du menar att det är bättre att köra med 3 st så man delar det på flera PCI-E plaster?

Så typ 3 av denna https://www.mullet.se/product.html?product_id=336569 med 8 port?

Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@superegg: Ja då nyttjar man bandbredden på ett bättre sätt så länge man har 24 eller fler PCI-E lanes till sitt förfogande, det är i det läget som olika chipsets kan ha begränsningar. Så det är bra att kolla upp i förväg.
Normalt sett har ju server-grade hårdvara gott om PCI-E lanes i.o.m. dubbla CPU's och med det en fet minnesbandbredd så då vill man bruka/sprida ut lasten över så många lanes som möjligt för att prestanda inte skall bli lidande under några som helst förhållanden. Dyrt men effektivt och klart värt det när man inte vill ha några kompromisser.

Kort stycke om lanes från wikipedia:
https://en.wikipedia.org/wiki/PCI_Express#Lane

Japp, 3st. av den sorten, de skall ju vara supportade av "...FreeBSD, VMware and more" men jag vet ej om de är supportade av FreeNAS om du tänkt köra just den distributionen.

Visa signatur

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 20.04 LTS
-Numera titulerad: "dator-hipster" då jag har en AMD GPU och dessutom kör Linux.

Redigera
Citera flera Citera
Permalänk
Medlem
●

OM man kör 24 SSD:er då blir det lite per disk, men rent krasst så hamnar man på strax över 300MB/s som max med 24 diskar på EN PCIex8-slot, OM man accessar ALLA på samma gång kontinuerligt... Det är mycket OM där.

Sedan får man inte glömma att en NAS ska skyffla över ett nätverk också, om man nu inte gör en massa saker lokalt på den...

Är det SAS 3.0 så är iaf kortet en mindre flaskhals än så, även om det är ett kort med enbart 2 mini-SAS (8 lanes @ 12Gb/s)...

Visa signatur

Scribere ergo sum
Supermicro x9dr3-ln4f+ | 2 x Xeon E5-2670 | 32GB RDIMM | 6x2TB @ RAIDZ2 | 6x4TB @ RAIDZ2

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av krigelkorren:

Läget som diskarna körs i har inget med filsystemet (ZFS) att göra. Du kan använda dig av ZFS filsystemet på vanlig hårdvaru-RAID också men det tillför inte ett dugg då hårdvaru-RAID agerar som en mellanhand åt filsystemet vilket förstör hela konceptet med ZFS.

ZFS är ett avancerat filsystem vars värdefulla funktioner endast tas tillvara om man kör i JBOD eller "IT-läge" så att filsystemet har full access och kontroll till alla hårddiskar som skall ingå i lagringspoolen den vill vara sin egen "herre på täppan" utan någon mellanhand.
Man bör även ha RAM-minne med ECC (Error-Correcting Code) för att få ut alla fördelar som filsystemet ger, för lite RAM-minne eller icke ECC Ram-minne = liten eller ingen fördel alls med filsystemet ZFS.

Ett kontrollerkort/adapter där du enbart kan koppla in lagringsenheter utan något stöd för RAID-nivåer kallas HBA (Host Bus Adapter)
På ett RAID-kort som körs med all RAID-funktionalitet avstängt utan enbart länkar vidare diskarna (likt HBA) kallas läget JBOD (Just a Bunch Of Disks)
Båda ovanstående varianter innebär att mjukvara måste ta hand om ev. intelligens eller "RAID-nivåer" (t.ex. FreeNAS med filsystemet ZFS) då RAID-funktionaliteten är avstängd eller ej befintlig på adaptrarna som diskarna sitter kopplade via.

Gå till inlägget

Man ska kanske tänka på att JBOD (Just a Bunch Of Disks) är då ett kontrollerkort kopplar samman diskarna i en serie och presenterar dem som en disk, vilket förstör hela iden med ZFS. Det ska helt enkelt inte stå i något läge som alt att du sätter en jbod manuellt per disk. Kontrollen ska helst bara skyffla data inte vara inblandad i någon extra skapande av logiska enheter.

Edit: Ser ut som du har rätt och jag har fel. Även om jag varigt med om fler raidkort, i huvudsakt softraid. Som man kan välja jbod på och då förutsätts det att man väljer flera stycken så de se hamnar efter varandra få samma logiska volym. Var extremt vanligt på moderkort för 10-15 år sedan.

Senast redigerat
Visa signatur

CPU: 5900x. Mem:64GB@3200 16-17-17-34-1T. (ImDIsk)
GPU: 1080 Ti@ca 6-7%OC. Sound: SB-Z -> toslink (DTS)-> old JVC. MB Realtek to Z-2300 for VOIP.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av MushForBrains:

OM man kör 24 SSD:er då blir det lite per disk, men rent krasst så hamnar man på strax över 300MB/s som max med 24 diskar på EN PCIex8-slot, OM man accessar ALLA på samma gång kontinuerligt... Det är mycket OM där.

Sedan får man inte glömma att en NAS ska skyffla över ett nätverk också, om man nu inte gör en massa saker lokalt på den...

Är det SAS 3.0 så är iaf kortet en mindre flaskhals än så, även om det är ett kort med enbart 2 mini-SAS (8 lanes @ 12Gb/s)...

Gå till inlägget

Jag är nog på lite grin humör just nu, men det går inte att räkna så. Ditt teoretiska exempel förutsätter att kontroller på kortet inte har några fördröjningar då den (kanske ska vara hen ) hanterar samtliga diskar, inget kösystem utan alla är helt separata. Sen att det inte heller är något kösystem via pci-e som kan skapa ytterligare fördröjningar, samt att os och drivrutiner inte lägger till mer problem än om det bara t.ex. några få diskar som används samtidigt. Om det är stora filer vi pratar om och inte så mycket IO så kan man komma i närheten av teoretisk max, men annars inte. Det vet du lika väl som jag.

Visa signatur

CPU: 5900x. Mem:64GB@3200 16-17-17-34-1T. (ImDIsk)
GPU: 1080 Ti@ca 6-7%OC. Sound: SB-Z -> toslink (DTS)-> old JVC. MB Realtek to Z-2300 for VOIP.

Redigera
Citera flera Citera
Permalänk
Avstängd
●
Skrivet av krigelkorren:

@superegg: Ja då nyttjar man bandbredden på ett bättre sätt så länge man har 24 eller fler PCI-E lanes till sitt förfogande, det är i det läget som olika chipsets kan ha begränsningar. Så det är bra att kolla upp i förväg.
Normalt sett har ju server-grade hårdvara gott om PCI-E lanes i.o.m. dubbla CPU's och med det en fet minnesbandbredd så då vill man bruka/sprida ut lasten över så många lanes som möjligt för att prestanda inte skall bli lidande under några som helst förhållanden. Dyrt men effektivt och klart värt det när man inte vill ha några kompromisser.

Kort stycke om lanes från wikipedia:
https://en.wikipedia.org/wiki/PCI_Express#Lane

Japp, 3st. av den sorten, de skall ju vara supportade av "...FreeBSD, VMware and more" men jag vet ej om de är supportade av FreeNAS om du tänkt köra just den distributionen.

Gå till inlägget

Men hur gör man med tex bakplan med 24 diskar då den jag kollar på hade 6 st SFF 8087 men hur gör man då om man vill koppla så att vare disk får en egen kabel?

Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av superegg:

Men hur gör man med tex bakplan med 24 diskar då den jag kollar på hade 6 st SFF 8087 men hur gör man då om man vill koppla så att vare disk får en egen kabel?

Gå till inlägget

Hej, en SFF 8087 har 4 "kanaler" den är alltså som fyra stycken sata kablar i en, riktigt smidigt.

Själv kör jag en SFF 8087 till ett backplane på mitt chassi (https://www.supermicro.nl/products/chassis/3U/836/SC836E26-R1...)

Har inget problem att maxxa ur gbit på 7st 4TB red diskar i raid 6. Nu vet jag ju inte vilken fart du är ute efter, men då du har 6st SFF 8087 så motsvarar det 24st satakablar, mao, varje disk får varsin kabel även om det inte är fysiskt lika många kablar som diskar.

Visa signatur

Citera så hittar jag tillbaks och kan ge svar.

Redigera
Citera flera Citera
Permalänk
Avstängd
●
Skrivet av olol:

Hej, en SFF 8087 har 4 "kanaler" den är alltså som fyra stycken sata kablar i en, riktigt smidigt.

Själv kör jag en SFF 8087 till ett backplane på mitt chassi (https://www.supermicro.nl/products/chassis/3U/836/SC836E26-R1...)

Har inget problem att maxxa ur gbit på 7st 4TB red diskar i raid 6. Nu vet jag ju inte vilken fart du är ute efter, men då du har 6st SFF 8087 så motsvarar det 24st satakablar, mao, varje disk får varsin kabel även om det inte är fysiskt lika många kablar som diskar.

Gå till inlägget

Men då kommer man till problemet jag hade tänkte att köra med 3 st HBA kort och sen dela det på 24 diskar så vare disk får en egen kabel hur löser man detta?

Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Redigera
Citera flera Citera
Permalänk
Medlem
●

Alltså, så varje HBA kort har 8diskar var, eller varje disk är ansluten tilll varje HBA kort?

om du menar 8 diskar var så är väl det enkla svaret, två SFF8087 kablar / HBA kort för att få 8 diskar/kort. om jag inte har missuppfattat nu.

Visa signatur

Citera så hittar jag tillbaks och kan ge svar.

Redigera
Citera flera Citera
Permalänk
Avstängd
●
Skrivet av olol:

Alltså, så varje HBA kort har 8diskar var, eller varje disk är ansluten tilll varje HBA kort?

om du menar 8 diskar var så är väl det enkla svaret, två SFF8087 kablar / HBA kort för att få 8 diskar/kort. om jag inte har missuppfattat nu.

Gå till inlägget

Tre HBA kort blir det 24 portar totalt så en port till vare disk för att ger den max prestanda.

Men hur gör man det då det bara finns bakplan med 6st SFF 8087?

Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av superegg:

Tre HBA kort blir det 24 portar totalt så en port till vare disk för att ger den max prestanda.

Men hur gör man det då det bara finns bakplan med 6st SFF 8087?

Gå till inlägget

Något som detta? https://www.amazon.com/Cable-Matters-Internal-Mini-SAS-Breako...

SFF 8087 breakout cable

Visa signatur

Citera så hittar jag tillbaks och kan ge svar.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av superegg:

Tre HBA kort blir det 24 portar totalt så en port till vare disk för att ger den max prestanda.

Men hur gör man det då det bara finns bakplan med 6st SFF 8087?

Gå till inlägget

Men du skriver ju det själv, om ditt backplan har 6st SFF så blir det ju 24 kanaler. 6x4=24. Varje SFF 8087 kabel har 4 kanaler i sig. Men på frågan om man ska köra ett, två eller tre HBA kort låter jag någon mer insatt på pci lanes svara på för att få max hastighet.

Skickades från m.sweclockers.com

Redigera
Citera flera Citera
Permalänk
Avstängd
●
Skrivet av davidodbro:

Men du skriver ju det själv, om ditt backplan har 6st SFF så blir det ju 24 kanaler. 6x4=24. Varje SFF 8087 kabel har 4 kanaler i sig. Men på frågan om man ska köra ett, två eller tre HBA kort låter jag någon mer insatt på pci lanes svara på för att få max hastighet.

Skickades från m.sweclockers.com

Gå till inlägget

Så man kan får max hastighet med SFF 8087 även om den går till 4 diskar?

För jag tänkte så här om SFF 8087 går till 4 diskar så tänkte jag att dom delar på samma kabel och då kanske den inte kommer upp i max hastighet då den delas på 4 diskar.

Visa signatur

Man är inte dum för att man har stavproblem.
Läs mer om min synfel Visual Snow
Om mig ----> #16970666

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av superegg:

Så man kan får max hastighet med SFF 8087 även om den går till 4 diskar?

För jag tänkte så här om SFF 8087 går till 4 diskar så tänkte jag att dom delar på samma kabel och då kanske den inte kommer upp i max hastighet då den delas på 4 diskar.

Gå till inlägget

Precis, en SFF kabel är inte en SATA kabel. I SATA kabeln är det endast en kanal medans det är 4 SAS/SATA kanaler i en SFF. Så på fyra diskar med en SFF 8087 blir det full speed.

Skickades från m.sweclockers.com

Redigera
Citera flera Citera
1 2
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara