Prestandaförlust att köra ZFS på 3Gbps bakplan

Permalänk
Medlem

Prestandaförlust att köra ZFS på 3Gbps bakplan

God skittråkig höstmorgon!

Jag har av en händelse fått tag på en rackmonterbar Synology RS3412xs (https://global.download.synology.com/download/Document/DataSh...) och kompletterat denna med ett Intel X520-DA2 (http://www.intel.com/content/www/us/en/network-adapters/conve...) som jag kör direktkopplat till min vSphere via dubbla twinaxkablar.

Tyvärr inser jag nu att det bara sitter ett 3Gbps-bakplan i Synologyn och jag når inte den prestandan jag önskat mig trots striping på 8 mekaniska diskar (WD Black Enterprise, 7200RPM) och två Intel 520 som SSD Cache. Det finns dock viss indikation på att det går att installera andra linuxdistributioner på USB och få Synologyn att boota på USB-anslutna enheter.

Då alla ZFS-baserade lagringsmjukvaror (Nexenta, FreeNAS) antagligen har bättre RAM-cache än Synology vore det intressant att testa någon av dessa, men innan jag ger mig in på detta undrar jag hur prestandan blir i FreeNas/Nexenta om diskarna (inkl. ZIL och L2ARC) kör på 3Gbps.

Visa signatur

{|XSX|PS3|PS4|}

Permalänk
Medlem

Har kört FreeNAS en del men inte så mycket med L2ARC och inget alls med ZIL så ta vad jag säger med en stor nypa salt.

För de mekaniska diskarna kommer det inte märkas någon skillnad alls, 3Gbps är mer än vad någon mekanisk disk klarar att leverera.

När det gäller SSD så har du ju fortfarande den låga accesstiden men maxar på ca 280MB/s eller så i överföringshastighet per disk.

Min egen erfarenhet av L2ARC är begränsad och mitt användningsområde tjänade inte ett dugg på det så jag skippade det. ZIL ska väl inte vara så beroende av överföringshastighet om jag förstått det rätt, rätt små mängder som skrivs där så accesstiden borde spela större roll.

Det jag ser som ett större potentiellt problem är väl mängden RAM du kan få in i burken, ZFS älskar och kräver mycket RAM. Burken maxade väl på 16GB vilket kan tyckas lite snålt för en ZFS burk som ansluts med 10Gbps.

Permalänk
Medlem

Hur hade du tänkt köra L2ARC/ZIL? Vet inte om Intel 520 är lämpade för ZIL, dessutom behöver du väl minst 2st bara för speglad ZIL, och sen valfritt antal till L2ARC då den inte är kritisk?
Vet inte om man kan låta ZIL/L2ARC vara på samma disk numera, det är nog inte att rekommendera även om man skulle lyckas.

Permalänk
Medlem

Du får väl sämre prestanda av ZFS än om du kör något annat i RAID 0 eller RAID10.
(ZFS har maxhastighet som den långsammaste disken, medan RAID får ökad hastighet ju fler diskar (inom vissa gränser) du lägger till i arrayen)

RAID-5 eller 6 (eller SHR på Synology) är ju långsammare än RAID-5/6. Så om du inte provat RAID-10 så hade det kanske varit första steget om du vill ha högre prestanda.

Visa signatur

Dator: MSI X570 Tomahawk, AMD 5600x, 64 GB RAM, 2xNVMe, 2xSATA SSD, 10 GBit NIC, Grafik Nvidia 3060 12 GB RAM
Skärm: Dell U3821DW 38" ultrawide Bärbar dator: MBA M1
Synology DS1821+ (10Gbit) - Dockers, VM, Surveillance Station 9 kameror
DS3612xs (10Gbit) - Backup sparas till denna från ovan
Skrev jag något vettig? "Tumme up":a så vet jag att det fanns nytta i min post.

Permalänk
Medlem
Skrivet av b1ghen:

Har kört FreeNAS en del men inte så mycket med L2ARC och inget alls med ZIL så ta vad jag säger med en stor nypa salt.

För de mekaniska diskarna kommer det inte märkas någon skillnad alls, 3Gbps är mer än vad någon mekanisk disk klarar att leverera.

När det gäller SSD så har du ju fortfarande den låga accesstiden men maxar på ca 280MB/s eller så i överföringshastighet per disk.

Min egen erfarenhet av L2ARC är begränsad och mitt användningsområde tjänade inte ett dugg på det så jag skippade det. ZIL ska väl inte vara så beroende av överföringshastighet om jag förstått det rätt, rätt små mängder som skrivs där så accesstiden borde spela större roll.

Det jag ser som ett större potentiellt problem är väl mängden RAM du kan få in i burken, ZFS älskar och kräver mycket RAM. Burken maxade väl på 16GB vilket kan tyckas lite snålt för en ZFS burk som ansluts med 10Gbps.

Hårdvaruplattformen som Synology snurrar på klarar upp till 32GiB DDR3 ECC (Jag har möjlighet att kasta in den mängden) samt att jag har bytt CPU från en I3-2100 till en Xeon E3-1220 så hårdvarumässigt borde det gå att kräma ut mer prestanda ur systemet - under förutsättning att 3Gbps inte är en jätteflaskhals för ZIL och L2ARC. Användningsområdet kommer enbart att vara iSCSI till min vSphere - inget annat.

Uppdatering:

SSD har jag så det räcker och blir över (2st Intel 530, 4st Samsung 840 Evo med senaste FW och 6st Samsung PM830) så jag har lite att labba med där.

Fattar jag dig rätt att ZFS inte utnyttjar fler spindlar?

Visa signatur

{|XSX|PS3|PS4|}

Permalänk
Medlem

@Wixner: Du kommer att behöva mer minne än de 2 GB ECC som sitter i bara för att kunna köra ZFS, sedan är det ju så att minnet blir det enda sättet att få ut mer prestanda. Verkar som att 6 GB är max minne, men med lite tur kanske man kan gå högre. Vet inte viket chipset den kör.

Vad kommer du att köra för workload? Sekventiell eller random, read eller write?

Vad säger hdparm -tT på dina SSDs och de olika diskarna? Är intressant att veta vad systemet presterar rått innan man ändrar något.

En L2ARC kommer endast att snabba upp läsning av data som är "het" (dvs. läst nyligen) och med för lite ram kommer den att göra mer skada än nytta eftersom en L2ARC genererar en del metadata som förbrukar en viss mängd RAM. Kort sagt så är en L2ARC en read cache som man börjar bygga på med om den behövs, efter det att man har maxat RAM.

En ZIL kommer endast att snabba upp synkrona skrivningar eftersom ZFS annars samlar upp asynkrona skrivningar och skriver dessa sekventiellt på disken vid tilfälle.

Jag skulle faktiskt testa att starta zfsguru. Det är ett projekt som många dömt ut eftersom utvecklaren är lite labil, men eftersom det i stort sett är en ren FreeBSD installation med ett enkelt WebGUI på så klarar man att fixa det mesta själv om det skulle strula. Fördelen är att det nu i och med version 3 kan köra direkt från en USB sticka samt att det har enkla benchmarks för olika poolkonfigurationer inbyggt. Dessa benchmarks är ganska intressanta så testa de. Sedan behöver du ju inte deploya på just ZFSGuru men du vet vad en plain FreeBSD på ZFS får ut av din hårdvara i olika konfigurationer.

Permalänk
Medlem
Skrivet av Wixner:

Fattar jag dig rätt att ZFS inte utnyttjar fler spindlar?

Jo visst gör den det, men det beror såklart på vilken nivå av redundans du väljer.
Exempelvis min egen lilla burk har en Zpool bestående av 2st RAIDZ2 vdevs på 6st 2TB diskar vardera, sekventiell läshastighet på den ligger mellan 4-500MB/s så ja den använder flera spindlar.

I ditt fall hade jag så klart kört på mirror då prestanda verkar vara primärt fokus.

En sak har jag lärt mig när det gäller ZFS: labba med allt både en och två gånger innan du sätter något i drift, för man är rätt så fast med sitt val eftersom man inte kan ändra/ta bort diskar etc. utan bara utöka med fler vdevs, och var försiktig som bara den med ZIL då du kan döda hela poolen om något går snett eller inte är rätt uppsatt med redundans etc.

Permalänk
Medlem
Skrivet av beh:

@Wixner: Du kommer att behöva mer minne än de 2 GB ECC som sitter i bara för att kunna köra ZFS, sedan är det ju så att minnet blir det enda sättet att få ut mer prestanda. Verkar som att 6 GB är max minne, men med lite tur kanske man kan gå högre. Vet inte viket chipset den kör.

Vad kommer du att köra för workload? Sekventiell eller random, read eller write?

Vad säger hdparm -tT på dina SSDs och de olika diskarna? Är intressant att veta vad systemet presterar rått innan man ändrar något.

En L2ARC kommer endast att snabba upp läsning av data som är "het" (dvs. läst nyligen) och med för lite ram kommer den att göra mer skada än nytta eftersom en L2ARC genererar en del metadata som förbrukar en viss mängd RAM. Kort sagt så är en L2ARC en read cache som man börjar bygga på med om den behövs, efter det att man har maxat RAM.

En ZIL kommer endast att snabba upp synkrona skrivningar eftersom ZFS annars samlar upp asynkrona skrivningar och skriver dessa sekventiellt på disken vid tilfälle.

Jag skulle faktiskt testa att starta zfsguru. Det är ett projekt som många dömt ut eftersom utvecklaren är lite labil, men eftersom det i stort sett är en ren FreeBSD installation med ett enkelt WebGUI på så klarar man att fixa det mesta själv om det skulle strula. Fördelen är att det nu i och med version 3 kan köra direkt från en USB sticka samt att det har enkla benchmarks för olika poolkonfigurationer inbyggt. Dessa benchmarks är ganska intressanta så testa de. Sedan behöver du ju inte deploya på just ZFSGuru men du vet vad en plain FreeBSD på ZFS får ut av din hårdvara i olika konfigurationer.

Glömde att nämna att Synologyn kom med 6GiB installerat som är vad DSM's officiella övre gräns är, men det finns 4 platser för ram och plattformen i sig (1150 "Bromolow" (?)) klarar upp till 32GiB DDR3 ECC.

Lagringen kommer enbart att agera Datastore till min vSphere så Random IO 50/50 read/write antar jag.

Visa signatur

{|XSX|PS3|PS4|}

Permalänk
Medlem
Skrivet av b1ghen:

Jo visst gör den det, men det beror såklart på vilken nivå av redundans du väljer.
Exempelvis min egen lilla burk har en Zpool bestående av 2st RAIDZ2 vdevs på 6st 2TB diskar vardera, sekventiell läshastighet på den ligger mellan 4-500MB/s så ja den använder flera spindlar.

I ditt fall hade jag så klart kört på mirror då prestanda verkar vara primärt fokus.

En sak har jag lärt mig när det gäller ZFS: labba med allt både en och två gånger innan du sätter något i drift, för man är rätt så fast med sitt val eftersom man inte kan ändra/ta bort diskar etc. utan bara utöka med fler vdevs, och var försiktig som bara den med ZIL då du kan döda hela poolen om något går snett eller inte är rätt uppsatt med redundans etc.

Jo, jag har haft en massiv dataförlust av ZFS under Solaris (finns en tråd nånstans här på sweclockers) och det är därför jag har mina ögon primärt inställt på NexentaStor CE då den verkar var den distribution man hört minst problem med.

Visa signatur

{|XSX|PS3|PS4|}

Permalänk
Medlem
Skrivet av b1ghen:

Exempelvis min egen lilla burk har en Zpool bestående av 2st RAIDZ2 vdevs på 6st 2TB diskar vardera, sekventiell läshastighet på den ligger mellan 4-500MB/s så ja den använder flera spindlar.

I ditt fall hade jag så klart kört på mirror då prestanda verkar vara primärt fokus.

Ja det går att få upp överföringshastigheten, men om man behöver mer IOPS så ska man stacka sina vdev's.
Sedan får man överväga hur mycket disk man vill ha i redundans (hur många vdev's och om 1 eller 2 diskars redundans).

Istället för att jag ska skriva en massa så länkar jag till en annan tråd som tar denna diskussionen.

Som sagts tidigare om ZFS så ska man veta i förväg hur man vill ha det då det inte är möjligt att ändra vissa saker i efterhand.

http://arstechnica.com/civis/viewtopic.php?f=21&t=1168139

Visa signatur

Dator: MSI X570 Tomahawk, AMD 5600x, 64 GB RAM, 2xNVMe, 2xSATA SSD, 10 GBit NIC, Grafik Nvidia 3060 12 GB RAM
Skärm: Dell U3821DW 38" ultrawide Bärbar dator: MBA M1
Synology DS1821+ (10Gbit) - Dockers, VM, Surveillance Station 9 kameror
DS3612xs (10Gbit) - Backup sparas till denna från ovan
Skrev jag något vettig? "Tumme up":a så vet jag att det fanns nytta i min post.

Permalänk
Skrivet av beh:

@Wixner: Du kommer att behöva mer minne än de 2 GB ECC som sitter i bara för att kunna köra ZFS,

Detta stämmer inte. Det går utmärkt att köra ZFS med 2GB RAM i en server. Enda problemet med så lite minne är att du inte får en snabb ARC ram disk cache, men det är ju inte egentligen ett problem. Dessutom, om du har en mediaserver så behöver du inte mer än 2-4GB i servern, därför att en disk cache är till för främst om att cacha data som du accessar gång på gång. Men om du aldrig återanvänder datat, och hela tiden laddar ny data (tittar på en film, och sedan på nästa, och går inte tillbaka till första filmen) så är en disk cache helt totalt onödigt. Isåfall skulle jag nöja mig med 2-4GB RAM
https://en.wikipedia.org/wiki/ZFS#ZFS_cache:_ARC_.28L1.29.2C_...
"...There are claims that ZFS servers must have huge amounts of RAM, but that is not true. It is a misinterpretation of the desire to have large ARC disk caches. The ARC is very clever and efficient, which means disks will often not be touched at all, provided the ARC size is sufficiently large. In the worst case, if the RAM size is very small (say, 1 GB), there will hardly be any ARC at all; in this case, ZFS always needs to reach for the disks. This means read performance degrades to disk speed...."

Men om du tänker köra deduplicering, så krävs mycket RAM utav ZFS. Då rekommenderas 1GB RAM per 1TB disk, eller tom mer. Deduplicering i ZFS funkar inte bra och ska undvikas. Men man ska alltid alltid slå på komprimering, eftersom det ökar prestandan.
https://en.wikipedia.org/wiki/ZFS#Deduplication

Skrivet av Wixner:

Jo, jag har haft en massiv dataförlust av ZFS under Solaris (finns en tråd nånstans här på sweclockers) och det är därför jag har mina ögon primärt inställt på NexentaStor CE då den verkar var den distribution man hört minst problem med.

Intressant. Vad hände? Det är inte ofta man hör om folk som verkligen lyckats få dataförlust med ZFS.

EDIT: Till TS. Om du kör 3gb bakplan, så får du 1.2GB/sec när du kör tillräckligt många diskar i raidz. Det kanske räcker rent sekvensiellt?

Permalänk
Medlem
Skrivet av MichaelJackson:

Detta stämmer inte. Det går utmärkt att köra ZFS med 2GB RAM i en server. Enda problemet med så lite minne är att du inte får en snabb ARC ram disk cache, men det är ju inte egentligen ett problem. Dessutom, om du har en mediaserver så behöver du inte mer än 2-4GB i servern, därför att en disk cache är till för främst om att cacha data som du accessar gång på gång. Men om du aldrig återanvänder datat, och hela tiden laddar ny data (tittar på en film, och sedan på nästa, och går inte tillbaka till första filmen) så är en disk cache helt totalt onödigt. Isåfall skulle jag nöja mig med 2-4GB RAM
https://en.wikipedia.org/wiki/ZFS#ZFS_cache:_ARC_.28L1.29.2C_...
"...There are claims that ZFS servers must have huge amounts of RAM, but that is not true. It is a misinterpretation of the desire to have large ARC disk caches. The ARC is very clever and efficient, which means disks will often not be touched at all, provided the ARC size is sufficiently large. In the worst case, if the RAM size is very small (say, 1 GB), there will hardly be any ARC at all; in this case, ZFS always needs to reach for the disks. This means read performance degrades to disk speed...."

Men om du tänker köra deduplicering, så krävs mycket RAM utav ZFS. Då rekommenderas 1GB RAM per 1TB disk, eller tom mer. Deduplicering i ZFS funkar inte bra och ska undvikas. Men man ska alltid alltid slå på komprimering, eftersom det ökar prestandan.
https://en.wikipedia.org/wiki/ZFS#Deduplication

Intressant. Vad hände? Det är inte ofta man hör om folk som verkligen lyckats få dataförlust med ZFS.

EDIT: Till TS. Om du kör 3gb bakplan, så får du 1.2GB/sec när du kör tillräckligt många diskar i raidz. Det kanske räcker rent sekvensiellt?

Jag testade 8 WD Black Enterprise 7200 RPM 64MiB Cache i RAID0 men kom upp i ungefär 400MiB/S (Windows Server 2012 R2 iSCSI MPIO 10GbE) och jag tycker det låter som att det borde gå att kräma ur mer. Nu kommer jag ju inte att köra RAID0 utan det blir en RAID10 så jag får väl kanske räkna med halva hastigheten. Jag är helt enkelt nyfiken att testa MPIO 10GbE mot en annan lagringslösning/mjukvara för att se om det är Synology's implementation som är boven i dramat.

Jag vet inte exakt vad som hände, men min pool blev nästan full (strax över 90%) och väldigt många filer blev korrupt.
Som tur är var det ingen viktig data, men det är sedan den händelsen jag vill köra en ZFS-Appliance istället för att meka själv

Då körde jag Solaris 11 på en Xeon E3-1230V2 på ett Supermicro-kort med 32GiB DDR3 ECC och ett Seasonic 860W Platinum-agg.
2st LSI-9211i IT-firmware och 8st 2TiB Samsung 7200RPM-diskar. Ingen disk var korrupt.

Visa signatur

{|XSX|PS3|PS4|}

Permalänk
Medlem
Skrivet av Wixner:

Glömde att nämna att Synologyn kom med 6GiB installerat som är vad DSM's officiella övre gräns är, men det finns 4 platser för ram och plattformen i sig (1150 "Bromolow" (?)) klarar upp till 32GiB DDR3 ECC.

Lagringen kommer enbart att agera Datastore till min vSphere så Random IO 50/50 read/write antar jag.

I sådana fall så skulle jag satsa på en pool med flera mirrors, det är det absolut bästa sättet att få mer IOPS på ZFS.

Skrivet av MichaelJackson:

Detta stämmer inte. Det går utmärkt att köra ZFS med 2GB RAM i en server. Enda problemet med så lite minne är att du inte får en snabb ARC ram disk cache, men det är ju inte egentligen ett problem. Dessutom, om du har en mediaserver så behöver du inte mer än 2-4GB i servern, därför att en disk cache är till för främst om att cacha data som du accessar gång på gång. Men om du aldrig återanvänder datat, och hela tiden laddar ny data (tittar på en film, och sedan på nästa, och går inte tillbaka till första filmen) så är en disk cache helt totalt onödigt. Isåfall skulle jag nöja mig med 2-4GB RAM
https://en.wikipedia.org/wiki/ZFS#ZFS_cache:_ARC_.28L1.29.2C_...
"...There are claims that ZFS servers must have huge amounts of RAM, but that is not true. It is a misinterpretation of the desire to have large ARC disk caches. The ARC is very clever and efficient, which means disks will often not be touched at all, provided the ARC size is sufficiently large. In the worst case, if the RAM size is very small (say, 1 GB), there will hardly be any ARC at all; in this case, ZFS always needs to reach for the disks. This means read performance degrades to disk speed...."

Jag säger inte att man inte kan köra ZFS på en server med 2 GB, jag säger att i TS fall där han önskar att köra ZFS på sin RS3412xs med bättre prestanda än DSM. Det är en viktig distinktion. Speciellt då iSCSI borde kunnas snabbas upp ordentligt med en ordentlig cache.

Skrivet av MichaelJackson:

Men om du tänker köra deduplicering, så krävs mycket RAM utav ZFS. Då rekommenderas 1GB RAM per 1TB disk, eller tom mer. Deduplicering i ZFS funkar inte bra och ska undvikas. Men man ska alltid alltid slå på komprimering, eftersom det ökar prestandan.
https://en.wikipedia.org/wiki/ZFS#Deduplication

Ja, det är mycket smart att köra någon form av komprimering (LZ4) med iSCSI eftersom det ofta blir en del luft i trafiken och att vi antagligen är IO bundna i den angivna workloaden.

Skrivet av MichaelJackson:

Intressant. Vad hände? Det är inte ofta man hör om folk som verkligen lyckats få dataförlust med ZFS.

Kom igen? Det är massor av skräckexempel på folk som har förlorat data med ZFS, speciellt på FreeNAS forumet. Orsakerna är många, till exempel att man har lagt till en disk utan redundans till en pool med redundans eller kört med missmatch mellan FW och drivare på sin HBA. Det finns massor som kan gå fel och inget filsystem är felfritt.

Skrivet av MichaelJackson:

EDIT: Till TS. Om du kör 3gb bakplan, så får du 1.2GB/sec när du kör tillräckligt många diskar i raidz. Det kanske räcker rent sekvensiellt?

Det är inte säkert, även om många diskar aggregerat kan lämna 1.2 GB/s så är det inte säkert att kontrollern klarar det eller bussen den sitter på. Dock hittar jag ingen info på nätet om vad RS3412xs egentligen innehåller.

Kan TS posta en dmesg och en lspci?

Permalänk
Medlem

@beh

lspci

00:00.0 Class 0600: Device 8086:0108 (rev 09) 00:01.0 Class 0604: Device 8086:0101 (rev 09) 00:01.1 Class 0604: Device 8086:0105 (rev 09) 00:06.0 Class 0604: Device 8086:010d (rev 09) 00:16.0 Class 0780: Device 8086:1c3a (rev 04) 00:1a.0 Class 0c03: Device 8086:1c2d (rev 05) 00:1c.0 Class 0604: Device 8086:1c10 (rev b5) 00:1c.4 Class 0604: Device 8086:1c18 (rev b5) 00:1c.5 Class 0604: Device 8086:1c1a (rev b5) 00:1c.6 Class 0604: Device 8086:1c1c (rev b5) 00:1c.7 Class 0604: Device 8086:1c1e (rev b5) 00:1d.0 Class 0c03: Device 8086:1c26 (rev 05) 00:1e.0 Class 0604: Device 8086:244e (rev a5) 00:1f.0 Class 0601: Device 8086:1c56 (rev 05) 00:1f.3 Class 0c05: Device 8086:1c22 (rev 05) 01:00.0 Class 0200: Device 8086:10fb (rev 01) 01:00.1 Class 0200: Device 8086:10fb (rev 01) 02:00.0 Class 0604: Device 111d:806e (rev 02) 03:02.0 Class 0604: Device 111d:806e (rev 02) 03:03.0 Class 0604: Device 111d:806e (rev 02) 03:04.0 Class 0604: Device 111d:806e (rev 02) 03:05.0 Class 0604: Device 111d:806e (rev 02) 04:00.0 Class 0100: Device 11ab:7042 (rev 02) 05:00.0 Class 0100: Device 11ab:7042 (rev 02) 06:00.0 Class 0100: Device 11ab:7042 (rev 02) 07:00.0 Class 0100: Device 11ab:7042 (rev 02) 08:00.0 Class 0100: Device 11ab:7042 (rev 02) 0a:00.0 Class 0200: Device 8086:10d3 0b:00.0 Class 0200: Device 8086:10d3 0c:00.0 Class 0200: Device 8086:10d3 0d:00.0 Class 0200: Device 8086:10d3

Dold text

Vilken information från dmesg är intressant? Jag får inte posta hela meddelandet

Visa signatur

{|XSX|PS3|PS4|}

Permalänk
Medlem
Skrivet av beh:

Vad säger hdparm -tT på dina SSDs och de olika diskarna? Är intressant att veta vad systemet presterar rått innan man ändrar något.

/dev/sda ... /dev/sdh (Mekaniska)
Timing cached reads ... 12836.05 MB/sec
Timing buffered disk reads: 130 MB/s

/dev/sdi .. /dev/sdj (SSD, Samsung 840 EVO)
Timing cached reads ... 12961.81 MB/sec
Timing buffered disk reads: 267.60 MB/s

Visa signatur

{|XSX|PS3|PS4|}

Permalänk
Medlem
Skrivet av Wixner:

Jag tror inte att vi behöver dmesg längre. Jag kollade upp PCI-E enheternerna och det verkar som följande:

01:00.0 Class 0200: Device 8086:10fb (rev 01) 82599EB 10-Gigabit Network Connection 01:00.1 Class 0200: Device 8086:10fb (rev 01) 82599EB 10-Gigabit Network Connection 02:00.0 Class 0604: Device 111d:806e (rev 02) PES24T6G2 PCI Express Gen2 Switch 03:02.0 Class 0604: Device 111d:806e (rev 02) PES24T6G2 PCI Express Gen2 Switch 03:03.0 Class 0604: Device 111d:806e (rev 02) PES24T6G2 PCI Express Gen2 Switch 03:04.0 Class 0604: Device 111d:806e (rev 02) PES24T6G2 PCI Express Gen2 Switch 03:05.0 Class 0604: Device 111d:806e (rev 02) PES24T6G2 PCI Express Gen2 Switch 04:00.0 Class 0100: Device 11ab:7042 (rev 02) PCI-e 4-port SATA-II Marvell 88SX7042 (PCI-e version of 88SX6042) 05:00.0 Class 0100: Device 11ab:7042 (rev 02) PCI-e 4-port SATA-II Marvell 88SX7042 (PCI-e version of 88SX6042) 06:00.0 Class 0100: Device 11ab:7042 (rev 02) PCI-e 4-port SATA-II Marvell 88SX7042 (PCI-e version of 88SX6042) 07:00.0 Class 0100: Device 11ab:7042 (rev 02) PCI-e 4-port SATA-II Marvell 88SX7042 (PCI-e version of 88SX6042) 08:00.0 Class 0100: Device 11ab:7042 (rev 02) PCI-e 4-port SATA-II Marvell 88SX7042 (PCI-e version of 88SX6042) 0a:00.0 Class 0200: Device 8086:10d3 82574L Gigabit Ethernet Controller 0b:00.0 Class 0200: Device 8086:10d3 82574L Gigabit Ethernet Controller 0c:00.0 Class 0200: Device 8086:10d3 82574L Gigabit Ethernet Controller 0d:00.0 Class 0200: Device 8086:10d3 82574L Gigabit Ethernet Controller

Enheten består alltså av ditt Intel 10 GbE kort, några PCI-E multiplexers (PES24T6G2) och slutligen en Marvell 88SX7042.

Den första kolonnen är vilken PCI-e bus som enheten sitter på. Nu är jag inte riktigt säker på hur de två expansionsportarna på baksidan används men det borde vara infiniband till RX1214 / RX1211 och dessa två portar borde således vara kopplade till någon av dessa PCI-e bryggor. Dessutom så ser det ut som att fyra av PCI-e bryggorna ligger efter

Oavsett är det 5 stk Marvell 88SX7042, varav två är placerade nära ininiband konakten och tre vid kontakten för diskarna. Så man kan väl räkna med att det är två kontrollers som är fulla och en som bara servar två diskar. Den som bara servar två borde få äran att sköta om dina SSDs. Med lite detektivarbete kan du nog klura ur hur det är kopplat.

Borde fungera fint i FreeBSD också om du undrar över FreeNAS och ZFSGuru.

Skrivet av Wixner:

/dev/sda ... /dev/sdh (Mekaniska)
Timing cached reads ... 12836.05 MB/sec
Timing buffered disk reads: 130 MB/s

/dev/sdi .. /dev/sdj (SSD, Samsung 840 EVO)
Timing cached reads ... 12961.81 MB/sec
Timing buffered disk reads: 267.60 MB/s

Det ser ju ganska bra ut, du får alltså ca 2 Gbps ur SSDn. Visserligen när inga andra diskar är aktiva men ändå.

Permalänk
Medlem

@beh:

Jag ska ockulärt forska vidare på detta efter jobbet, men en sak tycker jag är märkligt:

Synology RS3412xs/RS3412RPxs is also designed to grow with your
business and provides the ability to seamlessly expand a single volume up
to 100TB on the fly. When the storage capacity of RS3412xs/RS3412RPxs
is nearing its limits, it can easily be expanded with Synology
RX1211/RX1211RP2. It is connected to RS3412xs/RS3412RPxs via an
Infiniband cable that carries 12 Gb/s SATA signal to ensure maximum
throughput.

Dold text

Om nu datakommunikationen över infiniband kör på samma Marvel-kontroller som bakplanen så undrar jag hur de kan trycka 12Gb/s över infiniband.

Är väl kanske lättast att få tag på en JBOD-låda med Infiniband och 6GBps-bakplan om prestandan ska upp...

Visa signatur

{|XSX|PS3|PS4|}

Permalänk
Skrivet av beh:

Kom igen? Det är massor av skräckexempel på folk som har förlorat data med ZFS, speciellt på FreeNAS forumet. Orsakerna är många, till exempel att man har lagt till en disk utan redundans till en pool med redundans eller kört med missmatch mellan FW och drivare på sin HBA. Det finns massor som kan gå fel och inget filsystem är felfritt.

Ingen påstår att något filsystem är felfritt. Jag hänger dock inte på FreeNAS forumet så jag vet inte vad folk rapporterar. Det enda jag vet, är att på de lagringsforum jag hänger på, och folk använder ZFS på ett vettigt sätt (dvs datorkunniga som vet vad de gör och inga som lägger t.ex. disk utan redundans till en zpool) så ser jag trådar ibland att deras zpool strular, men på slutet löser det sig (nästan) alltid. Det är ovanligt att de förlorar data. Men visst, hänger man på forum med folk som inte kan så mycket om lagring så kan jag mycket väl tänka mig att det kan bli strul. Men det är inget jag ser. Det var därför jag blev lite förvånad. På expertforumen löser det sig (nästan) alltid.

Permalänk
Medlem
Skrivet av Wixner:

@beh:

Jag ska ockulärt forska vidare på detta efter jobbet, men en sak tycker jag är märkligt:

Synology RS3412xs/RS3412RPxs is also designed to grow with your
business and provides the ability to seamlessly expand a single volume up
to 100TB on the fly. When the storage capacity of RS3412xs/RS3412RPxs
is nearing its limits, it can easily be expanded with Synology
RX1211/RX1211RP2. It is connected to RS3412xs/RS3412RPxs via an
Infiniband cable that carries 12 Gb/s SATA signal to ensure maximum
throughput.

Dold text

Om nu datakommunikationen över infiniband kör på samma Marvel-kontroller som bakplanen så undrar jag hur de kan trycka 12Gb/s över infiniband.

Är väl kanske lättast att få tag på en JBOD-låda med Infiniband och 6GBps-bakplan om prestandan ska upp...

@Wixner: Jag var lite oklar innan, det är SAS över en SFF-8470 kontakt (som också används för Infiniband, men då kallas CX4) och inget annat. Ja det verkar som att bandbredden är lite klen för att räcka till 10 diskar på en Marvel 88SX7042, för det är väl inte meningen att man ansluter två expansionsportar till en RX1211 ? Det måste ju sitta en SAS Expander (kommer ju SATA och inte SAS från 88SX7042) SATA port multiplier i dessa externa kabienett. Men jag vet ju inte hur mycket detta påverkar.

Skrivet av MichaelJackson:

Ingen påstår att något filsystem är felfritt. Jag hänger dock inte på FreeNAS forumet så jag vet inte vad folk rapporterar. Det enda jag vet, är att på de lagringsforum jag hänger på, och folk använder ZFS på ett vettigt sätt (dvs datorkunniga som vet vad de gör och inga som lägger t.ex. disk utan redundans till en zpool) så ser jag trådar ibland att deras zpool strular, men på slutet löser det sig (nästan) alltid. Det är ovanligt att de förlorar data. Men visst, hänger man på forum med folk som inte kan så mycket om lagring så kan jag mycket väl tänka mig att det kan bli strul. Men det är inget jag ser. Det var därför jag blev lite förvånad. På expertforumen löser det sig (nästan) alltid.

Nej, men jag blev mest förvånad över att du anser att "Det är inte ofta man hör om folk som verkligen lyckats få dataförlust med ZFS." Det har funnits buggar i ZFS som inte har med användarfel att göra, nu har jag inte något login till SUN / Oracle säkerhetsbulletiner längre men jag läste den när den släpptes.

Att man förlorar data med ZFS behöver inte betyda att man är en idiot.

Permalänk
Skrivet av beh:

Nej, men jag blev mest förvånad över att du anser att "Det är inte ofta man hör om folk som verkligen lyckats få dataförlust med ZFS." Det har funnits buggar i ZFS som inte har med användarfel att göra, nu har jag inte något login till SUN / Oracle säkerhetsbulletiner längre men jag läste den när den släpptes.

Att man förlorar data med ZFS behöver inte betyda att man är en idiot.

Ok, jag håller med dig. Jag borde formulerat mig annorlunda. Jag menade istället "Det är inte ofta jag hör om folk som verkligen lyckats få dataförlust med ZFS på senare tid". Jag hänger på lagringsforum där folk ofta är sysadmins och jobbar med lagring och stora servrar, och alltid har raid hemma med många diskar, SAS kort och sånt. Och på alla de forumen är det ovanligt att folk blir av med data med ZFS. Jag går alltid in i alla trådar där de har problem och kollar om ZFS är inblandat, och nästan alltid på slutet så går det bra. Det är alltså ovanligt att folk tappar data med ZFS. Sen kan det vara annorlunda på t.ex. FreeNAS forum där folk klantar sig rejält (t.ex. lägger till en ensam disk till ett raidz1), visst, det kanske händer hela tiden där. Det vet jag inget om. Men på forum där folk är pålästa är min erfarenhet att det är ovanligt att de tappar data. Och du verkade vara en som kunde en hel del, och det var därför jag reagerade att en kunnig som du, tappade data.

Sen finns det självklart buggar i ZFS, det har ingen förnekat. Och visst, det händer att folk tappar data än idag (din länk är från 2010) men enligt min erfarenhet så är det mycket ovanligt. De forumen är stora och det hänger många människor där, det borde krylla av trådar om de tappar data, men det gör det inte. Istället slutar det alltid bra.

Permalänk
Medlem

@MichaelJackson: Ja, när man blir intresserad av ZFS är det svårt att låta bli att läsa om andras byggen och olika problem / lösningar. Bara för att förtydliga: Jag har inte haft korruption på ZFS utan det är TS det handlar om. Men jag har dock blivit räddad av ZFS bla. när mina ökända st3000dm001 dör en efter en.

Permalänk
Medlem

Tyvärr visar det sig att VGA ut verkar vara inaktiverat på modellen jag har vilket försvårar installationen av andra linuxdistributioner avsevärt. Min enda möjlighet till lite mer kräm i lagringen är ett JBOD-chassi som går att ansluta via SFF-8470 och som är utrustat med ett 6Gbps-bakplan.

Visa signatur

{|XSX|PS3|PS4|}

Permalänk
Medlem

@Wixner: Det finns väl en seriell konsol på den?