Forum Datorer och system Server Tråd

Tredje försöket med ZFS-baserad lagring

1
Skriv svar
Permalänk
Medlem ★
●

Tredje försöket med ZFS-baserad lagring

För er som kanske känner igen mitt nick så kanske ni kommer ihåg att jag vi två tillfällen tidigare har utvärderat ZFS-baserad lagring, men bägge gångerna har mina zpooler blivit korrupta och alla filer skrivits sönder...

Nu tänkte jag omkonsolidera min labbmiljö och lägga vSphere i botten för nästlad virtualisering (Hyper-V / vSphere) och tänkte göra ett sista försök med ZFS och NexenetaStor Community Edition och jag är fortfarande besviken.

I vSphere har jag skapat en virtuell NexentaStor med 8 vCPU (Intel Xeon E5-2620v3), 32GiB DDR4 ECC och ett LSI/Avago 2308 (IT) i VT-d-Passthrough. Till HBA'n har jag 4 Samsung EVO 840 250GiB i stripe (experimentellt) som delas ut via NFS tillbaka till vSphere där min "benchmark-server" ligger installerad.

Ingen NFS-trafik går över fysiska länkar. VMXNET3 används i NexentaStor (med VMware Tools installerat)

Men trots detta så får jag förskräckliga siffror på min "benchmark-server":

Deduplicering är av och kompression (LZ4) är aktivt vid testet ovan
Jämför dessa med siffrorna mot en enkel Intel 520 120GiB:

Är det så, oavsett vilken lagring du har i botten, att ZFS kräver ZIL/SLOG/L2ARC-cache för att det ska vara användbart?

Senast redigerat
Visa signatur

{|XSX|PS3|PS4|}

Redigera
Citera flera Citera
Permalänk
Medlem
●

Blir lite nervös nu. Ska själv bygga en Server med Proxmox och enbart ZFS. Behöver jag oroa mig eller är detta relaterat till Hyper-V / vSphere?

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Fördelen med Proxmox är att du saknar det virtuella lager (i mitt fall Nexenta, men vanligen FreeNAS) mellan Hypervisorn och ZFS. Huruvida Proxmox och FreeNAS kräver cache (och inte funkar med All-Flash utan Cache) får någon annan svara på

Visa signatur

{|XSX|PS3|PS4|}

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

ZIL har du, varken du vill det eller inte, då det är en del på disken där den mellanlagrar data som skrivs synkront.

SLOG är en extern ZIL som man bör använda någon form av flashminne (helst SLC minnen) till och ger bara extra prestanda vid synkrona skrivningar, men då du redan har SSDs som lagring bör det inte göra mycket alls.

L2ARC är en extra ARC (read cache) utöver RAM som även den bör vara av flashminne (kan med fördel vara MLC/TLC). L2ARC bör man inte tänka på fören man fyllt upp med RAM (inte mindre än 64GB). Har själv 80-90% hit rate på min ARC (16GB RAM).

Har du testat att köra ZFS direkt utan någon VM?

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Jag har inte testat baremetal-ZFS om det är det du refererar till. Den lustiga är att jag fick liknande (har inga mätningar kvar) prestanda med FreeNAS också så jag vet inte riktigt vad som är knasigt.

Antingen är det kontrollerkortet som är problemet eller bakplanet för diskarna

Skickades från m.sweclockers.com

Visa signatur

{|XSX|PS3|PS4|}

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@Wixner: Var baremetal jag syftade på, ja.
Har du testat att dela något annat än NFS, typ SMB eller att stänga av synkrona skrivningar på poolen för att testa?

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Vore intressant att få ett definitivt svar på vad detta beror på. Låter misstänkt likt mina egna erfarenheter.

Installerade själv en FreeNAS-server för flera år sedan som hade förskräcklig skrivprestanda men ok läsprestanda. Jag vill minnas att jag fick till skrivprestandan hjälpligt genom att stänga av eller kraftigt minska mängden data som buffras innan skrivning, upplevde det som att servern skrev väldigt stötvis annars.. den tog emot en mängd data från nätverket, sa stopp, skrev, tog emot mer, sa stopp, skrev...

Någon av inställningarna i configen styr detta, minns bara inte vilken. Men det kan vara värt att kolla...

Visa signatur

Data: B650 + 7800X3D + 4080 Super + 64GB (2x32) + 2TB T700 + 850W
Ljud: Cambridge Audio DacMagic + SPL Phonitor 2 + AKG K812
Bild: MSI MAG 274UPF (27" 4K)

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@Zarper:

SMB och 'sync=disabled'

Visa signatur

{|XSX|PS3|PS4|}

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@Wixner: SMB är normalt asynkront, så ger inget där. Men kan vara intressant på NFS. Vad får du för hastighet om du för över en större fil?

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@Zarper:

Nu har jag flyttat min "benchmark-server" från ZFS-poolen till en vSphere-lokal SSD, skapat en 8GiB Ramdrive benchmarkat enligt nedan:

och kopierar jag då från RAM => VMXNET3 => Nexenta så ligger filöverföringen konstant i 200MiB/S

Visa signatur

{|XSX|PS3|PS4|}

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@Wixner: Nu blev det lite mycket här. Vet inte vad det testat ska visa mer än att det går väldigt snabbt att läsa och skriva till RAM? När du säger att det går i 200 MB/s från RAM till Nexenta, menar du att du skickar via NFS med sync på till din zpool? Bättre att testa en sak åt gången när man felsöker då resultatet kan bli svårt att tyda annars.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Zarper:

@Wixner: Nu blev det lite mycket här. Vet inte vad det testat ska visa mer än att det går väldigt snabbt att läsa och skriva till RAM? När du säger att det går i 200 MB/s från RAM till Nexenta, menar du att du skickar via NFS med sync på till din zpool? Bättre att testa en sak åt gången när man felsöker då resultatet kan bli svårt att tyda annars.

Gå till inlägget

Hehe jo det gick lite fort där

Jag kopierar från en RAM-drive (benchmarkat för att påvisa dess hastighet) över SMB till Nexenta.
Deployar en NappIT-OVA nu i vSphere för att utesluta felkonfiguration i Nexenta

Visa signatur

{|XSX|PS3|PS4|}

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Virtualisera ZFS låter dumt.
ZFS är byggt för att ha direktaccess till disken.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@taliz:

Alla mina installationer har direktaccess till diskarna via VT-d och passthrough av HBA'n

Visa signatur

{|XSX|PS3|PS4|}

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@Wixner: Testat att bencha poolen direkt med iozone eller bonnie++?

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Rent spontant så lär du ju ha sumpat CPU scheduleringen i vSphere totalt genom att ge 8vCPUer till en VM på en CPU med 6 kärnor. Testa att ge den 2-3 vCPUer.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Sir. Haxalot:

Rent spontant så lär du ju ha sumpat CPU scheduleringen i vSphere totalt genom att ge 8vCPUer till en VM på en CPU med 6 kärnor. Testa att ge den 2-3 vCPUer.

Gå till inlägget

Aah, missade det. Då är det inget fel på ZFS alltså.

Och jag håller med, mest troligt.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Sir. Haxalot:

Rent spontant så lär du ju ha sumpat CPU scheduleringen i vSphere totalt genom att ge 8vCPUer till en VM på en CPU med 6 kärnor. Testa att ge den 2-3 vCPUer.

Gå till inlägget

Menar du att vSphere inte klarar av hyperthreading?

Hursom så fick jag acceptabla (600MiB/s) med en OmniOS-installation så nått knas är det med mina FreeNAS och Nexenta-installationer.

IOPSen är fortfarande låg dock...

Skickades från m.sweclockers.com

Visa signatur

{|XSX|PS3|PS4|}

Redigera
Citera flera Citera
Permalänk
Medlem
●

OmniOS/Napp-it benchar väl typ alltid snabbare än FN iaf.

Gör en stripe av alla och dela ut med NFS, sync=disabled

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Varför envisas med ZFS om det jävlas för dig?
Jag är för dåligt påläst om ZFS men vad vinner man på att köra det?

Visa signatur

< :: Intel i9 9900ks@5.0Ghz/Ring@4.5Ghz | 32Gb DDR4@3600Mhz | Geforce RTX 4070 :: >

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@shelter

ZFS är ett filsystems om aldrig (sällan?) blir korrupt och ett mycket högpresterande filsystem som kan utnyttja flera nivåer av cache

@moron

Nu har jag skapat en datastore enligt ditt förslag och mountar upp NFS-sharen i vSphere och läshastigheten är okej likväl den sekvensiella skrivningen (Filkopiering 1.6GiB / s, benchmark 436MiB/S) men jag har fortfarande bara kring 12k IOPS vid skrivning, alltså 1/3 av vad en av mina lokala SSD'er klarar av att trycka...

Konfigurationen än 2 vCPU, 8GiB RAM, VMXNET3 / 9000 och VMware Tools installerat

Visa signatur

{|XSX|PS3|PS4|}

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@Wixner:

Citat:

men bägge gångerna har mina zpooler blivit korrupta och alla filer skrivits sönder...

Nu vill jag ju inte peta med en pinne i det här getingboet men du tror inte att du försöker komplicera saker och ting mer än nödvändigt?
Ibland sätter man siktet på något så allt annat bara framstår som icke-intressant och det kan ju vara bra på sitt vis men i ditt fall kanske det är dags att ta ett steg tillbaka och fundera och utvärdera andra alternativ?

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av backspace:

@Wixner: Nu vill jag ju inte peta med en pinne i det här getingboet men du tror inte att du försöker komplicera saker och ting mer än nödvändigt?
Ibland sätter man siktet på något så allt annat bara framstår som icke-intressant och det kan ju vara bra på sitt vis men i ditt fall kanske det är dags att ta ett steg tillbaka och fundera och utvärdera andra alternativ?

Gå till inlägget

Jag förstår helt hur du menar, men just nu har jag inget annat sätt att presentera en RAID-volym till vSphere och därav en NAS/SAN Virtual Appliance med NFS/iSCSI tillbaka till hosten

Visa signatur

{|XSX|PS3|PS4|}

Redigera
Citera flera Citera
1
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara