Väldigt ojämn överföringshastighet, FreeNAS

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014

Väldigt ojämn överföringshastighet, FreeNAS

Hej!

Har under lång tid försökt hitta någon NAS-mjukvara eller liknande som jag gillar, har bra prestanda och bra SW-raid osv, för att främst användas till min backup.

Nu har turen kommit till FreeNAS, men direkt uppstod stora problem med prestanda.

Förutsättningar;
Servern i sign.
OSen virtualiseras i ESXi 6, på en raid0 av 3xSSDs på LSI 9240-8i.
Main storage (som skall backas) är en VM med CentOS 7, LSI 9261-8i via VT-d, HW-raid5 (4x4TB WD Red +1hs), VMXNET3, 8 trådar, 8GB RAM.
Backup, i detta fallet, är en VM med FreeNAS 9.10, MB SCUs/kontrollers via VT-d, SW-raid/ZFS z1 (6x2TB WD Green, eller fler om jag vill), VMXNET3, 8 trådar, 16GB RAM.

Satte upp FreeNAS, med de 6 diskarna i raidz1, skapade en NFS-share och perm osv. Inga problem att mounta NFS-sharen i CentOS 7 som "nobody" och det.

MEN;
Får horribelt dålig/ojämn överföringshastighet mellan de två VMarna. Hastigheten går som en jojo upp och ner, se bild nedan på ett test jag precis körde på en överföring av ett antal linux-isos för att få lite stora filer;

Satte igår igång överföringen av hela min storage, 6,9TB, för att gå över natten. Kommer hem idag, nästan 24h senare och möts av den här;

VA?! Var och en utav dem WD Green-diskarna vet jag ger ca 100MiB/s, och jag kör 6st i vad jag förstår är typ raid5... Testade även "stripe" i FreeNAS för att utesluta så mycket som möjligt men samma problem.

Det är inget fel på HW-raiden på CentOS-VMen, körde tom en test-VM med (urk!) Win2012r2 server med VMXNET3 samt SMB och fick dessa hastigheterna;

Vad är det jag missar eller inte begriper?

Tröttnar snart på letandet efter en bra NAS-mjukvara..! Testade förra veckan xpenology, och den är ju asmysig sett till interface/GUI osv men tyckte att jag fick risig perf där också. Med dem 6x2TB Green-diskarna borde jag få iaf 3-400 MiB/s.
Sure, ganska lätt att sätta upp en till VM med CentOS och köra mdraid eller vad det heter. Men då får man ingen mjukvara som håller koll på diskarna osv och inga fancy plugins som kan vara kul...
Hittar jag ett OS som är lika skottsäkert sett till perf och stabilitet som CentOS så byter jag även på main-storage. Men det verkar omöjligt?

Sista utvägen är att slänga ihop en extra server av delar som jag har liggande med E3-propp, SM-mb, ECC-ram osv för att utesluta VMXNET3. Men då måste jag köpa hem 10gbE-kort och kablar för att få länkhastigheten, och slipper gärna det iom att jag har HW i servern nu för ändamålet.

Och ja, jag vet att man ska ha off-site backup. Men utan OS/SW som fixar jobbet så kan jag inte köra iväg diskarna till tex farsan för off-site backup.

Någon som kan förklara vad jag missat, vad felet är eller vilket OS/lösning jag ska prova härnäst?

Klient: ASUS Maximus XI Hero | Intel i7-9700K @ 5.1GHz | Corsair Vengeance LPX 16GB 3000MHz | Gigabyte GTX 970 G1 Gaming | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 8x2TB WD Green RAIDZ1 | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
DownTown
Registrerad
Dec 2006

3 av dina bilder är broken

the fock, fort jag svarade så funkar dem prima nu

Moderkort: ASUS PRIME Z370-A CPU: INTEL i7 8700k
SSD: Intel 750 1.2TB, Samsung 850 PRO 1TB GPU: Titan X Pascal
Ljud: PC360Sennheiser+SB ZxR RAM: Corsair Vengeance lpx 2600mhz cl15 32GB
SKÄRM1: Asus Rog Swift PG279Q 165hz 27" 2560x1440 CHASSI: Define c
SKÄRM2: ASUS PB278QR 27" 2560x1440 KYLNING: NH-D15 NÄTDEL: Corsair AX860W

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014
Skrivet av hurrai ?:

3 av dina bilder är broken http://gropio.com/stek/file/ulmr2y

the fock, fort jag svarade så funkar dem prima nu

haha jag insåg det och redigerade mitt inlägg, så du är sane vännen

Klient: ASUS Maximus XI Hero | Intel i7-9700K @ 5.1GHz | Corsair Vengeance LPX 16GB 3000MHz | Gigabyte GTX 970 G1 Gaming | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 8x2TB WD Green RAIDZ1 | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014

Tröttnade och körde igång en VM med CentOS 7, mdadm och för saken skull en raid0.
Herrejösses vilken skillnad!

SÅ ska en överföring se ut på 10gbe med två raid

Klient: ASUS Maximus XI Hero | Intel i7-9700K @ 5.1GHz | Corsair Vengeance LPX 16GB 3000MHz | Gigabyte GTX 970 G1 Gaming | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 8x2TB WD Green RAIDZ1 | X-Case eXtra Value 424

Trädvy Permalänk
Inaktiv
Registrerad
Mar 2010

FreeNAS är ju en APPLIANCE, dvs den kommer me de drivrutiner den kommer med. Det finns en mängd andra NAS som är mer enterprise, många fokuserar då på iSCSI och eventuellt NFS fast det kanske inte är ett problem för dig?

Jag hängde inte med där om antalet raid kontrollers och hur du gör din backup. Jag har kört en del nexenta som fungerat bra, även kört Fiber Channel.

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014
Skrivet av studiox_swe:

FreeNAS är ju en APPLIANCE, dvs den kommer me de drivrutiner den kommer med. Det finns en mängd andra NAS som är mer enterprise, många fokuserar då på iSCSI och eventuellt NFS fast det kanske inte är ett problem för dig?

Jag hängde inte med där om antalet raid kontrollers och hur du gör din backup. Jag har kört en del nexenta som fungerat bra, även kört Fiber Channel.

Är inte riktigt med på vad drivers har med saken att göra? Ursäkta att jag inte förstår vad du menar..?

Raidkontrollers i detta sammanhanget är bara en, i main storage och den är inte problemet eftersom den körs på centos och allt funkar som det ska där.
Frågan gällde hur/vad jag ska köra min backup på, som består av mb scus, alltså inga Raidkontrollers utan enbart vanliga sata-portar på mb.

Skickades från m.sweclockers.com

Klient: ASUS Maximus XI Hero | Intel i7-9700K @ 5.1GHz | Corsair Vengeance LPX 16GB 3000MHz | Gigabyte GTX 970 G1 Gaming | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 8x2TB WD Green RAIDZ1 | X-Case eXtra Value 424

Trädvy Permalänk
Inaktiv
Registrerad
Mar 2010
Skrivet av BerraBing:

Är inte riktigt med på vad drivers har med saken att göra? Ursäkta att jag inte förstår vad du menar..?

Så du har installerat CentOS och sen installerat FreeNAS men det fungerar dåligt, däremot om du kör samma CentOS utan freenas så fungerar allt ypperligt?

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014
Skrivet av studiox_swe:

Så du har installerat CentOS och sen installerat FreeNAS men det fungerar dåligt, däremot om du kör samma CentOS utan freenas så fungerar allt ypperligt?

Va?

Som det står i första posten så har jag CentOS 7 på min "main storage" med HW-raid5 och ext4 och har en massa prestanda från den VMen.

Sen skapade jag en ny VM med FreeNAS, för att ha som backup, och körde moderkortets SCUs via VT-d till den och SW-raid0 och fick usel prestanda.

Det jag till slut gjorde var att dumpa FreeNAS-VMen helt och hållet och installerade en ny VM, med CentOS 7, och körde en raid0 via mdadm och fick kanon-prestanda.

Vad har drivers med detta att göra då när båda OSen hittar alla kontrollers som dem ska?

Klient: ASUS Maximus XI Hero | Intel i7-9700K @ 5.1GHz | Corsair Vengeance LPX 16GB 3000MHz | Gigabyte GTX 970 G1 Gaming | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 8x2TB WD Green RAIDZ1 | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
här..
Registrerad
Jun 2006

Om du inte gjort det, testa att sätta sync=disabled på dina ZFS volumer. Sync implementationen i ZFS verkar vara helt broken i vissa implementationer (eller i alla).

Sänk också antalet vCPUer i dina VMar, finns ingen anledning till att ha 8 vCPUer i en lagringsserver och det enda du åstakommer är sunkig prestanda under medel belastning. Jag skulle sänka till 2 eller möjligtvis 4 vCPUer om det inte skulle räcka. Dock så verkar downtime spikarna vara alldeles för långa för att det skulle vara orsakat av CPU scheduling.

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014
Skrivet av Sir. Haxalot:

Om du inte gjort det, testa att sätta sync=disabled på dina ZFS volumer. Sync implementationen i ZFS verkar vara helt broken i vissa implementationer (eller i alla).

Sänk också antalet vCPUer i dina VMar, finns ingen anledning till att ha 8 vCPUer i en lagringsserver och det enda du åstakommer är sunkig prestanda under medel belastning. Jag skulle sänka till 2 eller möjligtvis 4 vCPUer om det inte skulle räcka. Dock så verkar downtime spikarna vara alldeles för långa för att det skulle vara orsakat av CPU scheduling.

Okej, skrotade dessvärre FreeNAS-VMen fortare än kvickt när jag såg vilken prestanda jag fick med en ren CentOS-VM så kan inte testa det... Dessutom tycker jag att det är en risig implementation om man måste köra sådana manövrar med denna hårdvaran, då är den undermålig i min mening.

Okej, kan det ställa till det om man kör med för många vCPUer menar du? trots att jag har 20 trådar tillgängligt?

Ja alltså i den nya VMen med ren CentOS och mdadm så jobbar ju knappt cpun vid överföringar så kan inte tänka mig att det har med scheduling att göra?

Klient: ASUS Maximus XI Hero | Intel i7-9700K @ 5.1GHz | Corsair Vengeance LPX 16GB 3000MHz | Gigabyte GTX 970 G1 Gaming | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 8x2TB WD Green RAIDZ1 | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
Karlstad
Registrerad
Mar 2002

@BerraBing: Kul att se att du löste det där.
Jag måste faktiskt säga att en hel del trådar som jag läser här och där på internet som handlar om FreeNAS och diverse hastigheter är att FreeNAS verkligen är bristfälligt.
Så jag förstår fortfarande inte varför FreeNAS får så mycket uppmärksamhet som det faktiskt fått.

Hur ser dina planer ut framöver?

Marantz NR1605, Rotel RB1090, Ino Audio piPs
Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060

Trädvy Permalänk
Medlem
Plats
Sturup
Registrerad
Jan 2007
Skrivet av BerraBing:

Okej, skrotade dessvärre FreeNAS-VMen fortare än kvickt när jag såg vilken prestanda jag fick med en ren CentOS-VM så kan inte testa det... Dessutom tycker jag att det är en risig implementation om man måste köra sådana manövrar med denna hårdvaran, då är den undermålig i min mening.

Okej, kan det ställa till det om man kör med för många vCPUer menar du? trots att jag har 20 trådar tillgängligt?

Ja alltså i den nya VMen med ren CentOS och mdadm så jobbar ju knappt cpun vid överföringar så kan inte tänka mig att det har med scheduling att göra?

Finns enormt mycket övervakning och notifiering av diskar/fel i linux. Ett ex är http://munin-monitoring.org/
Du har även mailnotifiering av smart inbyggt i smartd som borde vara installerat.
Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Karlskrona
Registrerad
Maj 2014
Skrivet av backspace:

@BerraBing: Kul att se att du löste det där.
Jag måste faktiskt säga att en hel del trådar som jag läser här och där på internet som handlar om FreeNAS och diverse hastigheter är att FreeNAS verkligen är bristfälligt.
Så jag förstår fortfarande inte varför FreeNAS får så mycket uppmärksamhet som det faktiskt fått.

Hur ser dina planer ut framöver?

Tack! Ja med den hårdvaran som sitter i servern så accepterar jag inte undermåliga hastigheter och stör mig otroligt mycket på om det inte funkar som det borde. Plus att funkar det såhär dåligt så litar jag inte på lösningen, och jag vill ha skottsäkra lösningar för min data.

Ja jag har upptäckt detsamma iom att jag fick mina problem och sökte med ljus och lykta efter svar, såg då att många har problem med prestandan i FreeNAS alternativt att dem nöjer sig med 100MiB/s. Kan inte förstå varför FreeNAS är så populärt när det uppenbarligen lider av stora problem, iaf när det kommer till lite högre tier...

Planerna just nu, as we speak, är att reda ut vilket FS jag ska köra med. Så jag håller nu på att installera och uppdatera en openSUSE-VM för att testa BTRFS eftersom CentOS inte rekommenderar det och inte har det som native FS.

Har varit väldigt nöjd med CentOS 7 som OS för min filserver, det är fan skottsäkert och har inte hickat en enda gång.
Men nörden i mig vill alltid testa nya saker så ska köra lite tester med BTRFS och openSUSE, eftersom CentOS är väldigt konservativt och Fedora funkade lite halvdant som VM måste jag säga...

Riktigt besviken på det glorifierade FreeNAS kan jag säga iaf, förstår inte hur folk kan nöja sig med så undermålig prestanda och ,som jag upplever, det stabilitet!

Skrivet av theailer:

Finns enormt mycket övervakning och notifiering av diskar/fel i linux. Ett ex är http://munin-monitoring.org/
Du har även mailnotifiering av smart inbyggt i smartd som borde vara installerat.
Skickades från m.sweclockers.com

Okej, tack så mycket! Har försökt hitta någon form av övervaknings-SW av diskar till linux men inte hittat något bra än.
Tack för tipset, ska kika på det när jag får tid

Klient: ASUS Maximus XI Hero | Intel i7-9700K @ 5.1GHz | Corsair Vengeance LPX 16GB 3000MHz | Gigabyte GTX 970 G1 Gaming | NZXT H630 | Cutom H20-loop ½"
Server: Supermicro X9SRL-F | Intel Xeon E5-2680v2 10c/20t | 8x8GB Samsung DDR3 ECC RDIMM | 2xLSI 9207-8i | 6x4TB WD Red RAID10 | 8x2TB WD Green RAIDZ1 | X-Case eXtra Value 424

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013

@knorrhane, any input?

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Inaktiv
Registrerad
Mar 2010
Skrivet av BerraBing:

Vad har drivers med detta att göra då när båda OSen hittar alla kontrollers som dem ska?

Så du är helt säker på att FreeNAS använder samma drivers? Eftersom FreeNas är baserat på OpenBSD och CenOS är en Linuxdist menar jag bara att det kan vara skillnad, jag säger inte att det ÄR skillnad dock (för att undvika onödiga inlägg)

Trädvy Permalänk
Inaktiv
Registrerad
Mar 2010
Skrivet av backspace:

Så jag förstår fortfarande inte varför FreeNAS får så mycket uppmärksamhet som det faktiskt fått.

Det beror väl på från var man kommer? Jag tycker att pFSense har dålig prestanda och generellt otroligt buggigt, men folk använder ju det ändå

Själv kör jag Fiber Channel som storageprotokoll då det iSCSI är värdelöst och NFS är ännu sämre, då har man inte lika stort utbud av gratis-NAS som fungerar.

Trädvy Permalänk
Medlem
Plats
Karlstad
Registrerad
Mar 2002

@enoch85: @knorrrhane

@studiox_swe: Intressant, du har kanske lust att starta en tråd som tar upp ämnet lite mer angående pfSense och dina problem?
Jag är faktiskt seriöst intresserad om Du som privatperson lider av "dålig prestanda" för detta borde ju tyda på att du verkligen sitter på en liten annorlunda och speciell miljö och då blir jag ännu mer nyfiken eftersom jag tycker det är kul med såna här saker.

Marantz NR1605, Rotel RB1090, Ino Audio piPs
Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060

Trädvy Permalänk
Medlem
Plats
Västervik
Registrerad
Jun 2005

Verkar som att du valt att skippa FreeNAS/ZFS. Men för att ge dig en trolig förklaring av vad "problemet" var.
När ESXi skickar data över NFS så skickas den som synkron. Det betyder att datan måste sparas till stabil lagring (disk och inte RAM) innan den fortsätter skicka nästa grupp med data. Detta för att ett oväntat avbrott inte ska göra så att data försvinner.
När ZFS får data som ska skrivas synkront sparas den i ZIL (ZFS Intent Log) och var ~5 sek skrivs innehållet i ZIL till filsystemet. I detta fall är ZIL och filsystem samma diskar vilket gör att du kommer skicka data över nätverket till ZIL i ~5 sek, sen vänta ~5 sek medans datan sparas i filsystemt, om och om igen. Effektivt mer än halveras skrivhastigheten.

Lösningen är att antingen skaffa en SLOG (Separate ZFS Intent Log) eller avaktivera synkrona skrivningar som @Sir. Haxalot skrev.
Inget är i sig fel på varken FreeNAS, ZFS eller NFS utan allt fungerar som det är tänkt.

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013
Skrivet av Zarper:

avaktivera synkrona skrivningar

Det är döden om man kör VMs, d.v.s. FreeNAS som NFS datastore i ESXi.

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
Västervik
Registrerad
Jun 2005

@enoch85: Ska väl inte vara någon större skillnad mot när man kör direkt på metall om man kör med pass-through? Vad menar du skulle hända?

Trädvy Permalänk
Inaktiv
Registrerad
Mar 2010
Skrivet av backspace:

@studiox_swe: Intressant, du har kanske lust att starta en tråd som tar upp ämnet lite mer angående pfSense och dina problem?

Om du tycker sådant är kul kan du ju läsa mitt inlägg på min blogg om hur jag anser nätverk ska fungera -> http://www.direktorn.com/blog/2016/08/01/network-home-lab-ext...

Detta är lite OT för denna tråd, och jag bara gav exempel på att alla inte är likadana och att FreeNas kanske inte passar alla, precis som att pfsense kanske inte passar alla.

Trädvy Permalänk
Medlem
Plats
Karlstad
Registrerad
Mar 2002

@studiox_swe: Tack.

Marantz NR1605, Rotel RB1090, Ino Audio piPs
Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013
Skrivet av Zarper:

@enoch85: Ska väl inte vara någon större skillnad mot när man kör direkt på metall om man kör med pass-through? Vad menar du skulle hända?

ESXi använder synkrona skrivningar och kollar varje sak som skrivs (nått sånt iaf, finns massa info om det på forum men var längesen jag läste), stänger man av det (aka sync writes) med ZFS som datastore så är risken stor att korrumpera hela VMen. Det går mycket snabbare, ja. Men risken för korrumperad VM ökar - you choose.

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
Västervik
Registrerad
Jun 2005

@enoch85: Om det skulle stämma så skulle det inte vara pass through och ZFS skulle inte ha direkt åtkomst till diskarna. Och det skulle absolut inte vara bra då ZFS kräver direkt tillgång till diskarna för att allt ska fungera korrekt. Väldigt svårt att tro att det skulle fungera så. Däremot stämmer det säkert utan pass through.

Trädvy Permalänk
Medlem
Plats
plats
Registrerad
Maj 2006
Skrivet av studiox_swe:

Så du är helt säker på att FreeNAS använder samma drivers? Eftersom FreeNas är baserat på OpenBSD och CenOS är en Linuxdist menar jag bara att det kan vara skillnad, jag säger inte att det ÄR skillnad dock (för att undvika onödiga inlägg)

Baserat på FreeBSD, OpenBSdhar inte stöd för ZFS. ZFS har inte prestanda som främsta mål. Hårdvara bör väljas med omsorg.

Nätverksnörd

Trädvy Permalänk
Medlem
Registrerad
Sep 2011

@enoch85, kul att du gjorde mig uppmärksam på denna tråden. Tack för det!

@berrabing, jag tror att lösningen för ZFS är det som @Zarper skrev och köra med en SLOG för att få upp prestandan på synkrona skrivningar över NFS. Om syftet med din backup är att ha bra dataintegritet så tycker jag ZFS verkar vara det du skall köra med. Jag kör med OmniOS och ett LSI-2308 för mina diskar och tycker det fungerar bra, använder napp-it som HUI. Kan dock inte säga så mycket om prestanda med NFS då jag inte har installerat min SLOG än. Du bör också tänka på hur du sätter upp dina diskar om det är prestanda du är ute efter, t.ex. 1 vdev med 2 mirrored disks. Här hittade jag någon som gjort tester med olika diskkonfigurationer: https://calomel.org/zfs_raid_speed_capacity.html

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Trädvy Permalänk
Medlem
Plats
här..
Registrerad
Jun 2006
Skrivet av enoch85:

ESXi använder synkrona skrivningar och kollar varje sak som skrivs (nått sånt iaf, finns massa info om det på forum men var längesen jag läste), stänger man av det (aka sync writes) med ZFS som datastore så är risken stor att korrumpera hela VMen. Det går mycket snabbare, ja. Men risken för korrumperad VM ökar - you choose.

Fast det är inte så stor chans att få korrupt data som folk vill påstå. Vid en unclean unmount, typ om strömmen går, så är det enda som händer att all data sedan den senaste transaction groupen försvinner. Så i slutändan så kan man under ett normalt förlopp förlorar ~5 sekunder av skrivningar. Lite som att strömavbrotten inträffade några sekunder tidigare. Visst, har men en stor miljö med flera ZFS servrar/pooler med t. ex. klustrade databaser på eller något liknande så blir det ett riktigt problem då man helt plötsligt kan få ett kluster med inkonsekvent data på, men i en hemmiljö där alla VMar ligger på samma ZFS server spelar det i stort sätt ingen roll.

Trädvy Permalänk
Medlem
Plats
Skåne
Registrerad
Jun 2002

Låter som om det hade varit enklare med en NAS

Trädvy Permalänk
Inaktiv
Registrerad
Mar 2010
Skrivet av moire:

Baserat på FreeBSD, OpenBSdhar inte stöd för ZFS. ZFS har inte prestanda som främsta mål. Hårdvara bör väljas med omsorg.

Sorry, fel av mig. Använder inte FreeNAS.

Trädvy Permalänk
Hedersmedlem
Plats
QuakeNet
Registrerad
Jul 2001

Generellt är det inte vettigt att köra FreeNAS virtuellt, om det är prestanda du vill ha. ZFS fungerar helt klart bäst bare metal och främst utan underliggande RAID-kontrollers. Det du skulle kunna testa är att skippa ZFS och kika på exempelvis NFS-prestandan med något enklare filsystem i FreeNAS.

iSCSI är också inte så vettigt med FreeNAS om man använder ZFS av nästan samma skäl. Jag har gjort rätt mycket tester på det och iSCSI-prestandan med ZFS (med eller utan virtualisering) blir inte bra.

Länk: Bra tråd på FreeNAS-forumet.

SWECLOCKERS.COM :: If Quake was done today :: Serverrum
WS: Asus P9X79 :: Core i7 3820 :: 32 GB RAM :: Samsung 830 256 GB :: 2x Intel 910 400 GB PCIE :: PNY Geforce GTX 970 XLR8 :: Gigabyte Odin GT 800W :: 2x Samsung Syncmaster S27A950D
NAS: SuperMicro X10-SLM-F :: Core i3 4130T :: 24 GB Kingston ECC :: Ri-Vier RVS2-06A 12Bay 2U :: IBM M1015 (IT) :: Mellanox Connect2X SFP+ :: Intel XL710-QDA1 QSFP+ ::