Forum Datorer och system Server Tråd Inlägg

Ny ESX Datastore - bygga egen NAS

1 2 3 4 5 6 7 8
Skriv svar
Permalänk
Medlem
●
Skrivet av aluser:

När zfs poolen är fylld till mer än 50 % inte VM:et

Gå till inlägget

Aah ok, jo det gäller speciellt när man kör iSCSI, inte NFS så som jag fattat det (har inte läst artikeln ännu).

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Petterk:

Skriv gärna vad du får ut för prestanda av det hela sen.

Gå till inlägget

Sådär, då är allt uppe och snurrar. Det slutade med 6 st 4 TB diskar (HGST 7200 RPM) och en mirror SLOG SSD på 120 GB. Har inte benchmarkat något, men det blev ett 10 GBe NIC i både servern och FreeNASen för att försäkra mig om att nätverket inte blir någon flaskhals.

Jag förde över alla mina VMs från serverns datastore till FreeNASen igår, och då skrev den i 60 MB/s (~600 MBit/s) vilket jag tycker är väldigt dåligt. Jag vet inte rikgtigt vad man skulle kunna göra åt detta så att det går snabbare men här är en sak som jag eventuellt tänkte prova: https://www.anthonynet.org/2013/09/18/performance-boosts-free...

Dock är jag helt ny på FreeNAS och ZFS och känner mig osäker på vad jag ska korrigera för att få ut bättre hastighet. Är det någon här som kan hjälpa mig med det kanske?

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem
●

Prova skriva utan slog, samt med sync disabled. Sen provar du med endast en ssd som SLOG, sen med två stycken i stripe. Prova även det där kommandot om du vill, men läs på om innebörden.

Någonstans där kommer du kanske hitta en flaskhals.

Din SSD skriver i runt 130MB/s eller vad det var, sen i mirror...

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av enoch85:

Sådär, då är allt uppe och snurrar. Det slutade med 6 st 4 TB diskar (HGST 7200 RPM) och en mirror SLOG SSD på 120 GB. Har inte benchmarkat något, men det blev ett 10 GBe NIC i både servern och FreeNASen för att försäkra mig om att nätverket inte blir någon flaskhals.

Jag förde över alla mina VMs från serverns datastore till FreeNASen igår, och då skrev den i 60 MB/s (~600 MBit/s) vilket jag tycker är väldigt dåligt. Jag vet inte rikgtigt vad man skulle kunna göra åt detta så att det går snabbare men här är en sak som jag eventuellt tänkte prova: https://www.anthonynet.org/2013/09/18/performance-boosts-free...

Dock är jag helt ny på FreeNAS och ZFS och känner mig osäker på vad jag ska korrigera för att få ut bättre hastighet. Är det någon här som kan hjälpa mig med det kanske?

Gå till inlägget

Om Du inte redan gjort det, börja med att kolla CPU och nätverksprestandan. Kör en iperf mellan maskinerna i både UDP och TCP läge var för sig vid vars eget tillfälle. Posta gärna lite siffror.

Visa signatur

Grundregel för felsökning: Bryt och begränsa.

Redigera
Citera flera Citera
Permalänk
Medlem
●

behövs switchen ?

@Calle:
En ESXi:maskin och en NAS-maskin: varför inte koppla maskinerna rygg mot rygg med x-kablar ?

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av moron:

Prova skriva utan slog, samt med sync disabled. Sen provar du med endast en ssd som SLOG, sen med två stycken i stripe. Prova även det där kommandot om du vill, men läs på om innebörden.

Någonstans där kommer du kanske hitta en flaskhals.

Din SSD skriver i runt 130MB/s eller vad det var, sen i mirror...

Gå till inlägget

FreeNAS forum avråder starkt från att köra Sync Disabled då det kan leda till datakorruption. SLOG i stripe är inte heller att rekomendera då man gärna vill ha redundans om en failar, speciellt i en produktionsmiljö.

Jag läste på lite om den där settingen och det verkar inte vara speciellt säkert heller; https://forums.freenas.org/index.php?threads/database-perform...

Det verkar som att jag förlorar hastighet, men vinner säkerhet med ZFS. Det sistnämnda är vikigare för mig, men väldigt tråkigt att det ska vara så pass dålig hastighet som det är.

Skrivet av Veni:

Om Du inte redan gjort det, börja med att kolla CPU och nätverksprestandan. Kör en iperf mellan maskinerna i både UDP och TCP läge var för sig vid vars eget tillfälle. Posta gärna lite siffror.

Gå till inlägget

CPUn är typ idle, det blev en 8 kärnors Xeon E3-1245 som jag nu upptäcker är väl tilltagen i detta bygge.

Jag försökte hitta iperf för ESXi men hittade inget. Provade nån VIB som failade när jag skulle installera. Dock gjorde jag ett test mellan en VM och FreeNASen, här är resultatet:

root@en0ch:~# iperf -c 192.168.1.200
------------------------------------------------------------
Client connecting to 192.168.1.200, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[  3] local 192.168.4.111 port 59810 connected with 192.168.1.200 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec   956 MBytes   802 Mbits/sec

Jag fick inte UDP att funka...

Något annat som jag ska testa?

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@enoch85: Jag personligen har alltid (iofs har jag inte kört FreeNAS på många år nu) haft dålig hastighet via CIFS när det gäller FreeNAS som standard men detta borde gå att få till om man rotar lite.
Det du skulle kunna göra är att faktiskt testköra lite själv, det är ju väldigt enkelt att sätta upp några olika "NAS"-system och testköra hastigheten "internt" för att se vad resultaten blir.
Detta kanske inte löser ditt problem direkt men det kan vara bra att ha lite kött på benen.

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av backspace:

@enoch85: Jag personligen har alltid (iofs har jag inte kört FreeNAS på många år nu) haft dålig hastighet via CIFS när det gäller FreeNAS som standard men detta borde gå att få till om man rotar lite.
Det du skulle kunna göra är att faktiskt testköra lite själv, det är ju väldigt enkelt att sätta upp några olika "NAS"-system och testköra hastigheten "internt" för att se vad resultaten blir.
Detta kanske inte löser ditt problem direkt men det kan vara bra att ha lite kött på benen.

Gå till inlägget

FreeNASen agerar redan som datastore, bygget är klart och satt i produktion. Nu handlar det om att få upp hastigheten.

Gjorde lite fler tester inifrån en VM som ligger på FreeNASen (NFS datastore) och jag vet inte hur jag ska läsa detta, men det verkar bra iaf:

root@en0ch:~# iozone -t 10 -r 4k
	Iozone: Performance Test of File I/O
	        Version $Revision: 3.429 $
		Compiled for 64 bit mode.
		Build: linux-AMD64 

	Contributors:William Norcott, Don Capps, Isom Crawford, Kirby Collins
	             Al Slater, Scott Rhine, Mike Wisner, Ken Goss
	             Steve Landherr, Brad Smith, Mark Kelly, Dr. Alain CYR,
	             Randy Dunlap, Mark Montague, Dan Million, Gavin Brebner,
	             Jean-Marc Zucconi, Jeff Blomberg, Benny Halevy, Dave Boone,
	             Erik Habbinga, Kris Strecker, Walter Wong, Joshua Root,
	             Fabrice Bacchella, Zhenghua Xue, Qin Li, Darren Sawyer,
	             Vangel Bojaxhi, Ben England, Vikentsi Lapa.

	Run began: Mon Oct  3 00:50:08 2016

	Record Size 4 kB
	Command line used: iozone -t 10 -r 4k
	Output is in kBytes/sec
	Time Resolution = 0.000001 seconds.
	Processor cache size set to 1024 kBytes.
	Processor cache line size set to 32 bytes.
	File stride size set to 17 * record size.
	Throughput test with 10 processes
	Each process writes a 512 kByte file in 4 kByte records

	Children see throughput for 10 initial writers 	= 1861643.56 kB/sec
	Parent sees throughput for 10 initial writers 	=   25402.19 kB/sec
	Min throughput per process 			=  648041.50 kB/sec 
	Max throughput per process 			=  648041.50 kB/sec
	Avg throughput per process 			=  186164.36 kB/sec
	Min xfer 					=     512.00 kB

	Children see throughput for 10 rewriters 	= 7130584.25 kB/sec
	Parent sees throughput for 10 rewriters 	=   81793.81 kB/sec
	Min throughput per process 			= 1515059.00 kB/sec 
	Max throughput per process 			= 2065274.00 kB/sec
	Avg throughput per process 			=  713058.43 kB/sec
	Min xfer 					=     424.00 kB

	Children see throughput for 10 readers 		= 10150943.50 kB/sec
	Parent sees throughput for 10 readers 		=  105283.88 kB/sec
	Min throughput per process 			=       0.00 kB/sec 
	Max throughput per process 			= 3125634.50 kB/sec
	Avg throughput per process 			= 1015094.35 kB/sec
	Min xfer 					=       0.00 kB

	Children see throughput for 10 re-readers 	= 12606628.25 kB/sec
	Parent sees throughput for 10 re-readers 	=  131806.23 kB/sec
	Min throughput per process 			=       0.00 kB/sec 
	Max throughput per process 			= 3580298.75 kB/sec
	Avg throughput per process 			= 1260662.82 kB/sec
	Min xfer 					=       0.00 kB

	Children see throughput for 10 reverse readers 	= 5894999.56 kB/sec
	Parent sees throughput for 10 reverse readers 	=   76999.26 kB/sec
	Min throughput per process 			= 1498879.88 kB/sec 
	Max throughput per process 			= 1869318.50 kB/sec
	Avg throughput per process 			=  589499.96 kB/sec
	Min xfer 					=     348.00 kB

	Children see throughput for 10 stride readers 	= 9390826.30 kB/sec
	Parent sees throughput for 10 stride readers 	= 1192706.94 kB/sec
	Min throughput per process 			=   27494.55 kB/sec 
	Max throughput per process 			= 2739816.25 kB/sec
	Avg throughput per process 			=  939082.63 kB/sec
	Min xfer 					=      16.00 kB

	Children see throughput for 10 random readers 	= 12057688.50 kB/sec
	Parent sees throughput for 10 random readers 	= 3089921.89 kB/sec
	Min throughput per process 			=       0.00 kB/sec 
	Max throughput per process 			= 3168833.25 kB/sec
	Avg throughput per process 			= 1205768.85 kB/sec
	Min xfer 					=       0.00 kB

	Children see throughput for 10 mixed workload 	= 6065901.38 kB/sec
	Parent sees throughput for 10 mixed workload 	=   29309.04 kB/sec
	Min throughput per process 			=       0.00 kB/sec 
	Max throughput per process 			= 2132967.25 kB/sec
	Avg throughput per process 			=  606590.14 kB/sec
	Min xfer 					=       0.00 kB

	Children see throughput for 10 random writers 	= 4170278.44 kB/sec
	Parent sees throughput for 10 random writers 	=   36477.26 kB/sec
	Min throughput per process 			= 1039401.69 kB/sec 
	Max throughput per process 			= 1053304.75 kB/sec
	Avg throughput per process 			=  417027.84 kB/sec
	Min xfer 					=     476.00 kB

	Children see throughput for 10 pwrite writers 	= 4834789.78 kB/sec
	Parent sees throughput for 10 pwrite writers 	=   19881.26 kB/sec
	Min throughput per process 			=       0.00 kB/sec 
	Max throughput per process 			= 1255654.12 kB/sec
	Avg throughput per process 			=  483478.98 kB/sec
	Min xfer 					=       0.00 kB

	Children see throughput for 10 pread readers 	= 12722677.36 kB/sec
	Parent sees throughput for 10 pread readers 	=  146854.37 kB/sec
	Min throughput per process 			=       0.00 kB/sec 
	Max throughput per process 			= 3335135.00 kB/sec
	Avg throughput per process 			= 1272267.74 kB/sec
	Min xfer 					=       0.00 kB

	Children see throughput for 10 fwriters 	= 20025140.12 kB/sec
	Parent sees throughput for 10 fwriters 		=   67456.30 kB/sec
	Min throughput per process 			= 1689860.00 kB/sec 
	Max throughput per process 			= 2265742.50 kB/sec
	Avg throughput per process 			= 2002514.01 kB/sec
	Min xfer 					=     512.00 kB

	Children see throughput for 10 freaders 	= 34346188.12 kB/sec
	Parent sees throughput for 10 freaders 		= 5657517.32 kB/sec
	Min throughput per process 			= 1138158.38 kB/sec 
	Max throughput per process 			= 4411377.50 kB/sec
	Avg throughput per process 			= 3434618.81 kB/sec
	Min xfer 					=     512.00 kB



iozone test complete.
Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av enoch85:

FreeNAS forum avråder starkt från att köra Sync Disabled då det kan leda till datakorruption. SLOG i stripe är inte heller att rekomendera då man gärna vill ha redundans om en failar, speciellt i en produktionsmiljö.

Jag läste på lite om den där settingen och det verkar inte vara speciellt säkert heller; https://forums.freenas.org/index.php?threads/database-perform...

Det verkar som att jag förlorar hastighet, men vinner säkerhet med ZFS. Det sistnämnda är vikigare för mig, men väldigt tråkigt att det ska vara så pass dålig hastighet som det är.

CPUn är typ idle, det blev en 8 kärnors Xeon E3-1245 som jag nu upptäcker är väl tilltagen i detta bygge.

Jag försökte hitta iperf för ESXi men hittade inget. Provade nån VIB som failade när jag skulle installera. Dock gjorde jag ett test mellan en VM och FreeNASen, här är resultatet:

root@en0ch:~# iperf -c 192.168.1.200
------------------------------------------------------------
Client connecting to 192.168.1.200, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[  3] local 192.168.4.111 port 59810 connected with 192.168.1.200 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec   956 MBytes   802 Mbits/sec

Jag fick inte UDP att funka...

Något annat som jag ska testa?

Gå till inlägget

Jag säger inte att du ska köra någon av dom uppsättningarna, men det är för att testa ut och identifiera en flaskhals.

Ditt iperf-test är limiterat till 1G. Vilka nätverksadaptrar kör du på VM'n?

För att testa UDP måste du köra -u flaggar på server+client, samt en Bandwidth-flagga på klienten -B [bandwidth]. Typ -B 10G eller -B 500M.

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av moron:

Jag säger inte att du ska köra någon av dom uppsättningarna, men det är för att testa ut och identifiera en flaskhals.

Ditt iperf-test är limiterat till 1G. Vilka nätverksadaptrar kör du på VM'n?

För att testa UDP måste du köra -u flaggar på server+client, samt en Bandwidth-flagga på klienten -B [bandwidth]. Typ -B 10G eller -B 500M.

Gå till inlägget

Ja, jag förstår vad du menar, men denna uppsättning skulle vara den bästa enligt FreeNAS forum/IRC så inget jag kommer ändra, men tack för dina förslag.

Jo jag märkte det också. Jag tror det kan bero på hur allt sitter ihop. 10GBe linan mellan ESXi och FreeNAS är ett separat nätverkskort med den direktansluten kabel emellan, mao så kan jag inte pinga 10GBe inifrån någon VM, och för att kunna testa hastigheten med iperf så måste jag köra på MGMT IP från VMsen då ESXi inte har iperf. Eller har du någåt förslag där kanske?

FreeNAS MGMT = 192.168.1.200 --> Switch --> OPNsense (1 GBe)
Storage Network = ESXI 10.10.10.20 <--> FreeNAS 10.10.10.10 (10 GBe)
techandme.se (VM) = 192.168.4.100 --> OPNsense (Brandväggsregler + VLAN) --> WAN (1 GBe)
Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem
●

Lyckades få till det med iperf på ESXi och det landade på 9.74 GBit/s så nätverket är helt i sin ordning. Nu ska jag testa att ta bort SLOGen och se om det gör någon skillnad, och eventuellt byta SSDer till några bättre.

Har också tagit reda på att diskarna använder 4K sektorer vilket är bra.

Här är ett performancetest med IOZONE: http://paste.isec.com/nipacovacicugicajinuzoqeyefeya.pas

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Kör en enkel DD-benchmark på en VM så bör du se vad du har för ungefärlig disk-prestanda.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av enoch85:

Lyckades få till det med iperf på ESXi och det landade på 9.74 GBit/s så nätverket är helt i sin ordning. Nu ska jag testa att ta bort SLOGen och se om det gör någon skillnad, och eventuellt byta SSDer till några bättre.

Gå till inlägget

Hur gjorde du för att köra iperf på ESXi, vore kanske intressant för andra att få reda på. Om du ändå sitter på info.

Redigera
Citera flera Citera
Permalänk
Medlem
●

@MrHummf: verkar som 6.0 skeppas med en iperf binary

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Petterk:

Kör en enkel DD-benchmark på en VM så bör du se vad du har för ungefärlig disk-prestanda.

Gå till inlägget

Finns många dd-kommandon, säg något jag ska köra så droppar jag resultatet här.

Skrivet av MrHummf:

Hur gjorde du för att köra iperf på ESXi, vore kanske intressant för andra att få reda på. Om du ändå sitter på info.

Gå till inlägget

Sorry, jag borde självklart länkat: http://www.virtuallyghetto.com/2016/03/quick-tip-iperf-now-av...

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Annars är ju 10GB-nicet anslutet med en vswitch, så bara att koppla en VM dit om man vill mäta. Men trevligt att esxi har iperf nu.

Skickades från m.sweclockers.com

Redigera
Citera flera Citera
Permalänk
Medlem
●

Ok, lite benchmarking då... Visade sig att mitt val av SSD var crap. OCZ Trion 150 gör sig inte bra i en FreeNAS build så jag bytte den mot en Intel 540 istället och det blev viss skillnad. Här kommer lite stats:

http://pastebin.com/isefDDQg

Med Intel 540:
http://imgur.com/a/AhWMG

@Petterk om du är interesserad...

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Framsteg.

@enoch85 är imgur-länken en bench i en VM? Läshastighet verkar iaf vettigt.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Petterk:

Framsteg.

@enoch85 är imgur-länken en bench i en VM? Läshastighet verkar iaf vettigt.

Gå till inlägget

Ja, imgur bilden är inifrån en Windows 10 VM som jag satte upp bara för att testa.

Pastebinen är direkt på FreeNASen på ett test dataset där jag satt "sync=always" för att få den att jobba på riktigt och även för att jag kör via NFS och ESXi. Vet inte hur mycket du kan om ZFS, ESXi och NFS men sätter man sync=always i ZFS så får man ut den mest rättvisa hastigheten med tanke på att jag använder den som datastore i ESXi.

Bottlenecken är SLOGen där jag garanterat skulle få ut bättre hastighet med vassare SSDer men det får duga för nu. Det påverkar mig inte jättemycket. Bara drygt när man ska skapa nya VMs och ladda upp saker till servern. En kille på FreeNAS IRC rekomenderade denna: http://www.intel.com/content/www/us/en/solid-state-drives/ssd... eller http://www.intel.se/content/www/se/sv/solid-state-drives/ssd-... men kostar en vacker slant. Speciellt om jag ska ha 2 st.

Här är becnh utan SLOG: http://imgur.com/a/SXJYq

Senast redigerat fel SSD länk
Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem
●

Har kollat upp lite mer nu sedan jag skrev inlägget. Det har släppts en ny SSD från Intel som ska ersätta DC S3700 som heter DC S3710. En snabb koll på prisjakt visar att den inte alls var så faligt dyr: http://www.prisjakt.nu/produkt.php?p=3053921 sen är ju allt relativt...

Har i alla fall bestämt mig för en DC S3710 som nästa disk när mina Intel 540s blir trötta eller jag inte orkar vänta längre. Det borde ge mig max vad jag kan få ut från en VM med 1 GBe NIC, d.v.s. runt 125 MB/s seq writes.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Inaktiv
●

Hade du inte 10GBe mellan host och nas? Eller kör du med PCIe passthrough och 1GBe till vissa VMs?

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av enoch85:

Har kollat upp lite mer nu sedan jag skrev inlägget. Det har släppts en ny SSD från Intel som ska ersätta DC S3700 som heter DC S3710. En snabb koll på prisjakt visar att den inte alls var så faligt dyr: http://www.prisjakt.nu/produkt.php?p=3053921 sen är ju allt relativt...

Har i alla fall bestämt mig för en DC S3710 som nästa disk när mina Intel 540s blir trötta eller jag inte orkar vänta längre. Det borde ge mig max vad jag kan få ut från en VM med 1 GBe NIC, d.v.s. runt 125 MB/s seq writes.

Gå till inlägget

Tja en tusing för S3700 beg.
http://www.ebay.com/itm/DELL-Intel-100GB-SSD-DC-S3700-series-...

1600 +frakt för 200GBarn
http://www.ebay.com/itm/New-INTEL-SSD-Solid-State-Disk-drive-...

Visa signatur

Nätverksnörd

Redigera
Citera flera Citera
Permalänk
Medlem
●

@enoch85: Eller S3710 400GB 2000/st http://www.sweclockers.com/marknad/131848-intel-s3710-400gb-e...

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Kul tråd detta! Synd att jag inte sett den tidigare.

Jag kör lagring och VMs i samma burk med ESXi. Då har jag ett LSI2308 (SAS-kort) som jag kör i passthrough till OmniOS med 3 diskar och ZFS som lagring. Jag har inte riktigt benchmarkat hastigheterna då jag tidigare kört VMs direkt på en SSD men allt eftersom fler VMs har kommit till så har jag kört iSCSI tll ESXi och då installerat VMs på dessa istället.

Nackdelen är att du måste re-scanna efter iSCSI om du startar om ESXi för att diskarna till mina guest OS skall kunna hittas men det är väldigt sällan (1 gång per år) så det fungerar bra för mig.

Har inte riktigt kollat på benchmarks förrän nu och det var inte kul att se. Nu är visserligen alla VMs igång men lokalt på OmniOS så fick jag 140 mb/s write. Skall testa med alla VMs ner också så får vi så då.

Iaf, detta var lösningen jag hade rekommenderat till dig men din slutgilitiga lösning är strået vassare.

Nu har jag kört ZFS i ca 6-7 år, 3 år på denna servern, och det har fungerat väldigt bra. En nackdel som måste sägas är att re-silvering tar väldigt lång tid. Detta får du göra om du måste byta ut en disk som har gått sönder och du är då väldigt sårbar om en disk till skulle ryka. Du har säkert redan läst på om detta men för mig med min pool på 8 TB (3x4TB diskar) och ca 40% full så tar det ca ett dygn. Jag har aldrig behövt byta ut en disk för att den har gått sönder men fårn början hade jag 2TB diskar så har gradvis uppgraderat.

Som sagt, kul tråd att läsa! Nu måste jag bara göra något åt min bedrövliga prestanda....

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Hugligan:

Hade du inte 10GBe mellan host och nas? Eller kör du med PCIe passthrough och 1GBe till vissa VMs?

Gå till inlägget

Jo det stämmer, det sitter en 10 GBe anslutning mellan FreeNAS och ESXi servern, men jag får bara ut 1 GBe p VMsen då de passerar en brandvägg som endast har 1 GBe kapacitet. Det blir att börja köpa 10 GBe NICs framöver och byta ut hela systemet. Sånt man kommer på efterhand... :/

Behöver inte 400 GB, men 2000 spänn var billigt! Mailade honom nu. Frågan är om jag ska köra singel eller mirror iom power protection som finns inbyggt i dem där SSDerna..? Kanske skulle köra L2ARC i den andra sloten som isf blir över, hmmm...

Skrivet av knorrrhane:

Nu har jag kört ZFS i ca 6-7 år, 3 år på denna servern, och det har fungerat väldigt bra. En nackdel som måste sägas är att re-silvering tar väldigt lång tid. Detta får du göra om du måste byta ut en disk som har gått sönder och du är då väldigt sårbar om en disk till skulle ryka. Du har säkert redan läst på om detta men för mig med min pool på 8 TB (3x4TB diskar) och ca 40% full så tar det ca ett dygn. Jag har aldrig behövt byta ut en disk för att den har gått sönder men fårn början hade jag 2TB diskar så har gradvis uppgraderat.

Som sagt, kul tråd att läsa! Nu måste jag bara göra något åt min bedrövliga prestanda....

Gå till inlägget

Jo jag har spenderat många timmar på forum, IRC och google för att läsa på om ZFS och FreeNAS. Jag kör själv med 6 X 4TB som du kanske läst och det ger mig 10TB då jag kör 3 vdevs i mirror.

För att få prestanda i ZFS så krävs det att man öppnar plånboken har jag märkt. Anledningen till att ja valde NFS över iSCSI var bl.a. för att man bara kan nyttja 50% utrymme innan iSCSI blir segt, samt att NFS är mycket smidigare att sätta upp och underhålla. Nu kommer ju FreeNAS från och med version 10 att stödja NFS 4.1 och då hoppas jag på ännu mer fart i grejerna.

Kul att du gillar tråden.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem
●

Ok, gjorde precis en benchmark direkt på FreeNASen och min utdelade NFS share till ESXi (sync=standard). Här är resultaten med 2 st Intel 540 i mirror som SLOG och 6 st 4TB diskar som lagring:

Command line used: iozone -r 4k -r 8k -r 16k -r 32k -r 64k -r 128k -s 6g -i 0 -i 1 -i 2
	Output is in Kbytes/sec
	Time Resolution = 0.000001 seconds.
	Processor cache size set to 1024 Kbytes.
	Processor cache line size set to 32 bytes.
	File stride size set to 17 * record size.
                                                            random  random    bkwd   record   stride                                   
              KB  reclen   write rewrite    read    reread    read   write    read  rewrite     read   fwrite frewrite   fread  freread
         6291456       4 1082266 1020189  2520076  2522969 1783493  237013                                                          
         6291456       8 1836906 1838467  4366479  4417632 3187928  297480                                                          
         6291456      16 2870150 3006034  6832286  6938390 5443123  978221                                                          
         6291456      32 4047342 4738252  9851288  9899509 8397519 2063085                                                          
         6291456      64 5191492 6439835 12531006 1266903411618743 4180614                                                          
         6291456     128 5747585 6814908 13320633 1318211813188977 6839304                                                          

iozone test complete.
[root@freenas] /mnt/RAID10#
Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av enoch85:

Ok, gjorde precis en benchmark direkt på FreeNASen och min utdelade NFS share till ESXi (sync=standard). Här är resultaten med 2 st Intel 540 i mirror som SLOG och 6 st 4TB diskar som lagring:

Command line used: iozone -r 4k -r 8k -r 16k -r 32k -r 64k -r 128k -s 6g -i 0 -i 1 -i 2
	Output is in Kbytes/sec
	Time Resolution = 0.000001 seconds.
	Processor cache size set to 1024 Kbytes.
	Processor cache line size set to 32 bytes.
	File stride size set to 17 * record size.
                                                            random  random    bkwd   record   stride                                   
              KB  reclen   write rewrite    read    reread    read   write    read  rewrite     read   fwrite frewrite   fread  freread
         6291456       4 1082266 1020189  2520076  2522969 1783493  237013                                                          
         6291456       8 1836906 1838467  4366479  4417632 3187928  297480                                                          
         6291456      16 2870150 3006034  6832286  6938390 5443123  978221                                                          
         6291456      32 4047342 4738252  9851288  9899509 8397519 2063085                                                          
         6291456      64 5191492 6439835 12531006 1266903411618743 4180614                                                          
         6291456     128 5747585 6814908 13320633 1318211813188977 6839304                                                          

iozone test complete.
[root@freenas] /mnt/RAID10#
Gå till inlägget

Ser bra ut, det måste du vara nöjd med eller? Får börja titta på att installera en SLOG verkar det som. Blev också sugen på att köra en benchmark mellan iSCSI och NFS.

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Redigera
Citera flera Citera
Permalänk
Medlem
●

@knorrrhane: Jo, med det är jag väl nöjd, men inte när jag kör tester från mina VMs, se imgur länk från igår.

Ja, SLOG är ett måste om du vill ha bra prestanda med ESXi.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem
●

Här finns lite intressanta benchmarks med SLOG/ZIL,
https://www.napp-it.org/doc/manuals/benchmarks.pdf (några år på nacken nu dock)

Du kan köra sync=disable på din datastore för att se ditt teoretiska max på writes. Du kommer dock aldrig kunna nå detta med någon SSD utan måste ha DDR baserade prylar som en zeusRAM

Från pdfen Only a DRAM based ZeusRAM is capable to deliver similar values like async write

Så frågan är om kostnaden för sync writes är värd för dig. Kan vara billigare att köra en UPS och sync=disabled och stänga ner kontrollerat vid problem så alla skrivningar hinner slutföras än att köpra en zeusRAM (finns på ebay http://www.ebay.com/itm/HGST-ZeusRAM-Z4-3-5-8GB-SAS-Hard-Driv...

Vill också påpeka att tar du bort din SLOG kommer din ZIL ligga lokalt på din datastore istället. Bara om du tar sync=disable kommer den inte skriva till din ZIL.

Visa signatur

sysl....
Bygg din egen router med pfSense
Citera för svar!

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Jag har två enkla dd-kommandon sparade för att bara kunna testköra lite vid behov, bara att gå till respektive disk eller pool och köra dem.

Skrivprestanda :

# time dd if=/dev/zero of=sometestfile bs=1024 count=30000

Läsprestanda :

# time dd if=sometestfile of=/dev/zero bs=1024 count=30000

Själv får jag skriv: 682 MB/sek samt läs: 2.8GB/sek på mina två gamla 850 EVO 500GB (mirror)

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Redigera
Citera flera Citera
1 2 3 4 5 6 7 8
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara