Ny ESX Datastore - bygga egen NAS

Permalänk
Inaktiv
Skrivet av backspace:

Jag har två enkla dd-kommandon sparade för att bara kunna testköra lite vid behov, bara att gå till respektive disk eller pool och köra dem.

Skrivprestanda :

# time dd if=/dev/zero of=sometestfile bs=1024 count=30000

Läsprestanda :

# time dd if=sometestfile of=/dev/zero bs=1024 count=30000

Själv får jag skriv: 682 MB/sek samt läs: 2.8GB/sek på mina två gamla 850 EVO 500GB (mirror)

Galna hastigheter, varför jag också i början rekommenderade lokalansluten lagring. För priset av denna nas hade TS antagligen kunna fått ren SSD lagring lokalt, som han sedan hade kunnat rullat igång en "NAS" vm för de datorer han vill ha det till.

Permalänk
Medlem

Lite allmän info till tråden.

Gällande ESXi och prestanda över NFS så hänger det mycket på att VMware mer eller mindre hårdkodat NFS-flaggan sync vilket kräver synkroniserade skriviningar till disk. Är det underliggande filsystemet ZFS så krävs det att ZIL används för skrivningarna för att garantera att de skrivs till disk innan ZFS svarar tillbaka att datan finns nedskriven. Detta kräver dock sync=standard eller sync=always. Då ZIL används vill man ha en bra enhet för SLOG (Intel P3700 eller ZeusRAM är bra grejer men enklare SSD fungerar givetvis också beroende på krav).

Jag är dock osäker hur iSCSI-implementationen är i ESXi, om den tillåter asynkrona skrivningar eller även där tvingar fram synkrona. Den som har en miljö uppe får gärna göra ett snabbtest.

Skrivet av backspace:

Jag har två enkla dd-kommandon sparade för att bara kunna testköra lite vid behov, bara att gå till respektive disk eller pool och köra dem.

Skrivprestanda :

# time dd if=/dev/zero of=sometestfile bs=1024 count=30000

Läsprestanda :

# time dd if=sometestfile of=/dev/zero bs=1024 count=30000

Själv får jag skriv: 682 MB/sek samt läs: 2.8GB/sek på mina två gamla 850 EVO 500GB (mirror)

Ska dessa kommandon användas för ZFS förutsätter de att komprimering ej är påslaget. Dessutom är endast 30MB en aning lite data att skriva till disk (om inte just 1K-skrivningar är det som är av intresse).

Exempelvis körde jag liknande kommandon fast med 10GB mot ZFS med komprimering:

Skrivning:

$ time dd if=/dev/zero of=sometestfile bs=1M count=10240 10240+0 records in 10240+0 records out 10737418240 bytes (11 GB) copied, 9.47335 s, 1.1 GB/s real 0m9.477s user 0m0.020s sys 0m8.508s

Inte illa pinkat att skriva 1.1GB/s över SATA3 (till en OCZ Trion 150 med TLC).

Läsning:

$ time dd if=sometestfile of=/dev/zero bs=1M 10240+0 records in 10240+0 records out 10737418240 bytes (11 GB) copied, 6.10889 s, 1.8 GB/s real 0m6.112s user 0m0.012s sys 0m6.008s

Läsa 1.8 GB/s över SATA3 är inte heller illa (nu läses dock en del från ARC kan man tänka sig).

Varför blir det så här?

$ du -sh sometestfile 512 sometestfile

Kort och gott är somefile endast 512B på disk. 10GB nollor har komprimerats till 512B. Komprimering vid skrivning, samt dekomprimering vid läsning, görs on-the-fly och till stor del bestämmer hastigheten.

Dold text

Kort och gått om man ska testa skrivningar med dd bör man slå av komprimering. Alternativt användas sig av data som ej är (enkelt) komprimerbar, t.ex. läsa från RAMdisk.

Visa signatur

Efter att ni har läst det här har ni insett att det inte gav något.

Permalänk
Medlem
Skrivet av Endosavian:

Här finns lite intressanta benchmarks med SLOG/ZIL,
https://www.napp-it.org/doc/manuals/benchmarks.pdf (några år på nacken nu dock)

Du kan köra sync=disable på din datastore för att se ditt teoretiska max på writes. Du kommer dock aldrig kunna nå detta med någon SSD utan måste ha DDR baserade prylar som en zeusRAM

Från pdfen Only a DRAM based ZeusRAM is capable to deliver similar values like async write

Så frågan är om kostnaden för sync writes är värd för dig. Kan vara billigare att köra en UPS och sync=disabled och stänga ner kontrollerat vid problem så alla skrivningar hinner slutföras än att köpra en zeusRAM (finns på ebay http://www.ebay.com/itm/HGST-ZeusRAM-Z4-3-5-8GB-SAS-Hard-Driv...

Vill också påpeka att tar du bort din SLOG kommer din ZIL ligga lokalt på din datastore istället. Bara om du tar sync=disable kommer den inte skriva till din ZIL.

Mycket har hänt med ZFS sedan den benchmarken gjordes. Om du läst hela tråden så förstår du att jag prioriterar sync writes även fast jag har en UPS. Mycket kan hända och jag har inte råd att få korrupta VMs för att jag förlorar några sekunder writes. Better safe than sorry.

Jag känner till det där med disabled, standard och always.

@backspace

Det är bara skrivhastighet som är intressant för mig och detta är innifrån min Plex VM:

root@Plex:~# time dd if=/dev/zero of=sometestfile bs=1024 count=300000 && rm sometestfile 300000+0 records in 300000+0 records out 307200000 bytes (307 MB, 293 MiB) copied, 0.641132 s, 479 MB/s real 0m0.643s user 0m0.048s sys 0m0.592s

Dock är inte dd någon tillförlitlig becnhmark enligt FreeNAS IRC folket.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

Testade nu att skapa en 100 GB VM i ESXi som THICK och Eager Zeroed - detta blev resultatet:

Alltså 28 minuter för 100 GB. Delar man upp detta så blir det:
- 3.6 GB per minut
- 0.059 GB per sekund (59 MB/s)

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Skrivet av enoch85:

Mycket har hänt med ZFS sedan den benchmarken gjordes. Om du läst hela tråden så förstår du att jag prioriterar sync writes även fast jag har en UPS. Mycket kan hända och jag har inte råd att få korrupta VMs för att jag förlorar några sekunder writes. Better safe than sorry.

Jag känner till det där med disabled, standard och always.

@backspace

Det är bara skrivhastighet som är intressant för mig och detta är innifrån min Plex VM:

root@Plex:~# time dd if=/dev/zero of=sometestfile bs=1024 count=300000 && rm sometestfile 300000+0 records in 300000+0 records out 307200000 bytes (307 MB, 293 MiB) copied, 0.641132 s, 479 MB/s real 0m0.643s user 0m0.048s sys 0m0.592s

Dock är inte dd någon tillförlitlig becnhmark enligt FreeNAS IRC folket.

Vad menar du hänt med ZFS sen dessa benchmarks gjordes som gör dem irrelevanta?

Du kan använda dd med flaggan conv=fdatasync för att ange att den ska göra en synkron skrivning.

Visa signatur

sysl....
Bygg din egen router med pfSense
Citera för svar!

Permalänk

Intel DC S3700 en ZFS SSD?

Intel DC S3700
Det är att är den klararar 5-10 ggr fler skrivningarna som gör att den är dyrare Intel DC S3700 så se alternativ som är billigare är en ide för den är lite föråldrad så en standard SSD är ett alternativ om man har bra åtkomst så man kan byta oftare.
SSD:er för de blir bättre så man får mer och mer för pengarna så att köpa lite oftare och få mer för pengarna.

https://www.nordichardware.se/storage/svenska-ssd-guiden-vaer...

När ZFS klarar att hantera SSD:er med PCI-e och/med M.2 så kan Samsung 950-series PRO M.2 NVMe 2500 MBps (läs)/ 1500 MBps (skriv) Begränsad garanti - 5 år/400 TBW ett alternativ.
(Jag läste 2600 MBps (läs)/ 2100 MBps (skriv) Begränsad garanti - 5 år/70 peta jag är lite förvånad över siffrorna)
Men snabbare SSD:s för ZFS bör snart vara ett alternativ och alternativet är mera attraktivt med högre antal HD:s.
Vi får se vad framtiden ger.

Permalänk
Medlem
Skrivet av Endosavian:

Vad menar du hänt med ZFS sen dessa benchmarks gjordes som gör dem irrelevanta?

Du kan använda dd med flaggan conv=fdatasync för att ange att den ska göra en synkron skrivning.

Jag är låångt ifrån en expert på ZFS, men enligt folk på iRC så är gamla benchmarks inte samma sak som efter ZFS version 15 då en del (fråga mig inte vad) saker hände med ZFS. Bra benchmarks dock, ger en uppfattning om vad man kan få ut.

Har gjort massa bechmark redan och det verkar som att jag maxar cirka 77 MB/s med nuvarande diskar. Har eventuellt några DC S3710 på G från @moron. Om det blir affär så ska det bli intressant att se resultatet.

Efter lite eftertanke så behöver jag inte kunna skriva mycket mer än 15 MB/s för klienternas del då jag har 100 MB/s upp, men det vore ju klart skönt för egen del att maxa systemet "bara för att".

Bra test!

Menar du att ZFS inte klarar PCI SSDer?

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Skrivet av HåkaN Teknik:

Intel DC S3700
Det är att är den klararar 5-10 ggr fler skrivningarna som gör att den är dyrare Intel DC S3700 så se alternativ som är billigare är en ide för den är lite föråldrad så en standard SSD är ett alternativ om man har bra åtkomst så man kan byta oftare.
SSD:er för de blir bättre så man får mer och mer för pengarna så att köpa lite oftare och få mer för pengarna.

https://www.nordichardware.se/storage/svenska-ssd-guiden-vaer...

När ZFS klarar att hantera SSD:er med PCI-e och/med M.2 så kan Samsung 950-series PRO M.2 NVMe 2500 MBps (läs)/ 1500 MBps (skriv) Begränsad garanti - 5 år/400 TBW ett alternativ.
(Jag läste 2600 MBps (läs)/ 2100 MBps (skriv) Begränsad garanti - 5 år/70 peta jag är lite förvånad över siffrorna)
Men snabbare SSD:s för ZFS bör snart vara ett alternativ och alternativet är mera attraktivt med högre antal HD:s.
Vi får se vad framtiden ger.

Det är häftigt att tekniken rör sig framåt och NVMe är väldigt intressant. Synd att HW-stödet idag är lite dåligt i ex Omnios, solaris etc.
Det är inte MBps som är det viktigaste för en ZIL SSD. Det är latensen för skrivningar som är det man ska gå efter och som utmärker en bra SSD för ZIL mot en dålig.

Som exempel har ZeusRAM < 23 μs för skrivningar medans en S3700 har 65 μs.
https://www.hgst.com/sites/default/files/resources/HGST_ZeusR...
http://www.intel.com/content/www/us/en/solid-state-drives/ssd...

Visa signatur

sysl....
Bygg din egen router med pfSense
Citera för svar!

Permalänk
Skrivet av enoch85:

Jag är låångt ifrån en expert på ZFS, men enligt folk på iRC så är gamla benchmarks inte samma sak som efter ZFS version 15 då en del (fråga mig inte vad) saker hände med ZFS. Bra benchmarks dock, ger en uppfattning om vad man kan få ut.

Har gjort massa bechmark redan och det verkar som att jag maxar cirka 77 MB/s med nuvarande diskar. Har eventuellt några DC S3710 på G från @moron. Om det blir affär så ska det bli intressant att se resultatet.

Efter lite eftertanke så behöver jag inte kunna skriva mycket mer än 15 MB/s för klienternas del då jag har 100 MB/s upp, men det vore ju klart skönt för egen del att maxa systemet "bara för att".

Bra test!

Menar du att ZFS inte klarar PCI SSDer?

Hmm, version 15 är user quotas och mer avancerad ACL?
https://en.wikipedia.org/wiki/ZFS#Detailed_release_history

Ajja, jag tycket det kan vara intressant att fundera över om en UPS inte är mer värd än att lägga tusentals kronor på att få bra sync writes. Framförallt då sync=disabled alltid kommer ge bäst prestanda. Nu när detta bara är en hobby förstås.

Hårdvarustödet för NVMe devices och PCIe är väldigt begränsat idag tyvärr. Det är därför nästan alla stora ZFS installationer kör ZeusRAM.

Visa signatur

sysl....
Bygg din egen router med pfSense
Citera för svar!

Permalänk

Hej!
Jag syftade primärt på ditt moderkort som saknar en separat M.2 NVMe inkopplings möjlighet och att din PCI-e är upptagen med 10 G nätverks-kortet.

Det brukar vara en viss fördröjning med att nya implementeringar i ZFS men det borde vara tillgängligt för det har funnits på marknaden ett tag nu, men jag är långt ifrån helt uppdaterad vad som fungerar nu för ZFS.

/Håkan

PS: Visst kan det vara vist med en viss fördröjning men ofta är det frustrerande för användarna, men alt kan inte hända över en natt och saker tar tid att implementera.

PS 2: I och med PCI-e 4.0 kommer 2017 så öppnar det marknaden och den tekniska möjligheten för PCI-e 3.0 x16 så PCI-e 4.0 x8 SSD:er kompabilitet det är tveksamt om produkterna finns på marknaden 2017, men det är något som borde dyka upp.

De kommer antagligen komma från 1 T storlek och upp för att de ska få tillräckligt hög överförings hastighet, vi får se om accesstiden även den kan bli bättre så trycket på utvecklarna för ZFS att få full PCI-e funktionalitet för ZFS och så pass stor efter frågan för den funktionen så den blir en fungerande verklighet.

s + PS2
Permalänk
Medlem
Skrivet av Endosavian:

Hmm, version 15 är user quotas och mer avancerad ACL?
https://en.wikipedia.org/wiki/ZFS#Detailed_release_history

Ajja, jag tycket det kan vara intressant att fundera över om en UPS inte är mer värd än att lägga tusentals kronor på att få bra sync writes. Framförallt då sync=disabled alltid kommer ge bäst prestanda. Nu när detta bara är en hobby förstås.

Hårdvarustödet för NVMe devices och PCIe är väldigt begränsat idag tyvärr. Det är därför nästan alla stora ZFS installationer kör ZeusRAM.

Jag kommer inte att sätta sync=disabled. Jag har UPS, men jag kommer iaf inte att göra det. Vad händer om PSU går åt pipan t.ex? Läs tråden igen så slipper jag upprepa mig. Hade du läst så hade du vetat att jag hostar VPSer åt bl.a. företag.

Hmm, det jag ju lite kasst. Men kommer iaf inte bli aktuellt med ngn PCIe SSD så det känns OK. Dock är ju DC S3700 rekomenderad så den funkar garanterat.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Inaktiv
Skrivet av enoch85:

Jag kommer inte att sätta sync=disabled. Jag har UPS, men jag kommer iaf inte att göra det. Vad händer om PSU går åt pipan t.ex? Läs tråden igen så slipper jag upprepa mig. Hade du läst så hade du vetat att jag hostar VPSer åt bl.a. företag.

Hmm, det jag ju lite kasst. Men kommer iaf inte bli aktuellt med ngn PCIe SSD så det känns OK. Dock är ju DC S3700 rekomenderad så den funkar garanterat.

Ditt lagringsval har redan ökat riskerna för att de ska gå åt pipan ca 5 gånger så jag ser inget direkt fel med att stänga av sync.

Alla som är seriös med sin lagring bör läsa detta från en extremt kunnig lagringsexpert:
The Inverted Pyramid of Doom
eller hela blogginlägget :smbitjournal

Permalänk
Medlem

@Hugligan: Vilket av valen?

Visa signatur

En server här, några servrar där.

Permalänk
Inaktiv
Skrivet av moron:

@Hugligan: Vilket av valen?

Att lagra på en NAS som inte har någon sorts redundans förutom mjukvaru-RAID. Om du läser artikeln jag länkade så ser du varför det i 99% av fallen är en dålig idé. Man blir genast beroende på att NASens hårdvara, länken mellan servern och NASen, switchen etc. Dessutom blir prestandan ofta lidande (med 10GBe borde den inte bli det dock, iaf inte så mycket.) Utöver att det är det väldigt dyrt istället för att välja lokal lagring. Vill man ha en NAS så ser jag inte varför man inte kan kicka igång den i ESXi. Nu ville TS antagligen gärna testa detta (jag medger att det är väldigt roligt när det fungerar bra).

Permalänk
Medlem

@Hugligan: Ah ok, men det är två saker du tar upp där - att ha en NAS utan redundans samt att en NAS är dyrare än lokal lagring. Självklart skulle ett distribuerat system eller speglat system vara tryggare, men det är långt mycket dyrare.
Håller dock absolut med om att lokal lagring kan vara billigare och har mindre potentiella felpunter än en NAS. Om man har möjlighet till det är det att föredra (dvs om man endast har en host som ska använda lagringen)

( ang. artikeln så kan jag inte förstå hur man skulle bygga enligt den modellen om upptid är kritiskt - vilket den borde vara! )

Visa signatur

En server här, några servrar där.

Permalänk
Inaktiv
Skrivet av moron:

@Hugligan: Ok, men det är två saker du tar upp där - att ha en NAS utan redundans samt att en NAS är dyrare än lokal lagring. Självklart skulle ett distribuerat system eller speglat system vara tryggare, men det är långt mycket dyrare.
Håller dock absolut med om att lokal lagring kan vara billigare och har mindre potentiella felpunter än en NAS. Om man har möjlighet till det är det att föredra (dvs om man endast har en host som ska använda lagringen)

Håller helt men, hävdar att det är den billigaste lösningen för allt under 3 hostar om man inte vill köra klustrat.

Permalänk

@enoch85: är det någon anledning till att du valde FreeNAS? Kollade du någonting på OmniOS?

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Medlem

@knorrrhane: Kände inte till OmniOS faktiskt. FreeNAS har man ju hört talas om.

Hur går det med dina benchmark? Skulle vara kul med resultat.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk

@enoch85: Nu är det en stund sedan jag höll på med detta, jag installerade allt för 3 år sedan och har princip inte gjort något sen dess så tar förbehåll för all fakta inte rätt. Om jag minns rätt så är OmniOS är en ren Solaris-branch baserad på IllumOS och anledningen till att jag valde det på den tiden var för att FreeNAS då inte var så stabilt då, har säkert blivit bättre. Sen så har OmniOS ZFS implementerat i kärnan som Solaris så funktioner som snapshot, NFS och SMB/CIFSs ligger i själva ZFS. Det betyder att om man importerar sin ZPOOL på ett nytt OS så skall alla shares följa med och vara utdelade på samma sätt som tidigare, lite osäker på om det är så på FreeNAS nu men det var inte så förr.

Det var också så att OmniOS var snabbare på både NFS, iSCSI och SMB än FreeNAS, men det kan såklart ha ändrat sig. En annan sak var att FreeNAS använder sig av OpenZFS och jag hade då problem med att importera min ZFS-pool till andra OS. Jag testade också med Solaris men på den tiden så var det inget stöd för den senaste ZFS-versionen. Om du är intresserad av att ha kryptering så kan det också vara en idé att använda ZFS istället för OpenZFS men det är klart att din prestanda kommer gå ner.

En personlig preferens är också att jag gillar att OmniOS använder sig av original ZFS och det känns bättre på något sätt. Kanske för att jag testade ZFS på linux och det var helt bedrövlig prestanda. Så använder jag då napp-it för att få ett GUI på omni-os.

Benchmarks ja, har inte brytt mig om det så mycket för jag har kört alla mina VMs på en SSD förutom nu i sista tiden då jag kört på iSCSI via ESXi. Skall köra några nu men förväntar mig inte något speciellt, körde en DD på min zpool och det var pinsamma 141 mb/s write så funderar nu på SLOG eller ZeusRAM. Skall återkomma med benchmarks från mina VMs! Har precis installerat en med NFS istället så blir spännande att se skillnaden mellan NFS och iSCSI.

EDIT: Det verkar som om jag har träffat på en bug med NFS och ESXi som resulterar i sjuka latenser på datastoren, 3-4 sekunder (här är det jag tror jag har råkat ut för: http://anthonyspiteri.net/esxi-5-x-nfs-iops-bug-affecting-lat.... Jag har inte uppdaterat ESXi på 1,5-2 år så skall göra det när jag kommer hem så satsar på att det löser problemet. Får återkomma med benchmarks på NFS då! Skall också fixa en SLOG med SSD-diskar, ZeusRAM är för dyrt för min lilla hemmaserver.

Tillägg
Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk

Här är iaf en benchmark med en datastore som ligger på iSCSI: http://imgur.com/a/uhxI1

Inga hisnande hastigheter men det är iaf låga latens så det upplevs inte som så långsamt. Får satsa på att en SLOG gör susen!

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Inaktiv
Skrivet av knorrrhane:

Här är iaf en benchmark med en datastore som ligger på iSCSI: http://imgur.com/a/uhxI1

Inga hisnande hastigheter men det är iaf låga latens så det upplevs inte som så långsamt. Får satsa på att en SLOG gör susen!

Katastrofala hastigheter, hur rättfärdigar du att använda en NAS med dessa hastigheter över lokal lagring?

Permalänk
Skrivet av Hugligan:

Katastrofala hastigheter, hur rättfärdigar du att använda en NAS med dessa hastigheter över lokal lagring?

Använder den inte som lokal lagring just nu, den står på landet så använder den bara över 100/100 lina. Har helt enkelt inte märkt av det. Men nu skall detta fixas!

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Inaktiv
Skrivet av knorrrhane:

Använder den inte som lokal lagring just nu, den står på landet så använder den bara över 100/100 lina. Har helt enkelt inte märkt av det. Men nu skall detta fixas!

Jag menade lokal lagring som i direktansluten. Men nu blev jag ännu mer bekymmrad, du använder alltså ISCI över WAN?

Permalänk
Skrivet av Hugligan:

Jag menade lokal lagring som i direktansluten. Men nu blev jag ännu mer bekymmrad, du använder alltså ISCI över WAN?

Aha nejnej, lokal lagring men en VM med OmniOS och direkt psassthrough till diskarna. Sen mountar ESXi iSCSI targets som jag sen installerar VMs på.

Skickades från m.sweclockers.com

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Inaktiv
Skrivet av knorrrhane:

Aha nejnej, lokal lagring men en VM med OmniOS och direkt psassthrough till diskarna. Sen mountar ESXi iSCSI targets som jag sen installerar VMs på.

Skickades från m.sweclockers.com

What. Du har alltså en host som du kör OmniOS VM på, som sedan har iSCSI shares som du mountar på samma host?

Permalänk
Medlem
Skrivet av knorrrhane:

Här är iaf en benchmark med en datastore som ligger på iSCSI: http://imgur.com/a/uhxI1

Inga hisnande hastigheter men det är iaf låga latens så det upplevs inte som så långsamt. Får satsa på att en SLOG gör susen!

Geees! Jag jag glad att jag valde NFS. Ska bli kul att se vad en SLOG gör för skillnad.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Skrivet av Hugligan:

What. Du har alltså en host som du kör OmniOS VM på, som sedan har iSCSI shares som du mountar på samma host?

Skall ta det från början

Har en burk som jag kör ESXi på från ett USB-minne. Där har jag 3 st 4 TB hårddiskar som är inkopplade på ett SAS-kort plus en SSD där jag lagrar mina VMs. I ESXi kör jag OmniOS med passthrough till SAS-kortet så att OSet får direkt access till hårddiskarna. Där kör jag sedan en zpool och från OmniOS så delar jag sedan ut iSCSI mål tillbaka till ESXi. Detta är väl inte så ovanligt, är det det? I början så räckte min SSD för mina VMs men allt eftersom så har jag installerat fler VMs och valde då istället att installera de på ett iSCSI mål.

Anledningen till att prestanda inte har varit någon issue för mig är för att jag inte har tillgång till servern på LAN utan bara WAN. Servern används för Plex, owncloud, back-up hemifrån, lagra temperaturer med Telldus plus lite annat.

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Skrivet av enoch85:

Geees! Jag jag glad att jag valde NFS. Ska bli kul att se vad en SLOG gör för skillnad.

Tror inte det är iSCSI som är boven i dramat här, sen så hade jag glömt att jag migrerade hela min OwnCloud installation samtidigt (kraschade nyligen) så var en del IOPS på zpoolen när jag körde benchmarksen. Skall testa igen nu när det är färdigt.

Hade vart spännande att se vad NFS kan leverera utan SLOG så skall nog uppdatera ESXi för att få ordning på den buggen först.

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Skrivet av enoch85:

Geees! Jag jag glad att jag valde NFS. Ska bli kul att se vad en SLOG gör för skillnad.

Nu börjar det likna något, hade glömt att jag hade iSCSI på ett eget NIC så det var begränsat av 1 Gbit, nu är det 10 Gbit: http://imgur.com/a/8DpQz

Skrivprestandan blir nog bättre av en SLOG.

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Medlem
Skrivet av knorrrhane:

Skall ta det från början

Har en burk som jag kör ESXi på från ett USB-minne. Där har jag 3 st 4 TB hårddiskar som är inkopplade på ett SAS-kort plus en SSD där jag lagrar mina VMs. I ESXi kör jag OmniOS med passthrough till SAS-kortet så att OSet får direkt access till hårddiskarna. Där kör jag sedan en zpool och från OmniOS så delar jag sedan ut iSCSI mål tillbaka till ESXi. Detta är väl inte så ovanligt, är det det? I början så räckte min SSD för mina VMs men allt eftersom så har jag installerat fler VMs och valde då istället att installera de på ett iSCSI mål.

Anledningen till att prestanda inte har varit någon issue för mig är för att jag inte har tillgång till servern på LAN utan bara WAN. Servern används för Plex, owncloud, back-up hemifrån, lagra temperaturer med Telldus plus lite annat.

WOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOT!!!????

Den där lösningen låter som helt uppåt väggarna
Måste berömma din kreativitet. Men inget jag hade ens lagt en tanke på att sätta upp