Låg skriv, okej läshastighet ESXi freeNAS

Permalänk
Medlem

Låg skriv, okej läshastighet ESXi freeNAS

Tjenare,

I min tidigare tråd diskuterade jag hur jag skulle bencha mitt 10Gb nätverk i väntan på Bahnhofs 10Gbit inkoppling.
#17316448

Nu har jag istället för att köra endast pfsense dragit upp en ESXi server som agerar både router och nas via FreeNAS.
Tänker ha onödig data på denna NASen, har en dedikerad NAS med redundancy för lite mer känslig data.

Nu till mitt problem. Jag kom inte över 6Gbit hur jag än gjorde tidigare då jag testade med iperf från klienten till pfsense. Med ESXi och freeNAS kommer jag upp i mellan 6.6-7Gbit via iperf. Dock har jag problem med skrivhastigheten. Har tilldelat två stycken datastores med 120gb SSDer till FreeNAS. När jag skriver till dessa kommer jag upp i cirka 500Mbit, när jag läser från dem kommer jag upp i 2.4Gbit.

Samma problem uppstår med min WD RED 3tb. Skriver i 400Mbit men läser i ca 1Gbit. (alltså nära hårddiskens cap).

Kan tyvärr inte köra passthrough från min sata controller direkt till FreeNAS även om det hade varit optimalt. Det känns som något av problemen ligger i drivrutinerna i ESXi? Någon som har en idé?

Jag kör ESXi 6.5 tillsammans med FreeNAS 11.1 och problemet kvarstår både via FTP och SMB.

Permalänk
Medlem

Tycker inte direkt att du har testat klart i din tidigare tråd - får du 10G med flera sessioner, eller över UDP?

Antar att du kör zfs? Hur skriver du, sync eller async? Beroende på vad det är du läser så kan det med stor chans läsa från RAM.

Visa signatur

En server här, några servrar där.

Permalänk
Medlem
Skrivet av moron:

Tycker inte direkt att du har testat klart i din tidigare tråd - får du 10G med flera sessioner, eller över UDP?

Antar att du kör zfs? Hur skriver du, sync eller async? Beroende på vad det är du läser så kan det med stor chans läsa från RAM.

Nästan 7Gb med 1 session TCP, det faller rätt snabbt ner till ~5Gb vid 5 sessioner.
Ja ZFS, har inte ändrat sync/async så jag antar att den kör på det som är default.

Permalänk
Medlem

Ok. Första du borde få bukt är nätverksproblemet - du borde få mycker mer än 7G om det switchas internt. Det är inte så att pfsense faktiskt routar eller NAT'ar trafiken?

Hur menar du att du attachat diskar till Freenas, via RDM? Det skulle kunna ge lite overhead, men det får man nog söka rätt på information om. Du har inte möjlighet att prova med passthrough?

Visa signatur

En server här, några servrar där.

Permalänk
Inaktiv

Jag hade ett liknande problem, dock på enbart freenas(inte virtualiserat). Testa de tunables som nämns på denna sidan, de fixade det för mig. http://45drives.blogspot.se/2016/05/how-to-tune-nas-for-direc...

Permalänk
Medlem
Skrivet av moron:

Ok. Första du borde få bukt är nätverksproblemet - du borde få mycker mer än 7G om det switchas internt. Det är inte så att pfsense faktiskt routar eller NAT'ar trafiken?

Hur menar du att du attachat diskar till Freenas, via RDM? Det skulle kunna ge lite overhead, men det får man nog söka rätt på information om. Du har inte möjlighet att prova med passthrough?

Har lyckats komma upp i 8.5-9Gbit mellan clienten och routern. Runt 8Gbit med ipef på FreeNAS. Det är jag nöjd med med tanke på hur jag blandat Cat5e, Cat 6 och cat 7 kablar. (Har inget annat val pga fast installation i väggarna).

Har skapat datastores som jag tilldelar FreeNAS som jag därefter skapar ZFS volymer i.

Jag testade att köra DD write mot en av mina datastores lokalt i FreeNAS och kommer upp i ~230MB/s med zeroes och ~190MB/s med random. Läste dock att random kräver mycket av CPU vilket kan försämra det verkliga resultatet. Verkar som att problemet ligger i hastigheten mot datastoren, och inte något i nätverket.

Skrivet av anon265474:

Jag hade ett liknande problem, dock på enbart freenas(inte virtualiserat). Testa de tunables som nämns på denna sidan, de fixade det för mig. http://45drives.blogspot.se/2016/05/how-to-tune-nas-for-direc...

Testade detta men hjälpte mig inte mycket..