Väldigt ojämn överföringshastighet, FreeNAS

Hej!

Har under lång tid försökt hitta någon NAS-mjukvara eller liknande som jag gillar, har bra prestanda och bra SW-raid osv, för att främst användas till min backup.

Nu har turen kommit till FreeNAS, men direkt uppstod stora problem med prestanda.

Förutsättningar;
Servern i sign.
OSen virtualiseras i ESXi 6, på en raid0 av 3xSSDs på LSI 9240-8i.
Main storage (som skall backas) är en VM med CentOS 7, LSI 9261-8i via VT-d, HW-raid5 (4x4TB WD Red +1hs), VMXNET3, 8 trådar, 8GB RAM.
Backup, i detta fallet, är en VM med FreeNAS 9.10, MB SCUs/kontrollers via VT-d, SW-raid/ZFS z1 (6x2TB WD Green, eller fler om jag vill), VMXNET3, 8 trådar, 16GB RAM.

Satte upp FreeNAS, med de 6 diskarna i raidz1, skapade en NFS-share och perm osv. Inga problem att mounta NFS-sharen i CentOS 7 som "nobody" och det.

MEN;
Får horribelt dålig/ojämn överföringshastighet mellan de två VMarna. Hastigheten går som en jojo upp och ner, se bild nedan på ett test jag precis körde på en överföring av ett antal linux-isos för att få lite stora filer;

Satte igår igång överföringen av hela min storage, 6,9TB, för att gå över natten. Kommer hem idag, nästan 24h senare och möts av den här;

VA?! Var och en utav dem WD Green-diskarna vet jag ger ca 100MiB/s, och jag kör 6st i vad jag förstår är typ raid5... Testade även "stripe" i FreeNAS för att utesluta så mycket som möjligt men samma problem.

Det är inget fel på HW-raiden på CentOS-VMen, körde tom en test-VM med (urk!) Win2012r2 server med VMXNET3 samt SMB och fick dessa hastigheterna;

Vad är det jag missar eller inte begriper?

Tröttnar snart på letandet efter en bra NAS-mjukvara..! Testade förra veckan xpenology, och den är ju asmysig sett till interface/GUI osv men tyckte att jag fick risig perf där också. Med dem 6x2TB Green-diskarna borde jag få iaf 3-400 MiB/s.
Sure, ganska lätt att sätta upp en till VM med CentOS och köra mdraid eller vad det heter. Men då får man ingen mjukvara som håller koll på diskarna osv och inga fancy plugins som kan vara kul...
Hittar jag ett OS som är lika skottsäkert sett till perf och stabilitet som CentOS så byter jag även på main-storage. Men det verkar omöjligt?

Sista utvägen är att slänga ihop en extra server av delar som jag har liggande med E3-propp, SM-mb, ECC-ram osv för att utesluta VMXNET3. Men då måste jag köpa hem 10gbE-kort och kablar för att få länkhastigheten, och slipper gärna det iom att jag har HW i servern nu för ändamålet.

Och ja, jag vet att man ska ha off-site backup. Men utan OS/SW som fixar jobbet så kan jag inte köra iväg diskarna till tex farsan för off-site backup.

Någon som kan förklara vad jag missat, vad felet är eller vilket OS/lösning jag ska prova härnäst?

Tröttnade och körde igång en VM med CentOS 7, mdadm och för saken skull en raid0.
Herrejösses vilken skillnad!

SÅ ska en överföring se ut på 10gbe med två raid

Är inte riktigt med på vad drivers har med saken att göra? Ursäkta att jag inte förstår vad du menar..?

Raidkontrollers i detta sammanhanget är bara en, i main storage och den är inte problemet eftersom den körs på centos och allt funkar som det ska där.
Frågan gällde hur/vad jag ska köra min backup på, som består av mb scus, alltså inga Raidkontrollers utan enbart vanliga sata-portar på mb.

Skickades från m.sweclockers.com

Va?

Som det står i första posten så har jag CentOS 7 på min "main storage" med HW-raid5 och ext4 och har en massa prestanda från den VMen.

Sen skapade jag en ny VM med FreeNAS, för att ha som backup, och körde moderkortets SCUs via VT-d till den och SW-raid0 och fick usel prestanda.

Det jag till slut gjorde var att dumpa FreeNAS-VMen helt och hållet och installerade en ny VM, med CentOS 7, och körde en raid0 via mdadm och fick kanon-prestanda.

Vad har drivers med detta att göra då när båda OSen hittar alla kontrollers som dem ska?

Okej, skrotade dessvärre FreeNAS-VMen fortare än kvickt när jag såg vilken prestanda jag fick med en ren CentOS-VM så kan inte testa det... Dessutom tycker jag att det är en risig implementation om man måste köra sådana manövrar med denna hårdvaran, då är den undermålig i min mening.

Okej, kan det ställa till det om man kör med för många vCPUer menar du? trots att jag har 20 trådar tillgängligt?

Ja alltså i den nya VMen med ren CentOS och mdadm så jobbar ju knappt cpun vid överföringar så kan inte tänka mig att det har med scheduling att göra?

Tack! Ja med den hårdvaran som sitter i servern så accepterar jag inte undermåliga hastigheter och stör mig otroligt mycket på om det inte funkar som det borde. Plus att funkar det såhär dåligt så litar jag inte på lösningen, och jag vill ha skottsäkra lösningar för min data.

Ja jag har upptäckt detsamma iom att jag fick mina problem och sökte med ljus och lykta efter svar, såg då att många har problem med prestandan i FreeNAS alternativt att dem nöjer sig med 100MiB/s. Kan inte förstå varför FreeNAS är så populärt när det uppenbarligen lider av stora problem, iaf när det kommer till lite högre tier...

Planerna just nu, as we speak, är att reda ut vilket FS jag ska köra med. Så jag håller nu på att installera och uppdatera en openSUSE-VM för att testa BTRFS eftersom CentOS inte rekommenderar det och inte har det som native FS.

Har varit väldigt nöjd med CentOS 7 som OS för min filserver, det är fan skottsäkert och har inte hickat en enda gång.
Men nörden i mig vill alltid testa nya saker så ska köra lite tester med BTRFS och openSUSE, eftersom CentOS är väldigt konservativt och Fedora funkade lite halvdant som VM måste jag säga...

Riktigt besviken på det glorifierade FreeNAS kan jag säga iaf, förstår inte hur folk kan nöja sig med så undermålig prestanda och ,som jag upplever, det stabilitet!

Okej, tack så mycket! Har försökt hitta någon form av övervaknings-SW av diskar till linux men inte hittat något bra än.
Tack för tipset, ska kika på det när jag får tid