FreeNAS / NAS4Free - Stort problem med överföringshastighet

Permalänk
Medlem

FreeNAS / NAS4Free - Stort problem med överföringshastighet

Jag köpte nyligen en HP N54L och har kört in Intel PCI Express 1Gb/s nätverkskort, 8GB RAM, 4 X 3TB (WD RED) samt en 1TB (WD Black).

- ESXi körs i grunden på en USB3 sticka
- WD Black hårddisken används för Pfsense, NAS4Free (Endast själva OS) och loggar till ESXi
- De fyra stycken WD Red är endast mountade i NAS4Free, har jag provat i både ZFS (RAID-Z) och Software RAID5

Mitt stora problem är att Samba, FTP och SSH alla har en sjukligt låg överföringshastighet.. Ibland börjar den på ca 70MB/s men sedan droppar den _alltid_ ned till runt 5-10MB/s, vilket är sjukligt slött. Ibland så går den även ned på 0 och avbryts.

Det jag har gjort är:
Kört igenom SMART test på alla diskarna (inget fel på någon av dem)
Kört igenom WD Diagnostic (Inget fel på dem)
Formaterat helt och kört in Windows 7, sedan kört med Crystaldiskmark för att kolla hastighet. Körde varje disk för sig (JBOD) alla skriver/läser i ca 150MB/150MB vilket är riktigt bra

Provat ZFS i både freenas och nas4free (ingen skillnad)
Provat software raid (RAID5) (ingen skillnad)
Provat olika inställningar för själv disken (atime, Advanced Format osv)
Provat flytta över filer i olika protokoll (FTP, Samba, SSH)
Provat med ESXi på SATA disken istället (ingen skillnad)

Provat flytta över från en dator till en annan dator (för att se om det var något med pfsense som krångla). Fick hastighet på ca 75MB/s
Provat flytta filer från min gamla NAS (Synology DS211j) till en dator. Fick hastighet på ca 60MB/s

Min slutsats är: det är inget fel på själva diskarna, det är inget fel på nätverket (pfsense), det är något skit som ligger i freenas/nas4free som jag har missat eller så är det något skit med esxi som buggar ur helt.

Snälla är det någon som har några förslag?? börjar bli tokig

Permalänk
Hedersmedlem

Det är inte första gången jag hör att FreeNas inte gillar att köras virtuellt. Jag tror det är det som är ditt problem.

Visa signatur

Använd gilla för att markera nyttiga inlägg!

Permalänk
Medlem
Skrivet av giplet:

Det är inte första gången jag hör att FreeNas inte gillar att köras virtuellt. Jag tror det är det som är ditt problem.

Tack för svar. Ja något sådant måste det ju vara. Har funderat på att prova att köra FreeNAS på "bare metal", utan ESXi. Dock förstör detta en del av grundtanken med servern för mig :/

Permalänk
Inaktiv
Skrivet av mitik:

Jag köpte nyligen en HP N54L och har kört in Intel PCI Express 1Gb/s nätverkskort, 8GB RAM, 4 X 3TB (WD RED) samt en 1TB (WD Black).

- ESXi körs i grunden på en USB3 sticka
- WD Black hårddisken används för Pfsense, NAS4Free (Endast själva OS) och loggar till ESXi
- De fyra stycken WD Red är endast mountade i NAS4Free, har jag provat i både ZFS (RAID-Z) och Software RAID5

Mitt stora problem är att Samba, FTP och SSH alla har en sjukligt låg överföringshastighet.. Ibland börjar den på ca 70MB/s men sedan droppar den _alltid_ ned till runt 5-10MB/s, vilket är sjukligt slött. Ibland så går den även ned på 0 och avbryts.

Det jag har gjort är:
Kört igenom SMART test på alla diskarna (inget fel på någon av dem)
Kört igenom WD Diagnostic (Inget fel på dem)
Formaterat helt och kört in Windows 7, sedan kört med Crystaldiskmark för att kolla hastighet. Körde varje disk för sig (JBOD) alla skriver/läser i ca 150MB/150MB vilket är riktigt bra

Provat ZFS i både freenas och nas4free (ingen skillnad)
Provat software raid (RAID5) (ingen skillnad)
Provat olika inställningar för själv disken (atime, Advanced Format osv)
Provat flytta över filer i olika protokoll (FTP, Samba, SSH)
Provat med ESXi på SATA disken istället (ingen skillnad)

Provat flytta över från en dator till en annan dator (för att se om det var något med pfsense som krångla). Fick hastighet på ca 75MB/s
Provat flytta filer från min gamla NAS (Synology DS211j) till en dator. Fick hastighet på ca 60MB/s

Min slutsats är: det är inget fel på själva diskarna, det är inget fel på nätverket (pfsense), det är något skit som ligger i freenas/nas4free som jag har missat eller så är det något skit med esxi som buggar ur helt.

Snälla är det någon som har några förslag?? börjar bli tokig

Vet inte om det är så stort problem, men ZFS är specificerat 1GB RAM per 1TB RAID. I ditt fall 12GB RAM minimum. Hur mycket minne tilldelar du NAS'en i VMware?

Permalänk
Medlem
Skrivet av anon200213:

Vet inte om det är så stort problem, men ZFS är specificerat 1GB RAM per 1TB RAID. I ditt fall 12GB RAM minimum. Hur mycket minne tilldelar du NAS'en i VMware?

Tack för svar. Dock är detta inte problemet, jag har provat i vanlig Software RAID med UFS. Sedan är det som jag fattat det endast krav av ca 1GB/RAM per TB disk när man har Deduplication aktiverat. Och att problemet inte är hastighet, utan att ZFS "äter upp" minnet och använder det, tills en gräns där det tar slut och systemet krashar.

Permalänk
Inaktiv
Skrivet av mitik:

Tack för svar. Dock är detta inte problemet, jag har provat i vanlig Software RAID med UFS. Sedan är det som jag fattat det endast krav av ca 1GB/RAM per TB disk när man har Deduplication aktiverat. Och att problemet inte är hastighet, utan att ZFS "äter upp" minnet och använder det, tills en gräns där det tar slut och systemet krashar.

Ja, det är riktigt. Jag tror prestandaproblemet har med VMware att göra i så fall.

Permalänk
Medlem

Har du gjort någon form av passthrough av diskarna? eller har du mountat de genom esxi?

Permalänk
Medlem
Skrivet av Wickit:

Har du gjort någon form av passthrough av diskarna? eller har du mountat de genom esxi?

Har ingen passthrough, va är det? Jag har bara skapat 4st datastore's och monterat dem i FreeNAS VM'en

Permalänk
Medlem

Tror problemet är att det är flera olika programvaror som har åtkomst till diskarna på kontrollern, då det nämns att Pfsense har en disk på samma kontroller? FreeNAS skall väl ha en egen dedikerad kontroller för att det skall fungera utan en framtida krash. Läste en mycket varnande tråd om riskerna med att virtualisera FreeNAS med väldigt strikta "rekommendationer" för att försöka minimera riskerna för krångel. ZFS ska ju ha en direktåtkomst till varje disk och då kan man inte använda en vanlig raidkontroller om den inte har ett SATA-läge där dess programvara inte lägger sig i.

http://forums.freenas.org/threads/absolutely-must-virtualize-...

Visa signatur

Riggen:ASRock X570M Pro4 - AMD Ryzen 7 5800X3D - Corsair 32GB DDR4 3200MHz - AMD RX 6950 XT - Fractal Design Meshify C Mini Dark TG
NAS: FreeNAS @ HP Proliant MicroServer Gen 8 - Xeon E3-1230 V2 - 16Gb Kingston ECC RAM - Intel 530 120Gb - IBM m1015/LSI 9220-8i - 4x WD Red 3Tb

Permalänk
Medlem
Skrivet av mitik:

Har ingen passthrough, va är det? Jag har bara skapat 4st datastore's och monterat dem i FreeNAS VM'en

Passthrough är en dedikerad tilldelning av hårdvaran i ESXi där man låser åtkomsten av något i servern så att det förbigår ESXi och att bara en VM kan använda den. Bekymret är dock att det skall vara hårdvara som har drivrutinsstöd i ESXi och sedan att servern i fråga stödjer VT-d/x/IO i både processor och moderkort...

Visa signatur

Riggen:ASRock X570M Pro4 - AMD Ryzen 7 5800X3D - Corsair 32GB DDR4 3200MHz - AMD RX 6950 XT - Fractal Design Meshify C Mini Dark TG
NAS: FreeNAS @ HP Proliant MicroServer Gen 8 - Xeon E3-1230 V2 - 16Gb Kingston ECC RAM - Intel 530 120Gb - IBM m1015/LSI 9220-8i - 4x WD Red 3Tb

Permalänk
Medlem

Har du inte gjort passthrough så ligger esxi som ett extra "lager" mellan dina diskar och operativsystemet. Detta göra att hastigheten mot diskarna påverkas negativt. Testa att installera w7/w8 virtuellt och gör en benchmarking mot dina datastores för att se vilken hastighet du möjligtvis kan komma upp i.

Permalänk
Medlem

Har knappt pysslat med ZFS alls men jag skulle gissa att FreeNAS/NAS4Free kanske inte buffrar skrivningarna till disk, så när RAM-bufferten är full vid överföring via nätet så dyker prestandan när den inte hinner skriva till disk.

Liknar kanske mitt problem till viss del: http://www.sweclockers.com/forum/122-server/1275611-usel-skrivprestanda-i-esxi-med-m1015/

Jag vet inte hur ESXi hanterar diskcontrollern i N54L men om den hanterar den på samma sätt som M1015 så får du vettig prestanda på dom VMar som själva buffrar skrivningarna men usel prestanda på övriga.

Låt mig gissa att du får 4-10MB/s om du kopierar en större fil till ett datastore på en av diskarna via vSphere Client?

Jag kanske har helt fel här men vi får väl se

Visa signatur

Intel Core Ultra 7 265K | Asus PROART Z890 CREATOR WIFI | Corsair Vengeance DDR5 7000MHz 2x48GB | ASUS TUF RTX 3080 OC | WD Black SN850X 2TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-D15S Chromax Black | Fractal Design North | Seasonic Focus GX 850W ATX 3.1

Permalänk
Medlem
Skrivet av mitik:

Har ingen passthrough, va är det? Jag har bara skapat 4st datastore's och monterat dem i FreeNAS VM'en

Kör raw device mapping istället. N54l stödjer inte vt-d/iommu vilket är det rekommenderade sättet att göra det på, dock är RDM bättre än datastores.

Annars kan du göra som jag och köra linux istället, zfs finns där också. Men jag valde mdadm och xfs istället då jag ville ha vissa volymer krypterade (och dela ut dem med samba).
KVM fungerar utmärkt för virtualisering det med.

Får ca 80-90MB/s med skrivningar och läsningar mot krypterade volymer utdelade med samba.

Visa signatur

CCNP

Permalänk
Medlem

best practice är att inte köra freenas virtuellt.

men vartfall så borde de funka, har du mappat diskarna fysiskt till freenas eller kör du med VMDK filer på varje disk?

när jag haft flertalet freenas maskiner som "dalat" i hastighet så är det cachminnen och buffrar som fyllts upp, rekomenderat är 1GB minne per 1TB lagring (rå lagring)
så tilldela freenas 12gb ram om du kör 4x3TB i ZFS

edit: whoops, var gårdagens tabb jag svarade på då tråden inte hade några inlägg alls

Visa signatur

RetroPC samlare av högsta nivå.
medlem 504 på sweclockers
https://timmynator.se

Permalänk
Medlem
Skrivet av TimmyQ:

best practice är att inte köra freenas virtuellt.

men vartfall så borde de funka, har du mappat diskarna fysiskt till freenas eller kör du med VMDK filer på varje disk?

när jag haft flertalet freenas maskiner som "dalat" i hastighet så är det cachminnen och buffrar som fyllts upp, rekomenderat är 1GB minne per 1TB lagring (rå lagring)
så tilldela freenas 12gb ram om du kör 4x3TB i ZFS

edit: whoops, var gårdagens tabb jag svarade på då tråden inte hade några inlägg alls

Ett vettigt inlägg mer bättre än ett mindre

Också hört att freenas virtuellt inte är att rekommendera men vill tillägga att jag kör det själv och har bra fart på mina maskiner.

Skickades från m.sweclockers.com

Visa signatur

Gaming: Asus P8P67, Intel i5-2500k, Asus 7970 DCII, 8gb ram, 300gb velociraptor
Server: Asus Rampage II, Intel i7-980x, 6970 ref, 30gb ram, SASUC8I + 8st 2tb diskar + 1st 128gb SSD

Permalänk
Medlem

Tackar alla för svar, jag körde in Windows Server 2008 R2 istället häromdagen och kör Software RAID5. I crystaldiskmark får jag nu hastighet på ca 350Mb läs och 70Mb skriv. Den kör som fileserver och när jag flyttar filer över nätverket ligger den stabilt på runt 65-70Mb/s i både skriv och läs.

Sedan blir det att köra Hyper-V och sätta upp några VMs

Permalänk
Medlem

Jag hade också riktigt dålig prestanda via CIFS i FreeNAS, testade att lägga till lite config värden och det gjorde stor skillnad, lägger en kommentar här inställningarna senare i eftermiddag när jag kommit hem från jobbet.

Visa signatur

[Intel Core i5 2500k] [Asus P8Z68-V Pro] [2x ATI 6950 1gb] [Fractal Design XL] [Corsair HX 750W] [Corsair 16Gb 1600MHz] [OCZ SSD Vertex3 120GB]

Permalänk
Medlem
Skrivet av Stylaren:

Jag hade också riktigt dålig prestanda via CIFS i FreeNAS, testade att lägga till lite config värden och det gjorde stor skillnad, lägger en kommentar här inställningarna senare i eftermiddag när jag kommit hem från jobbet.

Jobbar du sent stylaren?

Skickades från m.sweclockers.com

Visa signatur

Gaming: Asus P8P67, Intel i5-2500k, Asus 7970 DCII, 8gb ram, 300gb velociraptor
Server: Asus Rampage II, Intel i7-980x, 6970 ref, 30gb ram, SASUC8I + 8st 2tb diskar + 1st 128gb SSD

Permalänk
Medlem
Skrivet av kufra:

Jobbar du sent stylaren?

Skickades från m.sweclockers.com

Haha, nej men jag glömde däremot bort detta.

Här kommer min config:

Services > CIFS
Auxiliary parameters:
log level = 1
socket options = TCP_NODELAY IPTOS_LOWDELAY
read raw = yes
write raw = yes
oplocks = yes
max xmit = 65535
dead time = 15
getwd cache = yes
lpq cache = 30

Hoppas det blir skillnad!

Visa signatur

[Intel Core i5 2500k] [Asus P8Z68-V Pro] [2x ATI 6950 1gb] [Fractal Design XL] [Corsair HX 750W] [Corsair 16Gb 1600MHz] [OCZ SSD Vertex3 120GB]

Permalänk
Skrivet av Stylaren:

Haha, nej men jag glömde däremot bort detta.

Här kommer min config:

Services > CIFS
Auxiliary parameters:
log level = 1
socket options = TCP_NODELAY IPTOS_LOWDELAY
read raw = yes
write raw = yes
oplocks = yes
max xmit = 65535
dead time = 15
getwd cache = yes
lpq cache = 30

Hoppas det blir skillnad!

Även jag upplever viss dålig hastighet via Samba. Kör en HP N54L med nas4free på och hamnar på ca 80MB/s påmedföljande 250GB-disk, samt i min ZFS-pool (mirrored med 2x3Tb WD Red) får jag endast runt 30-40MB/s. Skumt!
Men är fullständigt ny på det här så har väl en del att lära. Försökte få igång NFS-shares men de vägrar min Windows7-dator hitta.

Iaf, jag testade implementera dina inställningar du postade och märkte en klar skillnad. Gick upp ganska precis 20-30MB/s på vardera av ovan nämnda värden. Trevligt! Bra tips

Visa signatur

Surf:: FD Define R3 | W10 Pro | Corsair TX650W | MSI P67A-GD65 B3 | i5-2500K@4.2GHz | 16GB Corsair Vengeance 1600MHz | GTX1060 | Be Quiet Pure Rock |
Htpc:: FD Node 304 | W10 Pro | CM Silent Pro M2 420W | ASRock H77M-ITX | Intel i5 2400 | Asus GT 630 | 8GB Corsair Vengeance 1600MHz | Arctic Cooling Alpine 11+
Server:: HP Proliant N54L | ESXI | XPEnology | 1SSD + 6HDD | 6Gb RAM

Permalänk

En liten uppdatering, kanske lite offtopic. Jag testade installera XPEnology nu idag och herrejävlar vad mycket fortare det går. Ligger nu på runt 100-120MB/s där jag enligt ovan låg på 30-40Mb/s, samt 120-140MB/s istället för 80Mb/s som ovan.

Det i kombination till XPEnologys minst sagt användarvänliga gränssnitt och möjligheter för en linux-kass klåpare som jag är, gör att valet för mig blir enkelt

Visa signatur

Surf:: FD Define R3 | W10 Pro | Corsair TX650W | MSI P67A-GD65 B3 | i5-2500K@4.2GHz | 16GB Corsair Vengeance 1600MHz | GTX1060 | Be Quiet Pure Rock |
Htpc:: FD Node 304 | W10 Pro | CM Silent Pro M2 420W | ASRock H77M-ITX | Intel i5 2400 | Asus GT 630 | 8GB Corsair Vengeance 1600MHz | Arctic Cooling Alpine 11+
Server:: HP Proliant N54L | ESXI | XPEnology | 1SSD + 6HDD | 6Gb RAM

Permalänk

Testa om du får NFS att funka med XPenology, jag har problem där. Kör du native eller virtualiserat ?

Permalänk
Skrivet av miniGranis:

Testa om du får NFS att funka med XPenology, jag har problem där. Kör du native eller virtualiserat ?

Jag kör native, inget virtualiserat kollijox Testade först freenas, sedan nas4free som jag i sak gillade men störde mig på de låga överföringshastigheterna via SMB samt att jag aldrig fick igång NFS heller.

Har inte testat NFS ännu i XPEnology eftersom jag fick upp hastigheten så markant, men jag snubblade över denna länk som förhoppningsvis kan bringa lite klarhet http://www.synology.com/en-uk/support/tutorials/566#t2

Jag kommer förmodligen testa få igång NFS med länken ovan under dagen och se om det går att pusha upp hastigheten ännu ytterligare

Visa signatur

Surf:: FD Define R3 | W10 Pro | Corsair TX650W | MSI P67A-GD65 B3 | i5-2500K@4.2GHz | 16GB Corsair Vengeance 1600MHz | GTX1060 | Be Quiet Pure Rock |
Htpc:: FD Node 304 | W10 Pro | CM Silent Pro M2 420W | ASRock H77M-ITX | Intel i5 2400 | Asus GT 630 | 8GB Corsair Vengeance 1600MHz | Arctic Cooling Alpine 11+
Server:: HP Proliant N54L | ESXI | XPEnology | 1SSD + 6HDD | 6Gb RAM

Permalänk
Skrivet av marmeladov:

Jag kör native, inget virtualiserat kollijox Testade först freenas, sedan nas4free som jag i sak gillade men störde mig på de låga överföringshastigheterna via SMB samt att jag aldrig fick igång NFS heller.

Har inte testat NFS ännu i XPEnology eftersom jag fick upp hastigheten så markant, men jag snubblade över denna länk som förhoppningsvis kan bringa lite klarhet http://www.synology.com/en-uk/support/tutorials/566#t2

Jag kommer förmodligen testa få igång NFS med länken ovan under dagen och se om det går att pusha upp hastigheten ännu ytterligare

edit: Såg att du redan skrivit i en annna tråd där samma länk diskuterats, antar att du testat då utan framgång. Synd.

Kommer man få någon märkbar förändring i överföringshastighet tror du om man lyckas få till NFS istället för SMB i XPEnology?

Visa signatur

Surf:: FD Define R3 | W10 Pro | Corsair TX650W | MSI P67A-GD65 B3 | i5-2500K@4.2GHz | 16GB Corsair Vengeance 1600MHz | GTX1060 | Be Quiet Pure Rock |
Htpc:: FD Node 304 | W10 Pro | CM Silent Pro M2 420W | ASRock H77M-ITX | Intel i5 2400 | Asus GT 630 | 8GB Corsair Vengeance 1600MHz | Arctic Cooling Alpine 11+
Server:: HP Proliant N54L | ESXI | XPEnology | 1SSD + 6HDD | 6Gb RAM

Permalänk
Medlem
Skrivet av marmeladov:

edit: Såg att du redan skrivit i en annna tråd där samma länk diskuterats, antar att du testat då utan framgång. Synd.

Kommer man få någon märkbar förändring i överföringshastighet tror du om man lyckas få till NFS istället för SMB i XPEnology?

Testade du att föra över via FTP? För i SMB överflyttning får jag bara ut ca 80Mb/s, men i FTP då flyttar jag över filer i gigabit hastighet, personligen tycker jag SMB överföring har aldrig fungerat bra!

Jag menade nu i Nas4free, för det kör jag

Permalänk
Skrivet av Philippk:

Testade du att föra över via FTP? För i SMB överflyttning får jag bara ut ca 80Mb/s, men i FTP då flyttar jag över filer i gigabit hastighet, personligen tycker jag SMB överföring har aldrig fungerat bra!

Jag menade nu i Nas4free, för det kör jag

Näe, tyvärr gjorde jag aldrig det utan körde med SMB och meckade med NFS men fick inte det sistnämnda att fungera.
Nu har jag bytt till XPEnology och hastigheterna i SMB är mer än godkända, samt att jag upplever gränssnittet så sjukt mycket mer användarvänligt om man inte är så linux-kunnig. Så för min det kommer det nog dröja innan jag ger mig på nas4free igen, även om jag gillade det med.

Visa signatur

Surf:: FD Define R3 | W10 Pro | Corsair TX650W | MSI P67A-GD65 B3 | i5-2500K@4.2GHz | 16GB Corsair Vengeance 1600MHz | GTX1060 | Be Quiet Pure Rock |
Htpc:: FD Node 304 | W10 Pro | CM Silent Pro M2 420W | ASRock H77M-ITX | Intel i5 2400 | Asus GT 630 | 8GB Corsair Vengeance 1600MHz | Arctic Cooling Alpine 11+
Server:: HP Proliant N54L | ESXI | XPEnology | 1SSD + 6HDD | 6Gb RAM

Permalänk
Medlem

Jag har precis samma problem som er, har testat Freenas i ESXi utan framgång. Varje gång jag försöker föra över en fil större än 5 gb så avbryts det. Installerade då Freenas native och allt fungerade perfekt. Testade då i sin tur XenServer där själva överföringen fungerar ok, men problemet istället blir att jag inte lyckas mounta alla 4 tb på min disk utan får nöja mig med 2 tb. Hehe vad man än testat får man någon form av problem.

Permalänk
Medlem
Skrivet av ClubT:

Jag har precis samma problem som er, har testat Freenas i ESXi utan framgång. Varje gång jag försöker föra över en fil större än 5 gb så avbryts det. Installerade då Freenas native och allt fungerade perfekt. Testade då i sin tur XenServer där själva överföringen fungerar ok, men problemet istället blir att jag inte lyckas mounta alla 4 tb på min disk utan får nöja mig med 2 tb. Hehe vad man än testat får man någon form av problem.

Du säger ju emot dig själv Precis som det sagts i tråden är det inte rekommenderat att köra freenas virtualiserat. Sen gör ju många det ändå, men man kan då inte vara förvånad över att det inte funkar bra?

Sen är det nog väldigt dumt att först mappa upp diskarna i esxi för att köra zfs ovanpå det. En stor del i hur zfs fungerar baseras på att det har direktaccess till diskarna.

Själv kör jag freenas virtualiserat på ett supermicromobo med ett raidkort med passtrough rakt in, och har även jag till och från "problem" med hastigheten, får ofta ut 100-110 meg/sec men det kan likaväl vara 60 en "dålig dag". Men fördelen över att bara ha 1 burk väger upp hastighetsproblemen och 60 meg duger mer än väl för det jag använder det till ändå.

Permalänk
Medlem

Hehe du här rätt! Mitt problem när Freenas fungerar "perfekt" (dvs native) är att jag då inte kan köra en Windows Server parallellt.

Jag har kikat på passthrough men det finns inga möjligheter till det i en N54L (iaf utan ett extra kontroller/raid-kort).

Permalänk
Medlem

Jag antar att du har testat vmxnet3 med jumbo frames, annars rekommenderar jag att du gör det.

Visa signatur

Jag ser ner på folk som särskriver!