Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Mar 2011

Långsamt LAN

Har precis konfigurerat ett hemmabyggt NAS (på 4-core pentium N3150) med OpenMediaVault. Som ett första test skapade jag en samba share (CIFS/SMB) och öppnade den på min mac laptop. Dock gick det rätt långsamt att överföra filer, mellan 10-20 MByte/s för ett stort gäng bilder på ca 3 MByte styck, samt några större filmer uppemot 100 MByte. Hade förväntat mig kanske 70-90 MByte/s då jag har GB ethernet. Testade nätverkslänken med iperf, och den landar oftast runt 500 Mbps, dvs halva kapaciteten. Men även med halva kapaciteten på länken border väl överföringshastigheten på samba sharen ligga på iaf ~40 MByte/s?

Är detta att förvänta sig i praktiken, eller kan man göra något åt saken? Dels få upp länkhastigheten närmare 1000 Mbps, samt förbättra hastigheten över samba. Köpa bättre router kanske? Har i nuläget en rätt gammal historia som följde med mitt com hem abbonemang. Sen kanske man får pilla på samba konfigurationen, men har inte så mycket erfarenhet där.

Trädvy Permalänk
Inaktiv
Registrerad
Mar 2010

Varför skulle du köpa en ny router om iperf fungerar bra?

Mac och samba suger, kör inte samba om du bara kör mac, kör AFS eller testa med FTP.

Vad är det som säger att du ska komma upp i 40 Mbit/s - har du bara SSD diskar i din hemmabyggda NAS.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Mar 2011
Skrivet av studiox_swe:

Varför skulle du köpa en ny router om iperf fungerar bra?

Mac och samba suger, kör inte samba om du bara kör mac, kör AFS eller testa med FTP.

Vad är det som säger att du ska komma upp i 40 Mbit/s - har du bara SSD diskar i din hemmabyggda NAS.

Men iperf visar ju bara hälften av det förväntade värdet: runt 500Mbps för en 1Gbps länk.

Den teoretiska maxhastigheten över en länk som gör 500 Mbps (enligt iperf) är ju ca 60 MByte/s. I praktiken kanske lite lägre, dvs runt 40 MByte/s. Detta borde inte vara något problem alls för en mekanisk disk för filer i storleksordningen MB.

Testade nyss med en fil på 600 MB, och fick en hastighet på 25 MByte/s. Det borde verkligen gå att komma upp i nära 100 MByte/s tycker jag.

Vill verkligen ha en delad mapp på datorn för enkelhetens skull, så FTP är uteslutet. Ska försöka med NFS. OpenMediaVault har inget stöd för AFS.

Trädvy Permalänk
Inaktiv
Registrerad
Mar 2010
Skrivet av Mikael07:

Men iperf visar ju bara hälften av det förväntade värdet: runt 500Mbps för en 1Gbps länk.

Nej, du brukar inte få mer än runt 800 Mbit/s på en länk, iaf. om du mäter med TCP - hur mäter du och förstår du vad du mäter?
[/quote]
Detta borde inte vara något problem alls för en mekanisk disk för filer i storleksordningen MB.
[/quote]
Jasså, har du testat disken lokalt då? För att testa prestandan?

Skrivet av Mikael07:

Det borde verkligen gå att komma upp i nära 100 MByte/s tycker jag.

Intressant, det är vad tech spec säger för dina diskar?

Skrivet av Mikael07:

Vill verkligen ha en delad mapp på datorn för enkelhetens skull, så FTP är uteslutet. Ska försöka med NFS. OpenMediaVault har inget stöd för AFS.

Som jag sa innan så har inte OSX så bra stöd för SMB/CIFS, framförallt CIFS 3.0. Det går utmärkt att montera en FTP som share också, men om du vill använda FTP eller inte är ju inte relevant, bara att utesluta att det beror på protokollet.........

Trädvy Permalänk
Medlem
Plats
Lund
Registrerad
Apr 2005
Skrivet av studiox_swe:

Som jag sa innan så har inte OSX så bra stöd för SMB/CIFS, framförallt CIFS 3.0. Det går utmärkt att montera en FTP som share också, men om du vill använda FTP eller inte är ju inte relevant, bara att utesluta att det beror på protokollet.........

Även stödet i Linux (openmediavault) är sådär. Det går att få det helt okej med pillande på inställningar för SMB, men andra protokoll är att föredra.

Möjligt det har blivit bättre i samba4. Jag körde samba3 ett tag tills jag gav upp det när jag ville ha någon prestanda.

Trädvy Permalänk
Medlem
Plats
Lund
Registrerad
Apr 2005
Skrivet av studiox_swe:

Nej, du brukar inte få mer än runt 800 Mbit/s på en länk, iaf. om du mäter med TCP - hur mäter du och förstår du vad du mäter?

Genom att bara kör "iperf -s" och "iperf -c <ip>" mellan 2 datorer på gigabitnätverk så får jag ut följande:

glyph@lucifer:~% iperf -c <ip> ------------------------------------------------------------ Client connecting to <ip>, TCP port 5001 TCP window size: 85.0 KByte (default) ------------------------------------------------------------ [ 3] local <ip> port 33570 connected with <ip> port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 1.10 GBytes 941 Mbits/sec

samt

glyph@thor:~% iperf -s ------------------------------------------------------------ Server listening on TCP port 5001 TCP window size: 85.3 KByte (default) ------------------------------------------------------------ [ 4] local <ip> port 5001 connected with <ip> port 33570 [ ID] Interval Transfer Bandwidth [ 4] 0.0-10.1 sec 1.10 GBytes 937 Mbits/sec

Dvs runt 940 Mbit.

Trädvy Permalänk
Inaktiv
Registrerad
Mar 2010
Skrivet av Glyph:

Även stödet i Linux (openmediavault) är sådär. Det går att få det helt okej med pillande på inställningar för SMB, men andra protokoll är att föredra.

Möjligt det har blivit bättre i samba4. Jag körde samba3 ett tag tills jag gav upp det när jag ville ha någon prestanda.

Jag kör QNAP som stödjer Samba 4.0 - Jag får runt 200 Mbyte/s Read utan problem.

Trädvy Permalänk
Medlem
Plats
Lund
Registrerad
Apr 2005
Skrivet av studiox_swe:

Jag kör QNAP som stödjer Samba 4.0 - Jag får runt 200 Mbyte/s Read utan problem.

Är det till Windows eller Linux-klienter? Eller båda?

(se även mitt iperf svar ovan ifall du missade det)

Trädvy Permalänk
Inaktiv
Registrerad
Mar 2010
Skrivet av Glyph:

Genom att bara kör "iperf -s" och "iperf -c <ip>" mellan 2 datorer på gigabitnätverk så får jag ut följande:

Vad du får är ju inte relevant, det är ju vad TS får som är relevant...
Kör man TCP vilket betyder att varje paket måste ACKas, detta tar en MASSA CPU kraft och kräver också bandbredd, alt. om du har ett nätverkskort som har offloading av TCP. Kör man UDP behöver man inte detta och får alltså bättre prestanda.

Det är inte så vanligt att man får "linespeed" utan runt 800 Mbit/s på 1000 Mbit/s är rätt vanligt. Allt beror på vad man har för dator, tcpscaling/tcpwindows size, nätverkskort, drivrutiner, cpu load, vad man har för switch (ködjup mm) samt vad man har för kablar (resend)

Trädvy Permalänk
Medlem
Plats
Lund
Registrerad
Apr 2005
Skrivet av studiox_swe:

Vad du får är ju inte relevant, det är ju vad TS får som är relevant...
Kör man TCP vilket betyder att varje paket måste ACKas, detta tar en MASSA CPU kraft och kräver också bandbredd, alt. om du har ett nätverkskort som har offloading av TCP. Kör man UDP behöver man inte detta och får alltså bättre prestanda.

Det är inte så vanligt att man får "linespeed" utan runt 800 Mbit/s på 1000 Mbit/s är rätt vanligt. Allt beror på vad man har för dator, tcpscaling/tcpwindows size, nätverkskort, drivrutiner, cpu load, vad man har för switch (ködjup mm) samt vad man har för kablar (resend)

Det har du så rätt i. Jag var bara lite nyfiken, trodde siffrorna skulle vara i närheten av dina innan jag testade. Mitt test gjordes på Dell-servrar i en datahall, så det är mycket möjligt att de har offloading.

Gjorde om testet med UDP och fick då intressant nog 811 Mbits/sec (-u -b 1000M), ~0,02% packetloss

Trädvy Permalänk
Rekordmedlem
Plats
Salstad
Registrerad
Feb 2009

Man bör även hålla koll på hur hårt datorn lastas för filhantering kan innebära maxlast på klenare modeller, jag har själv en laptop med en c-ulv cpu och den går i taket cpumässigt strax under 300Mbit/s och generellt så är det stor skillnad i diskhastighet om man mäter med många småfiser eller en stor fil eller bara rådata och tillverkarnas bencmarkvärden brukar visa rådata och utan säkerhetsprogram, de visar ett jämförelsevärde som kan användas vid jämförelser under samm förhållanden men inte vad man ska förvänta sig vid normal drift.
Du får alltså göra flera deltester så du kan se hur varje del presterar isolerat om du ska veta var flakhalsen finns.

Phenom 2 960T (körs x6) med passivt Ninja på Asus Crosshair 4 Asus 4850 och en väldig massa masslagring.Passiv kyld Northq nätdel 450W Antec P 180 med Schyte o Sharkoon fläktar via en t-balancer, väldigt tyst, oftast passivt. Datorljud 2kanal: ljudkort/dsp Behringer DCX2496, högtalare Truth B3031A, Truth B2092A Har också Oscilloskop och mätmikrofon.

Trädvy Permalänk
Medlem
Plats
Lund
Registrerad
Apr 2005

Har du möjlighet att logga in med SSH till openmediavault? Isåfall kan du testa läshastighet för din uppsättning med

dd if=<fil> of=/dev/null bs=1M

Där <fil> är en stor fil, lämpligtvis samma som du testade att skicka via SMB.

Trädvy Permalänk
Medlem
Registrerad
Maj 2014
Skrivet av Mikael07:

Är detta att förvänta sig i praktiken, eller kan man göra något åt saken?

Problemet ligger oftast på själva NAS'en och inte nätverket. Annars baserat på dina tester om du har en äldre router så kanske den bara har 500 Mbit throughput. Men vad gäller ethernet så ligger inte felet där över varför du får typ, 20 Mbyte skriv hastighet.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Mar 2011
Skrivet av VexedRelic:

Problemet ligger oftast på själva NAS'en och inte nätverket. Annars baserat på dina tester om du har en äldre router så kanske den bara har 500 Mbit throughput. Men vad gäller ethernet så ligger inte felet där över varför du får typ, 20 Mbyte skriv hastighet.

Du hade en poäng där. Bytte ut drivern till nätverkskortet i NAS'en till realteks's egna (istället för drivern som kommer med linuxkerneln), och då blev det iaf som förväntat med iperf (linux som server och mac som client), runt ~950 Mbps.

Hastigheten över samba är dock fortsatt låg (testar med en fil på 600 MB). Ska testa mellan två linuxburkar istället för att se vad som händer där, men jag fick ta nätsladden (har bara en) från min stationära linux till NAS'en så för tillfället kan jag inte göra det.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Mar 2011
Skrivet av mrqaffe:

Man bör även hålla koll på hur hårt datorn lastas för filhantering kan innebära maxlast på klenare modeller, jag har själv en laptop med en c-ulv cpu och den går i taket cpumässigt strax under 300Mbit/s och generellt så är det stor skillnad i diskhastighet om man mäter med många småfiser eller en stor fil eller bara rådata och tillverkarnas bencmarkvärden brukar visa rådata och utan säkerhetsprogram, de visar ett jämförelsevärde som kan användas vid jämförelser under samm förhållanden men inte vad man ska förvänta sig vid normal drift.
Du får alltså göra flera deltester så du kan se hur varje del presterar isolerat om du ska veta var flakhalsen finns.

Jag använder en stor fil nu för testerna, så det ska inte vara HDD's som är flaskhalsen iaf. Windows är inte inblandad så antivirusprogram ligger inte och kör i bakgrunden.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Mar 2011
Skrivet av Glyph:

Även stödet i Linux (openmediavault) är sådär. Det går att få det helt okej med pillande på inställningar för SMB, men andra protokoll är att föredra.

Möjligt det har blivit bättre i samba4. Jag körde samba3 ett tag tills jag gav upp det när jag ville ha någon prestanda.

Jo jag får nog testa NFS istället. Dock behöver jag samba för en android app för att synka filer från telefonen. Kan man dela ut samba och NFS för samma fysiska mapp på hårddisken?

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Mar 2011
Skrivet av studiox_swe:

Nej, du brukar inte få mer än runt 800 Mbit/s på en länk, iaf. om du mäter med TCP - hur mäter du och förstår du vad du mäter?

Jag bytte driver och får nu runt 950 Mbps, dvs som jag förväntade mig från början. Jag mäter med iperf, och jag vet vad jag mäter.

Skrivet av studiox_swe:

[/quote]
Detta borde inte vara något problem alls för en mekanisk disk för filer i storleksordningen MB.
[/quote]
Jasså, har du testat disken lokalt då? För att testa prestandan?

Intressant, det är vad tech spec säger för dina diskar?

Vilken modern mekanisk disk som helst borde ju klara av 100 MByte/s. Men visst, jag mätte hastigheten på den 600 MB filen jag använder för mina tester, och får 118 MB/s när jag kopierar filen från disken lokalt. För mappen med bilder jag först testade med får jag 50 MByte/s vid lokal kopia, vilket är lägre än jag trodde. Men jag borde ändå nå upp till nära det tycker jag.

Skrivet av studiox_swe:

Som jag sa innan så har inte OSX så bra stöd för SMB/CIFS, framförallt CIFS 3.0. Det går utmärkt att montera en FTP som share också, men om du vill använda FTP eller inte är ju inte relevant, bara att utesluta att det beror på protokollet.........

Jo, jag får nog titta på andra alternativ där. Ville undvika samba från början, men det verkade vara enklast att börja med, samt att en android app jag använder kräver samba delning.

Trädvy Permalänk
Medlem
Plats
Lund
Registrerad
Apr 2005
Skrivet av Mikael07:

Jo jag får nog testa NFS istället. Dock behöver jag samba för en android app för att synka filer från telefonen. Kan man dela ut samba och NFS för samma fysiska mapp på hårddisken?

Ja, det ska inte vara några problem. Om inte openmediavault gjort något väldigt dumt.

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Mar 2011
Skrivet av Glyph:

Har du möjlighet att logga in med SSH till openmediavault? Isåfall kan du testa läshastighet för din uppsättning med

dd if=<fil> of=/dev/null bs=1M

Där <fil> är en stor fil, lämpligtvis samma som du testade att skicka via SMB.

Gjorde inte det testet, men använde rsync för att kopiera till ett annat ställe på samma disk. 118 MB/s för en stor fil (600 MB), och 50 MB/s för en mapp med bilder.

Sen testade jag också att kopiera samma stora fil över nätverket med scp. Då fick jag ca 55 MB/s att kopiera till HDD och 65 MB/s att kopiera till SSD. Lite märkligt att det blir skillnad tycker jag, när HDD'n har kapacitet att klara över 100 MB/s för stora filer.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Mar 2011
Skrivet av Glyph:

Ja, det ska inte vara några problem. Om inte openmediavault gjort något väldigt dumt.

Skickades från m.sweclockers.com

Perfekt!

Trädvy Permalänk
Medlem
Plats
Lund
Registrerad
Apr 2005
Skrivet av Mikael07:

Gjorde inte det testet, men använde rsync för att kopiera till ett annat ställe på samma disk. 118 MB/s för en stor fil (600 MB), och 50 MB/s för en mapp med bilder.

Sen testade jag också att kopiera samma stora fil över nätverket med scp. Då fick jag ca 55 MB/s att kopiera till HDD och 65 MB/s att kopiera till SSD. Lite märkligt att det blir skillnad tycker jag, när HDD'n har kapacitet att klara över 100 MB/s för stora filer.

Det jag var ute efter med dd var att testa läsning från disken utan att skriva någonstans.

Inte säkert det testet behövs längre dock. Jag tycker dina nya tester bekräftar teorierna om att det är SMB protokollet som är flaskhalsen.

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Mar 2011
Skrivet av Glyph:

Det jag var ute efter med dd var att testa läsning från disken utan att skriva någonstans.

Inte säkert det testet behövs längre dock. Jag tycker dina nya tester bekräftar teorierna om att det är SMB protokollet som är flaskhalsen.

Skickades från m.sweclockers.com

Fick upp den andra linuxburken och testade NFS mot den - 100 MB/s för en stor fil (HDD till HDD), nu snackar vi!

Körde samma mount kommando på macen, men det fungerade såklart inte. En extra parameter gjorde att den mountade, men kan bara läsa och inte skriva, inte ens med sudo. Fick iaf 60 MB/s om jag kopierade från server (HDD) till mac (SSD).

Edit: Fixade write permissions. Det är tydligen lite striktare med permissions i NFS än samba. Man måste matcha user och group id's på server och klient, eller ge specifika argument (inte helt intuitiva IMO) tlll NFS servern för att få write permission.