Trädvy Permalänk
Medlem
Registrerad
Aug 2016

Jumboframes eller inte?

Hej gurus,

Jag har sedan tidigare ett 10Gbit fibernät mellan min Windows arbetsstation, VMware ESXi och Linux filserver (VM). På det nätverket har jag konfat jumboframe (MTU 9000). Det är lokalt nät, endast mellan 2 fysiska datorer och funkar alldeles utmärkt, aldrig haft något problem.

Men nu funderar jag på att endast låta glasfibern förse min arbetsstation med allt nätverkande, inkl internet. Det jag hade tänkt var att lägga till en 1Gbit NIC (i andra änden finns min edgerouter 6p) till VMware switchen som har 10Gbit NIC. Därigenom ge min workstation tillgång till internet. Men så kom jag ihåg att jag konfat jumboframes på det nätet...

Har inte så bra koll på nätverk, iaf inte jumboframes. Funderar lite på om det kan strula och jävlas att routa mellan normal- och jumboframes nät.

Är det någon här som har koll på hur det funkar? Kostar det mycket prestanda för en router att routa mellan jumboframe nät och nät med vanlig ramstorlek (MTU 1500)? Eller fattar min windows workstation att när den ska prata med internet så pratar den med nät som har max 1500 som ramstorlek. Skapar då ramar med maxstorleken 1500 och därmed blir det aldrig något problem?

Det bästa vore ju det senare så klart, men så är det det här med verkligheten...

Trädvy Permalänk
Medlem
Registrerad
Jul 2014

Tumregeln är att jumboframes inte ska vara aktiverat för vanlig internettrafik.
Jumboframe påslaget: Högre latens, Högre snitthastighet för överföring av stora filer, i teorin så bör det vara mindre påfrestande för routern.
Jumboframe avslaget: Lägre latens (att önska vid vanlig internettrafik!)

Spontant så skulle jag väl säga testa och se om det fungerar. Du lär märka ifall du råkar ut för problem i t.ex spel/surfande och att latensen går upp.

| CPU: AMD Ryzen 1600 | RAM: G.Skill 16GB 3200 MHz Ripjaws V | GPU: Asus Strix Vega 56 | Mobo: MSI X370 Pro Carbon | SSD: Kingston SSD V300 240GB | Nätagg: EVGA G2 750W 80+ Gold | Kylare: Ryzen Wraith | Chassi: Cooltek W2 | OS: Windows 10

Trädvy Permalänk
Medlem
Plats
Västerås
Registrerad
Dec 2008
Skrivet av Bmannu:

Tumregeln är att jumboframes inte ska vara aktiverat för vanlig internettrafik.
Jumboframe påslaget: Högre latens, Högre snitthastighet för överföring av stora filer, i teorin så bör det vara mindre påfrestande för routern.
Jumboframe avslaget: Lägre latens (att önska vid vanlig internettrafik!)

Spontant så skulle jag väl säga testa och se om det fungerar. Du lär märka ifall du råkar ut för problem i t.ex spel/surfande och att latensen går upp.

Jag håller med om att TS bör ha jumboframes avslaget då det knappast tillför något för vanlig internettrafik.
Men jag har aldrig hört att jumboframes skulle orsaka högre latens, hur kan det bli så?

Cisco-certifierad nätverksspecialist
www.best-practice.se

Trädvy Permalänk
Medlem
Registrerad
Jul 2014
Skrivet av ZerxXxes:

Jag håller med om att TS bör ha jumboframes avslaget då det knappast tillför något för vanlig internettrafik.
Men jag har aldrig hört att jumboframes skulle orsaka högre latens, hur kan det bli så?

Större storlek på paketen innebär att det tar längre tid mellan varje paket. Detta kan leda till högre latens i program som kräver många mindre paket.

Det finns även fler anledningar som jag inte kände till men detta fann jag efter lite googlande
https://superuser.com/questions/715590/why-do-jumbo-frames-hu...

| CPU: AMD Ryzen 1600 | RAM: G.Skill 16GB 3200 MHz Ripjaws V | GPU: Asus Strix Vega 56 | Mobo: MSI X370 Pro Carbon | SSD: Kingston SSD V300 240GB | Nätagg: EVGA G2 750W 80+ Gold | Kylare: Ryzen Wraith | Chassi: Cooltek W2 | OS: Windows 10

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Maj 2002

Ha kvar 9k MTU. Men var inte för snål med brandväggs regler. Din router kommer tala om för din dator via ICMP att det är annan MTU som gäller för vissa destinationer. Så se till att det där 1G interfacet får 1500MTU och att det inte blockar icmp så kommer det lösa sig fint. Om du har problem säg till

Trädvy Permalänk
Medlem
Plats
umeå
Registrerad
Jun 2005

risk med jumboframes mot internet är fragmentering av datapaketen. detta är väldigt ofördelaktigt.

får du verkligen skillad mellan standard (1400?) vs 9000?

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Maj 2002

Eftersom så många är emot detta uppmanar jag dig att testa. Kör sen tcpdump så ser du hur du får icmp paket som talar om för din dator att använda lägre mig mot specifika destinationer.

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Jun 2014
Skrivet av boibo:

risk med jumboframes mot internet är fragmentering av datapaketen. detta är väldigt ofördelaktigt.

Det är inte bara en risk utan det kommer fragmenteras eftersom IP-trafiken vidare ut genom Internet till 100% har en MTU satt till 1500.

Skrivet av grogt:

Har inte så bra koll på nätverk, iaf inte jumboframes. Funderar lite på om det kan strula och jävlas att routa mellan normal- och jumboframes nät.

På en L3-nivå kommer den enhet som ansluter mot din ISP behöva hantera fragmenteringen. På en L2-nivå kommer alla jumbo frames att kastas om interfacet inte har stöd för det. Så det finns potentiella felmöjligheter mot din ISP om du sätter MTU 9000 på interfacet mot dem, så det rekommenderar jag att du undviker. I övrigt fragmentering och den CPU-last och delay som kommer med fragmenteringen. Det är en sån typisk grej som kan ge skumma symptom och fel.

Trädvy Permalänk
Medlem
Registrerad
Aug 2016

Tack för svar!

Har varit mycket annat så det har varit lite låg prio på detta.
Testade med PING ('ping -s' i linux och 'ping -l' i win) och där ser jag att routern fragmenterar ner det i avgrunden om jag inte explicit talar om att inte fragmentera. Försökte även testa med TCP, laddade upp en fil till min externa filserver, men TCP verkar hitta på något som jag inte förstår. Iaf ser jag inte paket längden. Har försökt, men inte hittat varför paket längderna ser mysko ut för TCP... Så jag blev lite osäker på hur jag ska kunna verifiera att paketen fragmenteras eller inte.

Jag testade även hur mycket jumboframes gör för hastigheten mellan min PC och lokala filserven. Hastigheten går ner ca 1Gbit/s från ~9,8Gbit/s till ~8,6Gbit/s (klistrar in resultaten nedan).
Även om hastigheten går ner till ca 1Gbit/s så klarar mina stackars spinn diskar (WD Red 4Tb) inte att vare läsa eller skriva i den hastigheten. Kanske, kanske de klarar 150Mbyte/s - 300Mbyte/s i RAID10. Har tänkt köpa 4 diskar till men fortfarande max 600Mbyte/s och det i bästa fall...

Så med tanke på att jag inte har diskar som klarar av att maximera ens 8Gbit/s och hur mycket strul det kan bli med jumboframes har jag konfat om till MTU=1500 och kommer köra med det tillsvidare.

OT: Jag gick in i väggen på annat sätt med min tänkta setup. När jag testade så visade det sig att en ESXi vSwitch tolkar en ny NIC som uplink och därmed funkar den nya NICen som failover och endast som det. Har inte hittat om man få vSwitchen att agera som en vanlig switch. Iof är det logiskt som det är med tanke på hur man normalt använder en ESXi host.
Ska testa lite med en VM som agerar brygga, men egentligen tycker jag det är att överkomplicera. Helst vill jag ha ha en router som klarar 10Gbit men dom kostar mer än vad jag vill ge och dessutom vill jag inte ha nåt som väsnas här hemma. Problem, problem... Suck!

iperf3 test med och utan jumboframes (MTU=9000):
----
#> ifconfig eth1 | grep 'eth\|MTU' | sed 's/ /\n/g' | grep 'eth\|MTU' | sed ':a;N;$!ba;s/\n/ - /g'; iperf3 -c 192.168.150.8
eth1 - MTU:9000
Connecting to host 192.168.150.8, port 5201
[ 4] local 192.168.150.2 port 60738 connected to 192.168.150.8 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 1.15 GBytes 9.87 Gbits/sec 0 349 KBytes
[ 4] 1.00-2.00 sec 1.14 GBytes 9.83 Gbits/sec 0 349 KBytes
[ 4] 2.00-3.00 sec 1.14 GBytes 9.82 Gbits/sec 0 349 KBytes
[ 4] 3.00-4.00 sec 1.12 GBytes 9.60 Gbits/sec 0 349 KBytes
[ 4] 4.00-5.00 sec 1.15 GBytes 9.85 Gbits/sec 0 349 KBytes
[ 4] 5.00-6.00 sec 1.13 GBytes 9.74 Gbits/sec 0 349 KBytes
[ 4] 6.00-7.00 sec 1.15 GBytes 9.85 Gbits/sec 0 349 KBytes
[ 4] 7.00-8.00 sec 1.13 GBytes 9.75 Gbits/sec 0 349 KBytes
[ 4] 8.00-9.00 sec 1.14 GBytes 9.82 Gbits/sec 0 349 KBytes
[ 4] 9.00-10.00 sec 1.14 GBytes 9.76 Gbits/sec 0 349 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-10.00 sec 11.4 GBytes 9.79 Gbits/sec 0 sender
[ 4] 0.00-10.00 sec 11.4 GBytes 9.79 Gbits/sec receiver

iperf Done.
#> ifconfig eth1 | grep 'eth\|MTU' | sed 's/ /\n/g' | grep 'eth\|MTU' | sed ':a;N;$!ba;s/\n/ - /g'; iperf3 -c 192.168.150.8
eth1 - MTU:1500
Connecting to host 192.168.150.8, port 5201
[ 4] local 192.168.150.2 port 34871 connected to 192.168.150.8 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 1.04 GBytes 8.96 Gbits/sec 0 468 KBytes
[ 4] 1.00-2.00 sec 1008 MBytes 8.45 Gbits/sec 0 468 KBytes
[ 4] 2.00-3.00 sec 998 MBytes 8.37 Gbits/sec 0 468 KBytes
[ 4] 3.00-4.00 sec 1.01 GBytes 8.71 Gbits/sec 0 468 KBytes
[ 4] 4.00-5.00 sec 1.01 GBytes 8.71 Gbits/sec 0 468 KBytes
[ 4] 5.00-6.00 sec 1.01 GBytes 8.67 Gbits/sec 0 468 KBytes
[ 4] 6.00-7.00 sec 1015 MBytes 8.51 Gbits/sec 0 468 KBytes
[ 4] 7.00-8.00 sec 1019 MBytes 8.55 Gbits/sec 0 468 KBytes
[ 4] 8.00-9.00 sec 1.01 GBytes 8.68 Gbits/sec 0 468 KBytes
[ 4] 9.00-10.00 sec 1.01 GBytes 8.64 Gbits/sec 0 468 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-10.00 sec 10.0 GBytes 8.63 Gbits/sec 0 sender
[ 4] 0.00-10.00 sec 10.0 GBytes 8.62 Gbits/sec receiver

iperf Done.
#>
---