Permalänk
Medlem

Jumboframes eller inte?

Hej gurus,

Jag har sedan tidigare ett 10Gbit fibernät mellan min Windows arbetsstation, VMware ESXi och Linux filserver (VM). På det nätverket har jag konfat jumboframe (MTU 9000). Det är lokalt nät, endast mellan 2 fysiska datorer och funkar alldeles utmärkt, aldrig haft något problem.

Men nu funderar jag på att endast låta glasfibern förse min arbetsstation med allt nätverkande, inkl internet. Det jag hade tänkt var att lägga till en 1Gbit NIC (i andra änden finns min edgerouter 6p) till VMware switchen som har 10Gbit NIC. Därigenom ge min workstation tillgång till internet. Men så kom jag ihåg att jag konfat jumboframes på det nätet...

Har inte så bra koll på nätverk, iaf inte jumboframes. Funderar lite på om det kan strula och jävlas att routa mellan normal- och jumboframes nät.

Är det någon här som har koll på hur det funkar? Kostar det mycket prestanda för en router att routa mellan jumboframe nät och nät med vanlig ramstorlek (MTU 1500)? Eller fattar min windows workstation att när den ska prata med internet så pratar den med nät som har max 1500 som ramstorlek. Skapar då ramar med maxstorleken 1500 och därmed blir det aldrig något problem?

Det bästa vore ju det senare så klart, men så är det det här med verkligheten...

Permalänk
Medlem

Tumregeln är att jumboframes inte ska vara aktiverat för vanlig internettrafik.
Jumboframe påslaget: Högre latens, Högre snitthastighet för överföring av stora filer, i teorin så bör det vara mindre påfrestande för routern.
Jumboframe avslaget: Lägre latens (att önska vid vanlig internettrafik!)

Spontant så skulle jag väl säga testa och se om det fungerar. Du lär märka ifall du råkar ut för problem i t.ex spel/surfande och att latensen går upp.

Visa signatur

| CPU: AMD Ryzen 5600x | RAM: G.Skill 16GB 3200 MHz Ripjaws V | GPU: Powercolor RX 6800 | Mobo:ASUS ROG STRIX B550-F Gaming | SSD: Kingston SSD V300 240GB | Nätagg: Fractal Design Ion+ Platinum 660W | Kylare: Arctic Liquid Freezer II 120mm | Chassi: Cooltek W2 | OS: Windows 10

Permalänk
Medlem
Skrivet av Bmannu:

Tumregeln är att jumboframes inte ska vara aktiverat för vanlig internettrafik.
Jumboframe påslaget: Högre latens, Högre snitthastighet för överföring av stora filer, i teorin så bör det vara mindre påfrestande för routern.
Jumboframe avslaget: Lägre latens (att önska vid vanlig internettrafik!)

Spontant så skulle jag väl säga testa och se om det fungerar. Du lär märka ifall du råkar ut för problem i t.ex spel/surfande och att latensen går upp.

Jag håller med om att TS bör ha jumboframes avslaget då det knappast tillför något för vanlig internettrafik.
Men jag har aldrig hört att jumboframes skulle orsaka högre latens, hur kan det bli så?

Visa signatur

Cisco-certifierad nätverksspecialist
Bygger globalt spelservernätverk på dathost.net

Permalänk
Medlem
Skrivet av ZerxXxes:

Jag håller med om att TS bör ha jumboframes avslaget då det knappast tillför något för vanlig internettrafik.
Men jag har aldrig hört att jumboframes skulle orsaka högre latens, hur kan det bli så?

Större storlek på paketen innebär att det tar längre tid mellan varje paket. Detta kan leda till högre latens i program som kräver många mindre paket.

Det finns även fler anledningar som jag inte kände till men detta fann jag efter lite googlande
https://superuser.com/questions/715590/why-do-jumbo-frames-hu...

Visa signatur

| CPU: AMD Ryzen 5600x | RAM: G.Skill 16GB 3200 MHz Ripjaws V | GPU: Powercolor RX 6800 | Mobo:ASUS ROG STRIX B550-F Gaming | SSD: Kingston SSD V300 240GB | Nätagg: Fractal Design Ion+ Platinum 660W | Kylare: Arctic Liquid Freezer II 120mm | Chassi: Cooltek W2 | OS: Windows 10

Permalänk
Medlem

Ha kvar 9k MTU. Men var inte för snål med brandväggs regler. Din router kommer tala om för din dator via ICMP att det är annan MTU som gäller för vissa destinationer. Så se till att det där 1G interfacet får 1500MTU och att det inte blockar icmp så kommer det lösa sig fint. Om du har problem säg till

Permalänk
Medlem

risk med jumboframes mot internet är fragmentering av datapaketen. detta är väldigt ofördelaktigt.

får du verkligen skillad mellan standard (1400?) vs 9000?

Permalänk
Medlem

Eftersom så många är emot detta uppmanar jag dig att testa. Kör sen tcpdump så ser du hur du får icmp paket som talar om för din dator att använda lägre mig mot specifika destinationer.

Skickades från m.sweclockers.com

Permalänk
Medlem
Skrivet av boibo:

risk med jumboframes mot internet är fragmentering av datapaketen. detta är väldigt ofördelaktigt.

Det är inte bara en risk utan det kommer fragmenteras eftersom IP-trafiken vidare ut genom Internet till 100% har en MTU satt till 1500.

Skrivet av grogt:

Har inte så bra koll på nätverk, iaf inte jumboframes. Funderar lite på om det kan strula och jävlas att routa mellan normal- och jumboframes nät.

På en L3-nivå kommer den enhet som ansluter mot din ISP behöva hantera fragmenteringen. På en L2-nivå kommer alla jumbo frames att kastas om interfacet inte har stöd för det. Så det finns potentiella felmöjligheter mot din ISP om du sätter MTU 9000 på interfacet mot dem, så det rekommenderar jag att du undviker. I övrigt fragmentering och den CPU-last och delay som kommer med fragmenteringen. Det är en sån typisk grej som kan ge skumma symptom och fel.

Permalänk
Medlem

Tack för svar!

Har varit mycket annat så det har varit lite låg prio på detta.
Testade med PING ('ping -s' i linux och 'ping -l' i win) och där ser jag att routern fragmenterar ner det i avgrunden om jag inte explicit talar om att inte fragmentera. Försökte även testa med TCP, laddade upp en fil till min externa filserver, men TCP verkar hitta på något som jag inte förstår. Iaf ser jag inte paket längden. Har försökt, men inte hittat varför paket längderna ser mysko ut för TCP... Så jag blev lite osäker på hur jag ska kunna verifiera att paketen fragmenteras eller inte.

Jag testade även hur mycket jumboframes gör för hastigheten mellan min PC och lokala filserven. Hastigheten går ner ca 1Gbit/s från ~9,8Gbit/s till ~8,6Gbit/s (klistrar in resultaten nedan).
Även om hastigheten går ner till ca 1Gbit/s så klarar mina stackars spinn diskar (WD Red 4Tb) inte att vare läsa eller skriva i den hastigheten. Kanske, kanske de klarar 150Mbyte/s - 300Mbyte/s i RAID10. Har tänkt köpa 4 diskar till men fortfarande max 600Mbyte/s och det i bästa fall...

Så med tanke på att jag inte har diskar som klarar av att maximera ens 8Gbit/s och hur mycket strul det kan bli med jumboframes har jag konfat om till MTU=1500 och kommer köra med det tillsvidare.

OT: Jag gick in i väggen på annat sätt med min tänkta setup. När jag testade så visade det sig att en ESXi vSwitch tolkar en ny NIC som uplink och därmed funkar den nya NICen som failover och endast som det. Har inte hittat om man få vSwitchen att agera som en vanlig switch. Iof är det logiskt som det är med tanke på hur man normalt använder en ESXi host.
Ska testa lite med en VM som agerar brygga, men egentligen tycker jag det är att överkomplicera. Helst vill jag ha ha en router som klarar 10Gbit men dom kostar mer än vad jag vill ge och dessutom vill jag inte ha nåt som väsnas här hemma. Problem, problem... Suck!

iperf3 test med och utan jumboframes (MTU=9000):
----
#> ifconfig eth1 | grep 'eth\|MTU' | sed 's/ /\n/g' | grep 'eth\|MTU' | sed ':a;N;$!ba;s/\n/ - /g'; iperf3 -c 192.168.150.8
eth1 - MTU:9000
Connecting to host 192.168.150.8, port 5201
[ 4] local 192.168.150.2 port 60738 connected to 192.168.150.8 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 1.15 GBytes 9.87 Gbits/sec 0 349 KBytes
[ 4] 1.00-2.00 sec 1.14 GBytes 9.83 Gbits/sec 0 349 KBytes
[ 4] 2.00-3.00 sec 1.14 GBytes 9.82 Gbits/sec 0 349 KBytes
[ 4] 3.00-4.00 sec 1.12 GBytes 9.60 Gbits/sec 0 349 KBytes
[ 4] 4.00-5.00 sec 1.15 GBytes 9.85 Gbits/sec 0 349 KBytes
[ 4] 5.00-6.00 sec 1.13 GBytes 9.74 Gbits/sec 0 349 KBytes
[ 4] 6.00-7.00 sec 1.15 GBytes 9.85 Gbits/sec 0 349 KBytes
[ 4] 7.00-8.00 sec 1.13 GBytes 9.75 Gbits/sec 0 349 KBytes
[ 4] 8.00-9.00 sec 1.14 GBytes 9.82 Gbits/sec 0 349 KBytes
[ 4] 9.00-10.00 sec 1.14 GBytes 9.76 Gbits/sec 0 349 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-10.00 sec 11.4 GBytes 9.79 Gbits/sec 0 sender
[ 4] 0.00-10.00 sec 11.4 GBytes 9.79 Gbits/sec receiver

iperf Done.
#> ifconfig eth1 | grep 'eth\|MTU' | sed 's/ /\n/g' | grep 'eth\|MTU' | sed ':a;N;$!ba;s/\n/ - /g'; iperf3 -c 192.168.150.8
eth1 - MTU:1500
Connecting to host 192.168.150.8, port 5201
[ 4] local 192.168.150.2 port 34871 connected to 192.168.150.8 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 1.04 GBytes 8.96 Gbits/sec 0 468 KBytes
[ 4] 1.00-2.00 sec 1008 MBytes 8.45 Gbits/sec 0 468 KBytes
[ 4] 2.00-3.00 sec 998 MBytes 8.37 Gbits/sec 0 468 KBytes
[ 4] 3.00-4.00 sec 1.01 GBytes 8.71 Gbits/sec 0 468 KBytes
[ 4] 4.00-5.00 sec 1.01 GBytes 8.71 Gbits/sec 0 468 KBytes
[ 4] 5.00-6.00 sec 1.01 GBytes 8.67 Gbits/sec 0 468 KBytes
[ 4] 6.00-7.00 sec 1015 MBytes 8.51 Gbits/sec 0 468 KBytes
[ 4] 7.00-8.00 sec 1019 MBytes 8.55 Gbits/sec 0 468 KBytes
[ 4] 8.00-9.00 sec 1.01 GBytes 8.68 Gbits/sec 0 468 KBytes
[ 4] 9.00-10.00 sec 1.01 GBytes 8.64 Gbits/sec 0 468 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-10.00 sec 10.0 GBytes 8.63 Gbits/sec 0 sender
[ 4] 0.00-10.00 sec 10.0 GBytes 8.62 Gbits/sec receiver

iperf Done.
#>
---

Permalänk
Medlem

Har en netgear Dgnd4000 router, klarar den av jumboframes? Kan inte välja högre än 1500 mtu size i inställningarna, betyder då de att de inte funkar?

Permalänk
Hedersmedlem
Skrivet av ripan_:

Har en netgear Dgnd4000 router, klarar den av jumboframes? Kan inte välja högre än 1500 mtu size i inställningarna, betyder då de att de inte funkar?

Definitionen av jumbo frames är en högre MTU, kan du inte ställa den högre än 1500 så går det ju inte.

Frågan är, varför ska du ha en MTU på >1500 på en router (som jag antar ska ansluta ut mot internet?) Även om du kan köra jumboframes mot routern så kommer du inte kunna skicka jumboframes ut mot Internet