10 gbit nätverkskort, ethernet eller SFP+?

Permalänk
Medlem

Jag lovade ju återkomma med om hur det funkar.

Har nu testat koppla en 2 meters fiber direkt mellan en windows 10 dator och en dator med Arch Linux. testar lite med iperf och får följande när jag ansluter från windows 10 till Linux:

ronny@r1arch ~]$ iperf -s ------------------------------------------------------------ Server listening on TCP port 5001 TCP window size: 85.3 KByte (default) ------------------------------------------------------------ [ 4] local 10.1.1.2 port 5001 connected with 10.1.1.1 port 50062 [ ID] Interval Transfer Bandwidth [ 4] 0.0-10.0 sec 8.04 GBytes 6.90 Gbits/sec [ 5] local 10.1.1.2 port 5001 connected with 10.1.1.1 port 50065 [ 5] 0.0-10.0 sec 8.41 GBytes 7.22 Gbits/sec ^C[ronny@r1arch ~]$ iperf -c 10.1.1.1 ^Cconnect failed: Connection timed out [ronny@r1arch ~]$ iperf -c 10.1.1.1 ------------------------------------------------------------ Client connecting to 10.1.1.1, TCP port 5001 TCP window size: 85.0 KByte (default) ------------------------------------------------------------ [ 3] local 10.1.1.2 port 47882 connected with 10.1.1.1 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 5.50 GBytes 4.72 Gbits/sec [ronny@r1arch ~]$ iperf -c 10.1.1.1 ------------------------------------------------------------ Client connecting to 10.1.1.1, TCP port 5001 TCP window size: 85.0 KByte (default) ------------------------------------------------------------ [ 3] local 10.1.1.2 port 47884 connected with 10.1.1.1 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 5.59 GBytes 4.80 Gbits/sec [ronny@r1arch ~]$ iperf -c 10.1.1.1 ------------------------------------------------------------ Client connecting to 10.1.1.1, TCP port 5001 TCP window size: 85.0 KByte (default) ------------------------------------------------------------ [ 3] local 10.1.1.2 port 47886 connected with 10.1.1.1 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 5.61 GBytes 4.82 Gbits/sec [ronny@r1arch ~]$

Jag får alltså runt 7 Gbit/s åt ena hållet och knappt 5 Gbit/s åt andra hållet men då har jag inte aktiverat jumbo frames. Har pluppat i korten i PCIe x4 portar i båda datorerna (egentligen klarar korten PCIe x8 men jag hade inga sådana lediga). Var tvungen att stänga av Windows brandvägg innan jag lyckades köra iperf som server i windows 10.

Testade aktivera jumbo frames. Så jag ställde in 9216 som jumbo packet i windows 10 drivrutin och mtu=9000 på linux.

[ronny@r1arch ~]$ sudo ip link set eth1 mtu 9000 [sudo] lösenord för ronny: [ronny@r1arch ~]$ ip link show | grep mtu 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 1000 3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP mode DEFAULT group default qlen 1000 [ronny@r1arch ~]$ iperf -s ------------------------------------------------------------ Server listening on TCP port 5001 TCP window size: 85.3 KByte (default) ------------------------------------------------------------ [ 4] local 10.1.1.2 port 5001 connected with 10.1.1.1 port 50214 [ ID] Interval Transfer Bandwidth [ 4] 0.0-10.0 sec 11.1 GBytes 9.53 Gbits/sec [ 5] local 10.1.1.2 port 5001 connected with 10.1.1.1 port 50218 [ 5] 0.0-10.0 sec 10.9 GBytes 9.37 Gbits/sec [ 4] local 10.1.1.2 port 5001 connected with 10.1.1.1 port 50219 [ 4] 0.0-10.0 sec 11.0 GBytes 9.43 Gbits/sec [ 5] local 10.1.1.2 port 5001 connected with 10.1.1.1 port 50222 [ 5] 0.0-10.0 sec 10.9 GBytes 9.35 Gbits/sec [ 4] local 10.1.1.2 port 5001 connected with 10.1.1.1 port 50224 [ 4] 0.0-10.0 sec 10.8 GBytes 9.25 Gbits/sec [ 5] local 10.1.1.2 port 5001 connected with 10.1.1.1 port 50227 [ 5] 0.0-10.0 sec 11.1 GBytes 9.56 Gbits/sec ^C[ronny@r1arch ~]iperf -c 10.1.1.1 ------------------------------------------------------------ Client connecting to 10.1.1.1, TCP port 5001 TCP window size: 325 KByte (default) ------------------------------------------------------------ [ 3] local 10.1.1.2 port 48506 connected with 10.1.1.1 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 10.9 GBytes 9.40 Gbits/sec [ronny@r1arch ~]$ iperf -c 10.1.1.1 ------------------------------------------------------------ Client connecting to 10.1.1.1, TCP port 5001 TCP window size: 325 KByte (default) ------------------------------------------------------------ [ 3] local 10.1.1.2 port 48508 connected with 10.1.1.1 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 10.8 GBytes 9.27 Gbits/sec [ronny@r1arch ~]$ iperf -c 10.1.1.1 ------------------------------------------------------------ Client connecting to 10.1.1.1, TCP port 5001 TCP window size: 325 KByte (default) ------------------------------------------------------------ [ 3] local 10.1.1.2 port 48510 connected with 10.1.1.1 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 10.9 GBytes 9.35 Gbits/sec [ronny@r1arch ~]$

Det var bättre!
9,3 - 9,5 Gbit/s
Det får man väl vara nöjd med. Kanske hade blivit lite bättre med 8x PCIe men det är ändå tillräckligt bra.
Nu när jag vet att nätverkskorten funkar på mina klientdatorer så blir nästa steg att koppla fibern i slinga fram och tillbaka till servern så vet jag om fiberna jag dragit genom huset fungerar. Slutligen får jag stoppa i nätverkskort i servern och köra det skarpt.

Permalänk
Medlem

Nu är tråden lite gammal och TS har gjort sitt val, men kan inte IEEE 802.3bz vara ett bra budgetalternativ?

Visa signatur

Räkna ut hur kraftigt nätaggregat du behöver på OuterVision Power Supply Calculator. 500W räcker för de allra flesta vanliga system. Seasonic är bäst. ;) – Elektrostatisk urladdning är ett verkligt problem.
"People who are serious about software should make their own hardware" – Alan Kay
Bojkotta maffian

Permalänk
Medlem

@ronnylov: jag orkar inte läsa hela tråden men jag kör på detta sätt mellan några datorer hemma, dock använder jag kort med dubbla rj45 uttag.
samt i en av Linux servarna har jag satt flera kort med dubbla utgångar, servern delar sedan sin anslutning med dom andra datorerna som är anslutna med korsade kablar. Tänk bara på att dina hårddiskar troligen kommer begränsa hastigheten för dig.
Så du inte slänger ut massa pengar och tror du ska ligga i 10g/s när du kanske hamnar på mycket lägre hastigheter.

//

Visa signatur

Om du lär dig älska din smärta kommer du känna dig älskad var dag.

Permalänk
Permalänk
Medlem

Tycker inte jag slängt jättemycket pengar på mitt 10 Gbit/s nätverk då de begagnade nätverkskorten inte var jättedyra. Visst det börjar komma moderkort med snabbare nätverksinterface men lösa nätverkskort och switchar för 802.3bz är inte särskilt billiga än så länge. Men absolut kan det bli ett prisvärt alternativ i framtiden.
Edit: OK så det är på gång 5Gbit nätverkskort för runt tusenlappen. Hoppas det kommer vettiga switchar också.

Jag vet att hårddiskarna inte kommer att kunna maxa 10 Gbit men de maxar 1 Gbit utan problem. Jag har också kollat lite på bonding av flera 1 Gbit portar men det känns krångligare att konfigurera och det går åt så många nätverkskablar. Jag är ute efter att få bort flaskhalsen i nätverket och då kommer flaskhalsarna någon annanstans istället. Jag ska så småningom testa vilka hastigheter jag får i praktiken när hårddiskarna begränsar.

Jag testar bara lite mellan 3 datorer som står relativt nära varandra. Kommer inte dra fiber till husets alla rum. Men tycker att fiber är ganska smidigt trots allt. Tunna smidiga "kablar" som går lätt att gömma bakom golvlister och dörrfoder. Man slipper dessutom elektriska störningar när man kör optiskt. Visst man får inte böja dem för kraftigt men detsamma gäller ju nätverkskablar också. Framför allt är det roligt med 10 Gbit! Vissa gillar trimma sin CPU (ja det är också roligt). De kanske inte behöver det egentligen men tycker det är roligt. Jag vill trimma mitt nätverk