Dags att uppgradera till 10 GbE?

Permalänk
Hedersmedlem

Dags att uppgradera till 10 GbE?

Jag köpte min första Gigabit-swtich i mitten på 00-talet och har kört nästan genomgående Gigabit hemma sedan dess. Förr i tiden när diskarna låg på cirka 50 MB/s under ideala förhållanden var Gigabit fullt tillräckligt även för lite större RAID-volymer. Men idag kan en enskild disk bursta ut mer än vad en enkel Gigabit-anslutning kan erbjuda, varpå jag har kollat på alternativ för att snabba upp det hela lite.

Det ska främst användas i serverracket och då främst filserver till att börja med. Eftersom det finns kablar upp till 10 meter kan jag även tänka mig att skaffa det på min workstation.

Jag har kikat runt på alternativ men de flesta kostar helt enkelt skjortan, och min budget är för tillfället relativt snål. Jag har dock hittat en lite äldre 10 GbE-standard som kan fungera bra - CX4. Det är en av de första 10 GbE-standarder och använder sig av lite specialkablage (samma som InfiniBand).

Efter att ha sökt runt lite verkar det som om det finns hyfsat bra drivrutiner till Windows Server (som körs på filservern) medan det finns sämre stöd för tex FreeBSD (som min router baseras på). En switch med CX4 på Ebay verkar gå på cirka 2000-3000 kronor där man även får 48 Gbit-anslutningar vilket jag tycker verkar som ett bra pris då jag behöver uppgradera min huvudswitch hemma ändå. Nätverkskorten går på cirka 800-2000 kronor, de flesta har PCIe x8 vilket jag har ledigt på både filservern och min workstation.

Men frågan är - är det någon som kan ge tips/hints på om det är en vettig idé? 10 GbE för konsumenter verkar dröja och de flesta verkar nöjda med Gigabit-hastighet vilket för mig är extremt slött. En uppgradering med switch och två nätverkskort går på cirka 4000 kronor vilket i min bok verkar prisvärt. Är det någon som har erfarenhet av CX4 som kan dela med sig av erfarenhet?

Bilder:

CX4-kabel:

CX4-PCIe-kort:

Baksidan av en 48p Gbit-switch med CX4-portar:

Visa signatur

SWECLOCKERS.COM :: If Quake was done today ::
WS: Gigabyte Z690 UD DDR5 :: Core i5 12600K :: 32 GB RAM :: Geforce RTX 3060 Ti :: 10 GbE NIC :: AOC C32G1 32" :: Seagate FireCuda 530 1TB :: Deepcool Matrexx 55
WiFi: Grandstream GWN7660 :: GWN7630LR :: GWN7662 :: GWN7660LR

Permalänk
Medlem

Kommer sätta 10GbE nästa gång jag uppgraderar min server (och nätverk), men har inte kommit längre än så i planerna.

Visa signatur

i9 11900k ||32GB 4000MHz CL15||ASUS ROG STRIX Z590-E||Noctua NH-D15s
Intel Arc a750 ||Samsung 980 pro|| EVGA Supernova G3 850W
Asus xonar essence STX|| Lian-Li O11 Dynamic XL
Asus VG27AQ 165Hz IPS, Sennheiser HD650, Logitech g502 Hero, fUnc f30r, Vortex TAB90M, Audio-Technicha ATR2500x-USB
Server: x10SL7-F, Xeon E3 1230v3, 32GB Samsung ECC ram, 6x3TB WD RED, FD Node 804.

Permalänk
Medlem

kommer dröja innan jag känner behov av 10GbE. Behöver jag mer än 1Gb så kör jag en LACP trunk så får jag så mkt bandbredd jag behöver.

Permalänk
Hedersmedlem
Skrivet av =JoNaZ=:

kommer dröja innan jag känner behov av 10GbE. Behöver jag mer än 1Gb så kör jag en LACP trunk så får jag så mkt bandbredd jag behöver.

Problemet är att jag har räknat ut att kostnaden för mig åtminstone blir ungefär samma med trunkar som med 10 GbE. 2-4 portars Intel-nätverkskort kostar en hel del pengar och det gör även en 48-portars Gbit-switch.

Vad kör du för nätverkskort/OS föresten? Jag kör bara LACP mellan switchar hemma än så länge.

Visa signatur

SWECLOCKERS.COM :: If Quake was done today ::
WS: Gigabyte Z690 UD DDR5 :: Core i5 12600K :: 32 GB RAM :: Geforce RTX 3060 Ti :: 10 GbE NIC :: AOC C32G1 32" :: Seagate FireCuda 530 1TB :: Deepcool Matrexx 55
WiFi: Grandstream GWN7660 :: GWN7630LR :: GWN7662 :: GWN7660LR

Permalänk
Medlem

Får man fråga vad det är du egentligen ska använda 10GbE till i hemmasyfte?

Permalänk
Rekordmedlem

Jag tror inte det blir vanligt i hemmet med "10Gbit kabelnätverk" det kommer flera andra tekniker som är mer användbara hemma, tex 802.11ad, usb superspeed och thunderbolt, men framförallt så tror jag att 802.11ad är intressant teknik eftersom den lär passa utmärkt på alla portabla enheter, om framtiden är i plattor och kraftfull telefoner så lär kommunikationen ske via 802.11ad standarden.

Visa signatur

R5 5600G, Asus ROG STRIX X470-F Gaming, WD SN850X 2TB, Seasonic Focus+ Gold 650W, Aerocool Graphite v3, Tittar på en Acer ET430Kbmiippx 43" 4K. Lyssnar på Behringer DCX2496, Truth B3031A, Truth B2092A. Har också oscilloskop, mätmikrofon och colorimeter.

Permalänk
Medlem
Skrivet av Sir. Haxalot:

Får man fråga vad det är du egentligen ska använda 10GbE till i hemmasyfte?

1 ssd i datorn och raidade diskar i servern gör att 1gbit nätverk blir flaskhalsen vid filöverföringar.

Skrivet av =JoNaZ=:

kommer dröja innan jag känner behov av 10GbE. Behöver jag mer än 1Gb så kör jag en LACP trunk så får jag så mkt bandbredd jag behöver.

Fast man kan väll inte få mer än 1gbit per session ändå även om det är lacp?

Permalänk
Medlem
Skrivet av jocke92:

1 ssd i datorn och raidade diskar i servern gör att 1gbit nätverk blir flaskhalsen vid filöverföringar.

Fast man kan väll inte få mer än 1gbit per session ändå även om det är lacp?

Jo, men det är ju väldigt sällan man verkligen behöver mer än de ~100MB/s du får ut i ren transfer speed. Oftast så är det ju faktiskt IOPS man vill åt.

Permalänk
Medlem

Jag är också nyfiken på vad som görs för att behöva 10Gbit.

Visa signatur

"When I get sad, I stop being sad and be awsome instead, true story."

Permalänk
Medlem
Skrivet av jocke92:

1 ssd i datorn och raidade diskar i servern gör att 1gbit nätverk blir flaskhalsen vid filöverföringar.

Fast man kan väll inte få mer än 1gbit per session ändå även om det är lacp?

Stämmer bra det.

Visa signatur

Medlem #14

Permalänk
Medlem

Vad man behöver det till? Kopiera filer på kortare tid naturligtvis...

Har lagt "snabbare-än-gigabit"-projektet på is i väntan på lägre priser

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem
Skrivet av JenzA:

Stämmer bra det.

I så fall kan man ju köra TCP Multipath (http://multipath-tcp.org/pmwiki.php?n=Main.50Gbps).

Och har man pengarna, intresset och befintlig utrustning så behöver man inte motivera ytterligare hastigheter

Permalänk
Medlem

Fiber?
Jag kör 4 och 8 Gbit. Kan du dra så långt du vill om du inte bor i ett hus som är flera km

Visa signatur

.: Learn the system, Play the system, Break the system :.

Permalänk
Medlem

Nej, fy fan för CX4, tjockare kablar får man leta efter.

Men vill du köra det på FreeBSD så fungerar Myricom Myri10GE utan problem (kanske något från Intel också, kommer inte ihåg vad jag testat...).

Visa signatur

Main Core i9-9900k | NH-D15 | ROG STRIX Z390-F | 16GB DDR4 3200 MHz LPX | STRIX 2080 Ti GAMING OC | Samsung 970 EVO 1TB + Toshiba XG5 256GB | RM650X | R5 Blackout
HTPC/Barndator: Core i5-8400 | ASUS PRIME B360M-A | 16GB DDR4 2666 MHz | STRIX GTX 1070 OC | 2 x Toshiba XG5 256GB
Extradator: Core i7 870 | ASRock H55M-LE | 8GB 1600 MHz | Intel 320 120GB | HD6950 2GB | VX 550W

Permalänk
Medlem
Skrivet av Kr^PacMan:

Problemet är att jag har räknat ut att kostnaden för mig åtminstone blir ungefär samma med trunkar som med 10 GbE. 2-4 portars Intel-nätverkskort kostar en hel del pengar och det gör även en 48-portars Gbit-switch.

Vad kör du för nätverkskort/OS föresten? Jag kör bara LACP mellan switchar hemma än så länge.

Du behöver inte fler portar på samma nic för att bundla.

http://www.netgear.com/business/products/switches/prosafe-plu...

Går på ca 7000kr. Nic går på 2-3000. Relativt billigt ändå.

Visa signatur

CCNP

Permalänk
Avstängd

Faktum är att infiniband är billigare än 10GBit ethernet. På den här siten finns mycket information om just detta:
http://www.servethehome.com/configure-ipoib-mellanox-hcas-ubu...

Det visar sig att 10GBit blir snabbt dyrt. Men om du kör infiniband och kopplar direkt från dator till dator med infiniband kort och skippar switchen (som kan vara dyr) så kan du komma undan billigt.

Som jag har förstått det, så är all 10 gbit ethernet hårdvara dyr, men infiniband korten är billiga men switchen är dyr. Och infiniband har lägre latency.

Permalänk

Hm, vad har ni för servrar? 10GBit är ju ca 125MB/s, min diskar i servern klarar inte skyffla så mycket data. Nu kör jag förvisso bara en fysisk server och några enstaka klienter på mitt LAN, men mitt GBit-LAN har aldrig varit svagaste länken.

Visa signatur

Workstation: Intel Core i5-10400 | Gigabyte B460M DS3H | 16GB DDR4 | Geforce GTX1660 SUPER 6GB |
Server: Dell R730xd | Intel Xeon E5-2640 | 64GB DDR3 ECC RAM | Dell VMware vSphere ESXi 6.5
NAS: Synology 212J 2x4TB, Synology 218play 2x4TB | MSMCP CCNA1

Permalänk
Medlem
Skrivet av Delarium.:

Hm, vad har ni för servrar? 10GBit är ju ca 125MB/s, min diskar i servern klarar inte skyffla så mycket data. Nu kör jag förvisso bara en fysisk server och några enstaka klienter på mitt LAN, men mitt GBit-LAN har aldrig varit svagaste länken.

Jag antar att det är av samma orsak som man överklockar en CPU/GPU. för att man kan.

Visa signatur

ASUS ROG Maximus XII HERO (WI-FI | Intel i9 10900K | Be-Qiet Straight Power 11 1000W | 32GB G.Skills Ripjaws V 4000Mhz | Nvidia RTX 4090 FE | Fractal Design Define-7 Compact | Noctua NH-D15S | Samsung SSD 970 Pro 512GB NVMe (os), Samsung SSD 980 Pro 512GB (Speldisk)|

Permalänk
Medlem
Skrivet av Delarium.:

Hm, vad har ni för servrar? 10GBit är ju ca 125MB/s, min diskar i servern klarar inte skyffla så mycket data. Nu kör jag förvisso bara en fysisk server och några enstaka klienter på mitt LAN, men mitt GBit-LAN har aldrig varit svagaste länken.

Nej, det är 1250 MB/s. Jag antar att mitt 6 diskars RAID-2z skulle orka med att putta ca. 1/4 av det en regning dag.

Permalänk
Medlem

Jag är också intresserad av 10GbE. Är man en enthusiast så är man -En vanlig SSD kan ju prestera 1/3 av hastigheten för 10GbE.
När man pratar Överföringshastighet mellan mina klienter och min NAS hemma så är 1GbE-nätverket flaskhalsen.

Visa signatur

//Ekipz

Permalänk
Hedersmedlem
Skrivet av Mr_Lazy:

Fiber?
Jag kör 4 och 8 Gbit. Kan du dra så långt du vill om du inte bor i ett hus som är flera km

Japp fiber vore en hyfsat smidig lösning, det är ett av alternativen jag har, problemet är att jag jag minst måste ha en ny switch med SFP+ då SFP bara stödjer upp till 1 Gbit, eller hur?

Skrivet av mfm:

Nej, fy fan för CX4, tjockare kablar får man leta efter.

Men vill du köra det på FreeBSD så fungerar Myricom Myri10GE utan problem (kanske något från Intel också, kommer inte ihåg vad jag testat...).

Tjocka kablar har jag inga problem med så länge de erbjuder en hög bandbredd Det gäller dock att det stöds hyfsat bra på FreeBSD men även Windows.

Skrivet av maniak:

Du behöver inte fler portar på samma nic för att bundla.

http://www.netgear.com/business/products/switches/prosafe-plu...

Går på ca 7000kr. Nic går på 2-3000. Relativt billigt ändå.

Japp, 10 GbE över koppar vore ändå det smidigaste alternativet. Men budgeten tillåter inte det i skrivande stund. Kanske ska man vänta 1 år eller så och se om priserna har gått ner åtminstone lite. Jag hittar inget vettigt på t.ex. Ebay heller.

Skrivet av saddam:

Faktum är att infiniband är billigare än 10GBit ethernet. På den här siten finns mycket information om just detta:
http://www.servethehome.com/configure-ipoib-mellanox-hcas-ubu...

Det visar sig att 10GBit blir snabbt dyrt. Men om du kör infiniband och kopplar direkt från dator till dator med infiniband kort och skippar switchen (som kan vara dyr) så kan du komma undan billigt.

Som jag har förstått det, så är all 10 gbit ethernet hårdvara dyr, men infiniband korten är billiga men switchen är dyr. Och infiniband har lägre latency.

Infiniband vore trevligt, men att köra någon sorts seriell kedja tror jag inte är en hållbar lösning i ett nätverk.

Visa signatur

SWECLOCKERS.COM :: If Quake was done today ::
WS: Gigabyte Z690 UD DDR5 :: Core i5 12600K :: 32 GB RAM :: Geforce RTX 3060 Ti :: 10 GbE NIC :: AOC C32G1 32" :: Seagate FireCuda 530 1TB :: Deepcool Matrexx 55
WiFi: Grandstream GWN7660 :: GWN7630LR :: GWN7662 :: GWN7660LR

Permalänk
Avstängd
Skrivet av beh:

Nej, det är 1250 MB/s. Jag antar att mitt 6 diskars RAID-2z skulle orka med att putta ca. 1/4 av det en regning dag.

Du borde komma upp i 300-400MB/sek med din setup, tror jag. Det är ju mer än 1GBit lina.

Permalänk
Hedersmedlem
Skrivet av saddam:

Du borde komma upp i 300-400MB/sek med din setup, tror jag. Det är ju mer än 1GBit lina.

Jag vet inte varför folk är så trögtänkta med standarder ibland. Bara för att man vill uppgradera från 1 Gbit betyder det inte att man kanske har behov av 10 Gbit, snarare behov som sträcker sig över 1 Gbit.

Visa signatur

SWECLOCKERS.COM :: If Quake was done today ::
WS: Gigabyte Z690 UD DDR5 :: Core i5 12600K :: 32 GB RAM :: Geforce RTX 3060 Ti :: 10 GbE NIC :: AOC C32G1 32" :: Seagate FireCuda 530 1TB :: Deepcool Matrexx 55
WiFi: Grandstream GWN7660 :: GWN7630LR :: GWN7662 :: GWN7660LR

Permalänk
Medlem
Skrivet av Kr^PacMan:

Japp fiber vore en hyfsat smidig lösning, det är ett av alternativen jag har, problemet är att jag jag minst måste ha en ny switch med SFP+ då SFP bara stödjer upp till 1 Gbit, eller hur?

Hur många noder ska du koppla upp?
Finns nämligen möjlighet till direktanslutning om antalet är lite mindre

Visa signatur

.: Learn the system, Play the system, Break the system :.

Permalänk
Medlem
Skrivet av saddam:

Du borde komma upp i 300-400MB/sek med din setup, tror jag. Det är ju mer än 1GBit lina.

Ja det är ju det jag säger
1/4 * 1250 MB/s = 312,5 ish.
Vet inte riktigt hur SMB och iSCSI skalar till 10GbE, men arryen borde bli flaskhalsen.

Skickades från m.sweclockers.com

Permalänk
Medlem
Skrivet av Kr^PacMan:

Jag vet inte varför folk är så trögtänkta med standarder ibland. Bara för att man vill uppgradera från 1 Gbit betyder det inte att man kanske har behov av 10 Gbit, snarare behov som sträcker sig över 1 Gbit.

Det är för att arbetet med att standardisera tar lång tid, om den nya standarden inte är förankrad i industrin kommer det inte ut några produkter på marknaden. Det är riktigt att om man antar att den tekniska utvecklingen är men eller mindre konstant så blir kapacitetetskillnaden mellan standarder lika med "time to market", men kommer det nya "standarder" för ofta hinner de inte nå kritisk mognadsnivå och får därmed ingen acceptans. De blir därmed "defactostandarder" istället.

Skickades från m.sweclockers.com

Permalänk
Hedersmedlem
Skrivet av Mr_Lazy:

Hur många noder ska du koppla upp?
Finns nämligen möjlighet till direktanslutning om antalet är lite mindre

Det är inte så värst många inledningsvis, Workstation, Filserver samt ev. router. Ser nog inte direktanslutning som en vettig lösning faktiskt, eftersom de måste kommunicera med de andra burkarna i hemmet.

Skrivet av beh:

Ja det är ju det jag säger
1/4 * 1250 MB/s = 312,5 ish.
Vet inte riktigt hur SMB och iSCSI skalar till 10GbE, men arryen borde bli flaskhalsen.

Skickades från m.sweclockers.com

Enligt min erfarenhet är iSCSI väldigt effektivt jämfört med SMB, men det är fortfarande nog så att de flesta arrays borde bli flaskhalsen och inte anslutningen.

Skrivet av beh:

Det är för att arbetet med att standardisera tar lång tid, om den nya standarden inte är förankrad i industrin kommer det inte ut några produkter på marknaden. Det är riktigt att om man antar att den tekniska utvecklingen är men eller mindre konstant så blir kapacitetetskillnaden mellan standarder lika med "time to market", men kommer det nya "standarder" för ofta hinner de inte nå kritisk mognadsnivå och får därmed ingen acceptans. De blir därmed "defactostandarder" istället.

Skickades från m.sweclockers.com

Det var inte riktigt så jag menade, jag tycker det verkar som att så fort man pratar om 10 GbE blir vissa teknikfientliga med kommentarer som "Man behöver inte 10 GbE, när behöver man överföra med 1250 MB/s?!" och så vidare. Det är bra att standarder tar lång tid, men som teknikintresserad blir man ju smått frustrerad när ens prylar klarar mer än vad gränssnittet de är anslutna till klarar.

Visa signatur

SWECLOCKERS.COM :: If Quake was done today ::
WS: Gigabyte Z690 UD DDR5 :: Core i5 12600K :: 32 GB RAM :: Geforce RTX 3060 Ti :: 10 GbE NIC :: AOC C32G1 32" :: Seagate FireCuda 530 1TB :: Deepcool Matrexx 55
WiFi: Grandstream GWN7660 :: GWN7630LR :: GWN7662 :: GWN7660LR

Permalänk
Medlem
Skrivet av Kr^PacMan:

Det var inte riktigt så jag menade, jag tycker det verkar som att så fort man pratar om 10 GbE blir vissa teknikfientliga med kommentarer som "Man behöver inte 10 GbE, när behöver man överföra med 1250 MB/s?!" och så vidare. Det är bra att standarder tar lång tid, men som teknikintresserad blir man ju smått frustrerad när ens prylar klarar mer än vad gränssnittet de är anslutna till klarar.

Det är bäl snarare så att de flesta tycker att 10GbE är alldeles för dyrt att köpa för att det är coolt och vill kolla så att du är medveten att du inte kommer att märka någon enorm förbättring i real world användning.

Men det är dina pengar, om du vill köra så gör det och då är mitt enda råd att 10GbE över CX4 inte har slagit som standard utan det är SFP+ som gäller.

Skickades från m.sweclockers.com

Permalänk
Medlem
Skrivet av Kr^PacMan:

Det är inte så värst många inledningsvis, Workstation, Filserver samt ev. router. Ser nog inte direktanslutning som en vettig lösning faktiskt, eftersom de måste kommunicera med de andra burkarna i hemmet.

Jag har faktiskt funderat på att köra 10GbE mellan workstation och server utan att ha en switch mellan. Det skulle antaligen göra iSCSI lösningen jag har nu lite mer dräglig. Såklart skulle båda maskinen även vara en del av det "vanliga nätet". Infiniband eller Fibrechannel är inte aktuellt för mig.

Skrivet av Kr^PacMan:

Enligt min erfarenhet är iSCSI väldigt effektivt jämfört med SMB, men det är fortfarande nog så att de flesta arrays borde bli flaskhalsen och inte anslutningen.

Jag delar din uppfattning där, dessutom är det kriminellt enkelt att koma igång med iSCSI. Det är dock en stor synd att OSX inte har någon inbyggd initiator, skulle verkigen uppskatta om det fanns inbyggt i OS.

Skrivet av Kr^PacMan:

Det var inte riktigt så jag menade, jag tycker det verkar som att så fort man pratar om 10 GbE blir vissa teknikfientliga med kommentarer som "Man behöver inte 10 GbE, när behöver man överföra med 1250 MB/s?!" och så vidare. Det är bra att standarder tar lång tid, men som teknikintresserad blir man ju smått frustrerad när ens prylar klarar mer än vad gränssnittet de är anslutna till klarar.

Jag håller med, och det glappet vi upplever nu är olidligt. Men när man ser hur mycket "hack" som måste till, med exempelvis Thunderbolt för att nå 2x10Gigabit på koppar så förstår man varför 10GbE är så dyrt.

Ett exempel på en standard som kunde givit oss 2Gbit är 1000BASE-TX, gärna med asymetrisk link så att man kunde fördela de 2x2 Gbit som en Cat6 skulle kunna ge hur man ville.

Permalänk
Medlem
Skrivet av Kr^PacMan:

Det är inte så värst många inledningsvis, Workstation, Filserver samt ev. router. Ser nog inte direktanslutning som en vettig lösning faktiskt, eftersom de måste kommunicera med de andra burkarna i hemmet.

Då är det ju enkelt. En två-portas FC i routern och varsitt singel-ports FC i workstation och server.

Visa signatur

.: Learn the system, Play the system, Break the system :.