Snabbare än 1 Gbit/s hemma (Bahnhof 10 Gbit/s, LAN på 10G m.m.)

Permalänk
Medlem
Skrivet av Soir:

DAC är definitivt "enklare" än fibermoduler och fiber. Vi har inom datacentret knappt behövt byta ut DAC:ar, medan fiberpatchar och fibermoduler kan rätt enkelt sabbas.

DAC:ar kan man även få tag på jäkla billigt på eBay.

I våra DC har vi gått ifrån DAC till fiber och TP (vid "nyinstallation") då det är mer stök och bök att dra samt byta DAC-kablagen "snyggt". Dessutom kör vi olika "smaker" i ändarna som DAC'en ska funka med. Vissa leverantörer supportar endast sina egna SFP+-moduler och då blir det alltid bök på ena sidan av kablaget. Men som alltid - Smaken är som baken :p. Jag säger inte fiber eller TP är bättre än DAC, men tänkte bara på att lyfta en annan aspekt på kablageval.

Visa signatur

stationär 2022: ryzen 7900x@65W, asus strix x670e-f, 32GB, rx6700xt
stationär 2012: i5-3570k@stock, asus p8z77-v le, 16GB, rtx2660s
laptop: ryzen 4800H, 16GB, rtx2060 (Legion 5 15ARH05H)
laptop: i5-2467M, 8GB
nas/server: i5-8400, asus WS C246M PRO/SE, 48GB

Permalänk
Medlem
Skrivet av mille74:

I våra DC har vi gått ifrån DAC till fiber och TP (vid "nyinstallation") då det är mer stök och bök att dra samt byta DAC-kablagen "snyggt". Dessutom kör vi olika "smaker" i ändarna som DAC'en ska funka med. Vissa leverantörer supportar endast sina egna SFP+-moduler och då blir det alltid bök på ena sidan av kablaget. Men som alltid - Smaken är som baken :p. Jag säger inte fiber eller TP är bättre än DAC, men tänkte bara på att lyfta en annan aspekt på kablageval.

Det köper jag absolut!

Vår erfarenhet har varit att olika tillverkare är känsligare för diverse SFP+ fibermoduler medan DAC:ar tenderar att ha högre sannolikhet för att fungera.

För TS hade jag börjat överväga att slänga ett öga mot eBay än att köpa nytt.

Vår uppkoppling hemma (1 Gbps) är rejält segare än större delen av vårt intranät hemma (40/10/2.5 Gbps).
4x40 Gbps mellan SAN och compute. 40 Gbps mellan core-switch och arbetsdatorer. 10 Gbps mot mediaswitcharna. 2.5 Gbps mot accesspunkten. 1 Gbps mot resterande enheter som klarar av 1 Gbps. 100 Mbps övriga, så som TV (klarar inte mer än Fast Ethernet), samt kameror (återigen, Fast Ethernet interface).

Jag körde tidigare 100 Gbps mellan SAN och compute, men har sedan dess gått över till att köra allt via mina 40 Gbps-switchar.

Permalänk
Hedersmedlem
Skrivet av mille74:

Jag hade personligen undvikit DACkablage då jag tycker det är för otympligt. Jag hade antingen gått på fiber eller tp (cat6a eller senare). Det DACkablage jag jobbat med har varit tämligen styvt, och att sfp+-modulerna sedan sitter fastsvetsade gör eventuell felsökning av kablage/konnektivitet svårare.

Jag känner väl till DAC-kablage. Har jobbat med det på jobbet, och som det ser ut hemma hos mig så vore DAC-kablage inte ett problem.

TP vore egentligen mitt förstahandsval hemma, men att betala 6000 kr för en kompakt switch känns inte rimligt. Alternativt betala 2500 kr för en stor klump. Det är ju ingen särskilt intressant teknik egentligen.

Skrivet av aragon:

jag kör 10gb hemma, men bara till vissa saker, server,nas och min speldator. router/switch köper du tex https://www.dustinhome.se/product/5011105230/cloud-router-swi...

köpte min för 1700kr på ebay

Kan den där agera som "router" i "hemmarouter"-bemärkelse också? Alltså, att köra NAT och så vidare. Och i så fall med full genomströmning?

Skrivet av anon265474:

Är man nätverksnörd så har man givetvis ett rack hemma, right? Då ryms valfri switch, t.ex. en Netgear XS712Tv2 eller något annat kul, köpt begagnat från eBay.

Rack hemma har jag aktivt tagit ett val i att jag inte vill ha. Samma sak med server. Det har jag nog av på jobbet! Hemma ska det vara kompakt, fläktlöst, okomplicerat och avskalat.

Jag tycker därför faktiskt att det är mer intressant med kompakta konsumentprylar med 10G än att köpa företagsgrejer på Ebay.

Hade jag velat bygga 10G hemma med "företagsprylar" så vet jag redan hur man gör. Men det är ju ingen sport liksom att skjuta mygg med kanoner.

Skrivet av mille74:

I våra DC har vi gått ifrån DAC till fiber och TP (vid "nyinstallation") då det är mer stök och bök att dra samt byta DAC-kablagen "snyggt". Dessutom kör vi olika "smaker" i ändarna som DAC'en ska funka med. Vissa leverantörer supportar endast sina egna SFP+-moduler och då blir det alltid bök på ena sidan av kablaget. Men som alltid - Smaken är som baken :p. Jag säger inte fiber eller TP är bättre än DAC, men tänkte bara på att lyfta en annan aspekt på kablageval.

Japp, fiber är mycket smidigare än DAC om man ska dra många kablar. Det tar extremt mycket mindre plats! Men bara för att det passar bra i ett rack med 10-100 kablar betyder inte att det är lämpligt på golvet längs väggen i ett vardagsrum. Visst, det finns robustare fiberkablar, tänker t.ex. på det som Direktronik kallar för "villapatch". Men det slutar med att lägga en massa pengar på transceivers.

TP är ju som sagt mitt förstahandsval, men där fanns inte switchar för i bra storlek och pris.

Skrivet av Soir:

Det köper jag absolut!

Vår erfarenhet har varit att olika tillverkare är känsligare för diverse SFP+ fibermoduler medan DAC:ar tenderar att ha högre sannolikhet för att fungera.

För TS hade jag börjat överväga att slänga ett öga mot eBay än att köpa nytt.

Japp. Tillverkare är mycket mindre kräsna på att DAC:ar ska vara "kodade" med rätt tillverkare, eftersom man annars stöter på ett olösligt problem. Om man kopplar en utrustning från tillverkare A till en från tillverkare B så kan ju inte båda tillverkarna kräva att man använder "deras" DAC om det hela ska funka... fast vissa tillverkare är ju mer kinkiga än andra. Har HPE Aruba 8325 jag roddar på jobbet som inte accepterar tredjeparts-DAC:ar. Hamnade i en situation där jag inte fick HP:s DAC:ar att funka mellan en HP-server och en HP-switch. (Detta förvisso i 25G...) Men där bytte HPE ut till fiber-transceivrar och kablar gratis för oss eftersom de själva insåg hur absurd situationen var.

Hur som, kör man fiber-transceivrar så kör man lämpligen tillverkarnas egna SFP:er i vardera ände för garanterad kompatibilitet.

Permalänk
Medlem
Skrivet av pv2b:

Jag känner väl till DAC-kablage. Har jobbat med det på jobbet, och som det ser ut hemma hos mig så vore DAC-kablage inte ett problem.

TP vore egentligen mitt förstahandsval hemma, men att betala 6000 kr för en kompakt switch känns inte rimligt. Alternativt betala 2500 kr för en stor klump. Det är ju ingen särskilt intressant teknik egentligen.

Kan den där agera som "router" i "hemmarouter"-bemärkelse också? Alltså, att köra NAT och så vidare. Och i så fall med full genomströmning?

Nix, deras L3-prestanda suger rakt av.

Skrivet av pv2b:

Rack hemma har jag aktivt tagit ett val i att jag inte vill ha. Samma sak med server. Det har jag nog av på jobbet! Hemma ska det vara kompakt, fläktlöst, okomplicerat och avskalat.

Jag tycker därför faktiskt att det är mer intressant med kompakta konsumentprylar med 10G än att köpa företagsgrejer på Ebay.

Hade jag velat bygga 10G hemma med "företagsprylar" så vet jag redan hur man gör. Men det är ju ingen sport liksom att skjuta mygg med kanoner.

Japp, fiber är mycket smidigare än DAC om man ska dra många kablar. Det tar extremt mycket mindre plats! Men bara för att det passar bra i ett rack med 10-100 kablar betyder inte att det är lämpligt på golvet längs väggen i ett vardagsrum. Visst, det finns robustare fiberkablar, tänker t.ex. på det som Direktronik kallar för "villapatch". Men det slutar med att lägga en massa pengar på transceivers.

TP är ju som sagt mitt förstahandsval, men där fanns inte switchar för i bra storlek och pris.

Japp. Tillverkare är mycket mindre kräsna på att DAC:ar ska vara "kodade" med rätt tillverkare, eftersom man annars stöter på ett olösligt problem. Om man kopplar en utrustning från tillverkare A till en från tillverkare B så kan ju inte båda tillverkarna kräva att man använder "deras" DAC om det hela ska funka... fast vissa tillverkare är ju mer kinkiga än andra. Har HPE Aruba 8325 jag roddar på jobbet som inte accepterar tredjeparts-DAC:ar. Hamnade i en situation där jag inte fick HP:s DAC:ar att funka mellan en HP-server och en HP-switch. (Detta förvisso i 25G...) Men där bytte HPE ut till fiber-transceivrar och kablar gratis för oss eftersom de själva insåg hur absurd situationen var.

Hur som, kör man fiber-transceivrar så kör man lämpligen tillverkarnas egna SFP:er i vardera ände för garanterad kompatibilitet.

Jag rekommenderar nog en kombination av HN8255WS och något likt CRS305. Koppla det du kan koppla med fiber/DAC:ar, resten som behöver 10G hade jag nog kört via Mikrotiks S+RJ10. De modulerna kostar en fin peng (~600 SEK styck), men totalt är det nog billigaste vägen.

Jag körde tidigare 2st i en CRS305. De blir VÄLDIGT varma vid 10G och rekommenderas ej i trånga utrymmen eller fler än 2 per CRS305. Vi snackar 90+ grader, behövde slänga på en fläkt.

För mitt egna bruk så kör jag en bare metal-server på 1U som kan routa ~100 Gbps, inte för att jag behöver det ut mot Internet. Ifall jag hade varit ute efter liknande prestanda men i mindre formfaktor, så skulle jag nog kikat på E300-9D från Supermicro. De kostar, men CPU:erna med AVX512 kan klara av en jäkla massa packet per sekund om man kör med DPDK in i något likt VPP.

För min egen del älskar jag att ha rack hemma, med nätverksutrustning och servrar. Jag gillar att labba med allt möjligt i det, även om jag har exakt allt som behövs på jobbet och mycket mer därtill. Det finns en charm med att det är mitt och jag kan fysiskt bygga om hur jag än önskar vilken dag och tid på dygnet som helst genom att bara gå in i rummet bredvid.

Permalänk
Hedersmedlem
Skrivet av Soir:

Nix, deras L3-prestanda suger rakt av.

Det var det jag misstänkte. Hade vart för billigt att vara sant annars!

Skrivet av Soir:

Jag körde tidigare 2st i en CRS305. De blir VÄLDIGT varma vid 10G och rekommenderas ej i trånga utrymmen eller fler än 2 per CRS305. Vi snackar 90+ grader, behövde slänga på en fläkt.

I det här fallet skulle burken ligga fritt alternativt väggmonteras. Går det ens med den modellen? När du säger 90 grader, vad är det? Temperatur på chassi? CPU? Transceivrar? Höljet? Jag är inte supernojig över interna temperaturer så länge det ligger inom spec och det inte innebär någon katastrofal prestandaförsämring.

Skrivet av Soir:

För mitt egna bruk så kör jag en bare metal-server på 1U som kan routa ~100 Gbps, inte för att jag behöver det ut mot Internet. Ifall jag hade varit ute efter liknande prestanda men i mindre formfaktor, så skulle jag nog kikat på E300-9D från Supermicro. De kostar, men CPU:erna med AVX512 kan klara av en jäkla massa packet per sekund om man kör med DPDK in i något likt VPP.

Spännande! Det är ju ändå en intressant idé att bygga en server med typ ett 4x10G-kort (från eBay) och lösa allt i mjukvara, så att den får agera router och hemmaserver i en burk. Det har ju fördelen att bli en extremt kompakt och prisvärd lösning jämfört med en massa diskreta komponenter, och dessutom mer hackbart och mer funktionellt.

Då skulle jag alltså populera 10G-kortet med 1 SFP+ för fiber till ISP, 2 st DAC-kablar till respektive PC och en ledig för framtida expansion. En 1G-port skulle man kunna brygga in också som uplink till en trådlös AP (alternativt köra någon slags mjukvaru-AP med att WiFi-kort).

Hade aldrig kört en sån lösning på jobbet, men det är också lite av charmen med den idén.

Blir nog dock skapligt jobbigt att felsöka när det strular...

Permalänk
Medlem
Skrivet av pv2b:

I det här fallet skulle burken ligga fritt alternativt väggmonteras. Går det ens med den modellen? När du säger 90 grader, vad är det? Temperatur på chassi? CPU? Transceivrar? Höljet? Jag är inte supernojig över interna temperaturer så länge det ligger inom spec och det inte innebär någon katastrofal prestandaförsämring.

Jadå, det finns hål för att väggmontera!
90+ (94-95 som högst) är uppmätt av transceivern (DDM).

Spec lyder: "The operating temperature is 0 to +70 C, but the transceiver itself can heat up to 90 C"

Skrivet av pv2b:

Spännande! Det är ju ändå en intressant idé att bygga en server med typ ett 4x10G-kort (från eBay) och lösa allt i mjukvara, så att den får agera router och hemmaserver i en burk. Det har ju fördelen att bli en extremt kompakt och prisvärd lösning jämfört med en massa diskreta komponenter, och dessutom mer hackbart och mer funktionellt.

Då skulle jag alltså populera 10G-kortet med 1 SFP+ för fiber till ISP, 2 st DAC-kablar till respektive PC och en ledig för framtida expansion. En 1G-port skulle man kunna brygga in också som uplink till en trådlös AP (alternativt köra någon slags mjukvaru-AP med att WiFi-kort).

Hade aldrig kört en sån lösning på jobbet, men det är också lite av charmen med den idén.

Blir nog dock skapligt jobbigt att felsöka när det strular...

Det kan man absolut göra. Jag föredrog att bryta ur till att köra det BM för att se till att resurserna är dedikerade, men man kan även lösa liknande med virtuella funktioner för NIC:et, och sedan lägga det vidare mot LXC/Docker eller virtuella maskiner. Kör du dedikerade portar så är det nog bättre med passthrough av en PF, så dedikerar du en hel port till en specifik instans precis som du beskriver.

Jag har kört ovan lösning, och även i virtuell form, sedan 2018. De enda gångerna jag har behövt gå in och pilla är när jag har bestämt mig för att bygga om det från t.ex. fysisk till virtuell form. I övrigt tuggar den på utan att orsaka någonsin problem.

Jag skickar även sessionstrafiken via IPFIX till en virtuell instans av ELK-stack så kan jag hålla koll på vad som rör sig in och ut ur nätet.

Vi kör fysisk AP men som hanteras av WLC från Cisco, även den virtuell.

Det vore intressant att bygga om allt i hemmet så det är centraliserad och nästintill helt virtualiserat.

Kanske även köra Cisco FEX:ar istället för switchar runt om i hemmet. Det behövs rimligen inte så mycket switchingkapacitet vid varje enskild del.

Fruktansvärt många som kör software-defined allt nuförtiden i Enterprise, åtminstone de bolag som har resurserna internt.

Vi kör väldigt mycket trafik i mjukvara på servrar istället för routrar med dedikerad ASIC. Det öppnar för många möjligheter och det bygger vi vidare på. Servrarna kan i praktiken routa flera hundra gigabit per sekund. Vi slår i taket för hur mycket som kan skyfflas över PCI-Express innan övriga delarna säger ifrån.

Permalänk
Medlem
Skrivet av Soir:

Nix, deras L3-prestanda suger rakt av.

Jag rekommenderar nog en kombination av HN8255WS och något likt CRS305. Koppla det du kan koppla med fiber/DAC:ar, resten som behöver 10G hade jag nog kört via Mikrotiks S+RJ10. De modulerna kostar en fin peng (~600 SEK styck), men totalt är det nog billigaste vägen.

Jag körde tidigare 2st i en CRS305. De blir VÄLDIGT varma vid 10G och rekommenderas ej i trånga utrymmen eller fler än 2 per CRS305. Vi snackar 90+ grader, behövde slänga på en fläkt.

För mitt egna bruk så kör jag en bare metal-server på 1U som kan routa ~100 Gbps, inte för att jag behöver det ut mot Internet. Ifall jag hade varit ute efter liknande prestanda men i mindre formfaktor, så skulle jag nog kikat på E300-9D från Supermicro. De kostar, men CPU:erna med AVX512 kan klara av en jäkla massa packet per sekund om man kör med DPDK in i något likt VPP.

För min egen del älskar jag att ha rack hemma, med nätverksutrustning och servrar. Jag gillar att labba med allt möjligt i det, även om jag har exakt allt som behövs på jobbet och mycket mer därtill. Det finns en charm med att det är mitt och jag kan fysiskt bygga om hur jag än önskar vilken dag och tid på dygnet som helst genom att bara gå in i rummet bredvid.

hade du en CRS305-1G-4S+IN? min är hur sval som helst, sitter i ett trång utrymme, (ett litet rack med övriga saker)
kör 10gb på alla 4 portar.

Visa signatur

Om du lär dig älska din smärta kommer du känna dig älskad var dag.

Permalänk
Medlem
Skrivet av pv2b:

Jag känner väl till DAC-kablage. Har jobbat med det på jobbet, och som det ser ut hemma hos mig så vore DAC-kablage inte ett problem.

TP vore egentligen mitt förstahandsval hemma, men att betala 6000 kr för en kompakt switch känns inte rimligt. Alternativt betala 2500 kr för en stor klump. Det är ju ingen särskilt intressant teknik egentligen.

Kan den där agera som "router" i "hemmarouter"-bemärkelse också? Alltså, att köra NAT och så vidare. Och i så fall med full genomströmning?

Rack hemma har jag aktivt tagit ett val i att jag inte vill ha. Samma sak med server. Det har jag nog av på jobbet! Hemma ska det vara kompakt, fläktlöst, okomplicerat och avskalat.

Jag tycker därför faktiskt att det är mer intressant med kompakta konsumentprylar med 10G än att köpa företagsgrejer på Ebay.

Hade jag velat bygga 10G hemma med "företagsprylar" så vet jag redan hur man gör. Men det är ju ingen sport liksom att skjuta mygg med kanoner.

Japp, fiber är mycket smidigare än DAC om man ska dra många kablar. Det tar extremt mycket mindre plats! Men bara för att det passar bra i ett rack med 10-100 kablar betyder inte att det är lämpligt på golvet längs väggen i ett vardagsrum. Visst, det finns robustare fiberkablar, tänker t.ex. på det som Direktronik kallar för "villapatch". Men det slutar med att lägga en massa pengar på transceivers.

TP är ju som sagt mitt förstahandsval, men där fanns inte switchar för i bra storlek och pris.

Japp. Tillverkare är mycket mindre kräsna på att DAC:ar ska vara "kodade" med rätt tillverkare, eftersom man annars stöter på ett olösligt problem. Om man kopplar en utrustning från tillverkare A till en från tillverkare B så kan ju inte båda tillverkarna kräva att man använder "deras" DAC om det hela ska funka... fast vissa tillverkare är ju mer kinkiga än andra. Har HPE Aruba 8325 jag roddar på jobbet som inte accepterar tredjeparts-DAC:ar. Hamnade i en situation där jag inte fick HP:s DAC:ar att funka mellan en HP-server och en HP-switch. (Detta förvisso i 25G...) Men där bytte HPE ut till fiber-transceivrar och kablar gratis för oss eftersom de själva insåg hur absurd situationen var.

Hur som, kör man fiber-transceivrar så kör man lämpligen tillverkarnas egna SFP:er i vardera ände för garanterad kompatibilitet.

jag kör en unifi router innan denna då jag bara har 1x1 gig in, jag ska uppgradera till udm pro inom en snar framtid för att uppgradera till 10gb internet. värme problem som man skriv om ovan har jag inte märkt av alls på denna, jag kör dock den bryggat läge då jag bara ville ha ett smidigt sätt att föra över x TB data i veckan. min tanke är att se om jag hittar en 8 portad version av denna och sedan sätta 4 portade i media luckor så man endast behöver ha 1 fiber patch till varje media lucka och sedan därifrån sprida nätverket

Visa signatur

Om du lär dig älska din smärta kommer du känna dig älskad var dag.

Permalänk
Medlem
Skrivet av aragon:

hade du en CRS305-1G-4S+IN? min är hur sval som helst, sitter i ett trång utrymme, (ett litet rack med övriga saker)
kör 10gb på alla 4 portar.

Det är inte CRS305 som är varm i sig, utan S+RJ10-modulerna. Kör du dem också? Vad ligger temp på?

CRS305 och CRS309 uppvisade samma temperatur på samtliga S+RJ10-moduler.

Kör man någon icke-LR-modul eller DAC så är det hur lugnt som helst LR-moduler blir inte supervarma, men kan kliva upp i ~50 grader. Övriga ligger runt 40.

Permalänk
Medlem
Skrivet av pv2b:

Ah, så 10G på LAN:et bara? Eller har du en router med 10G också? Tänkte om du hade några erfarenheter där.

Tyvärr inte, 10Gbit internt kan jag motivera men 10Gbit externt har jag inget direkt användningsområde för. Jag menar, jag skulle inte tacka nej om det landade i mitt knä, men så länge jag har 100/100 utåt är det hanterbart. Föreningen skall byta leverantör i vinter, så då kanske jag uppgraderar till deras maximum 1gbit och kan titta tillbaka på detta uttalande och undra hur jag någonsin kunde vara så dum att tycka att 100/100 räcker.

Skrivet av pv2b:

Det låter som att du borde backa upp oftare!

En gång i timmen, men jag gör det till mina raidade hårddiskar - och där toppar hastigheten ut på 4-5 Gbit tyvärr. SSD'rna används mest för några VM's och vissa spel som går bra att köra från nätverket. SSD-raiden är mest för att det är kul, samt att den finns där om jag vill testa något innan jag bestämmer/får för mig för att spendera ohyggliga mängder pengar på en större SSD-raid.

Permalänk
Medlem
Skrivet av Soir:

Det är inte CRS305 som är varm i sig, utan S+RJ10-modulerna. Kör du dem också? Vad ligger temp på?

CRS305 och CRS309 uppvisade samma temperatur på samtliga S+RJ10-moduler.

Kör man någon icke-LR-modul eller DAC så är det hur lugnt som helst LR-moduler blir inte supervarma, men kan kliva upp i ~50 grader. Övriga ligger runt 40.

jag använder SFP-10G-SR, 10Gb/s SFP+

Visa signatur

Om du lär dig älska din smärta kommer du känna dig älskad var dag.

Permalänk
Medlem
Skrivet av aragon:

jag använder SFP-10G-SR, 10Gb/s SFP+

SR-moduler brukar inte generera mycket värme alls, så jag förstår att det är svalt då

S+RJ10 är en SFP+ till 10GBASE-T modul, och 10GBASE-T kan behöva en jäkla massa ström, vilket resulterar i hög värmeutveckling för en så pass liten formfaktor.