Fibre Channel - frågor/hjälp

Trädvy Permalänk
Medlem
Plats
Kristianstad
Registrerad
Maj 2011

Fibre Channel - frågor/hjälp

Hej!

Någon som är bra på Fibre Channel och kan förklara för oss vänliga men okunniga idioter (i det här fallet åtminstone)?

Så här ser det ut just nu:
Vi har en fysisk lagringsserver som åtta st. andra fysiska servrar använder som lagringsplats, alla servrarna är anslutna via en gigabit-switch, lagringsservern är ansluten med fyra st. nätverkskablar och kör link aggregation (4x1Gb), de åtta andra servrarna är anslutna med varsin nätverkskabel (1Gb). På lagringsservern lagras virtuella maskiner (ESXi -> Windows Server 2016)) som sedan de åtta servrarna kan använda individuellt.
När vi köpte in servrarna (begagnade HP DL380 G5) följde det med fem st. fibre channel-kort (Fujitsu-Siemens 4GBit/s LPE1150) och nu undra jag/vi om vi inte gjort ett litet misstag som använt gigabit-portarna på sevrarna istället för att använda fibre channel-möjligheterna.

Problemet är att ingen riktigt kan fibre channel här, så vi vet inte riktigt hur vi ska gå till väga. Kan någon vänlig själ förbarma sig över oss och ge lite tips och instruktioner för vad som är "best practice" i detta läge? Är det ens lönt att tänka tanken? Vad behöver vi mer för att använda fibre channel (att fler inköp högst troligt behövs förstår vi).
Behöver man fibre channel-switchar t.ex.? Eller kan enheterna anslutas utan switch? Vad behöver servern bestyckas med om vi köper in fler 4GB-FC-kort till de åtta servrarna? Två 4-portars FC-kort kanske?

Sorry för wall of text!

M.v.h.
cbtcp

Trädvy Permalänk
Medlem
Registrerad
Dec 2008

Oj de servrarna börjar bli till åren. Vad har ni för operativsystem p å lagringssymtemet?

Normalt sett med ett SAN är det bara att koppla ihop fiberchannel med switchen och sedan "zona" dem i switchen och ge rättigheter till fiberkortet att läsa utdelningen. Varje fiberkort (eller uttag) har typ en MAC-adress och sedan kan man säga att man grupperar och tillåter vissa enheter att prata.

Skulle kikat på två begagnade fiberswitchar. Bygga två separata nät för redundansen. Du listar ut hur du ska konfigurera det under en eftermiddag, det gjorde jag. Eftersom du har 8:st servrar kan du ju avvara en att labba på och sedan migrera maskinerna emellan när allt är klart

Trädvy Permalänk
Medlem
Plats
Kristianstad
Registrerad
Maj 2011
Skrivet av jocke92:

Oj de servrarna börjar bli till åren. Vad har ni för operativsystem p å lagringssymtemet?

Normalt sett med ett SAN är det bara att koppla ihop fiberchannel med switchen och sedan "zona" dem i switchen och ge rättigheter till fiberkortet att läsa utdelningen. Varje fiberkort (eller uttag) har typ en MAC-adress och sedan kan man säga att man grupperar och tillåter vissa enheter att prata.

Skulle kikat på två begagnade fiberswitchar. Bygga två separata nät för redundansen. Du listar ut hur du ska konfigurera det under en eftermiddag, det gjorde jag. Eftersom du har 8:st servrar kan du ju avvara en att labba på och sedan migrera maskinerna emellan när allt är klart

Tack för svaret!
Det som nämns är en ren labbmiljö. Om en VM går åt skogen spelar det ingen större roll, bara att skapa en ny VM (vi har färdiga VM's på annat håll som helt enkelt kopieras tillbaka till lagringsservern). Redundans behövs inte, det enda som är intressant är kommunikationen mellan servrar och lagring, med stort fokus på hastigheten (vanlig gigabit-anslutning går på knäna som det är nu).
För att ytterligare förtydliga, varje fysisk server har mellan 4-6 VM där 2-3 är igång samtidigt (de andra är då nedstängda), varje VM får 4GB RAM, 30-40GB lagring och två kärnor tilldelat. Åldern på de fysiska servrarna är mer eller mindre perfekt i förhållande pris/prestanda. Särskilt när man betänker att de bara är igång dagtid.
Lagringsservern (någon Supermicro-modell från 2015, 16GB RAM, 2xE5-2600, 12x240GB (RAID0) och kör Windows Server 2016 med enda uppgift att lagra VM:s.

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Skåne
Registrerad
Jun 2002

Ni kommer att behöva skaffa FC-switchar för att kunna koppla ihop allt.
Samt att det ni har idag får ni göra om vad gäller lagringsmässigt då ni behöver sätta upp LUNs som presenteras för servrarna. Varje port på FC-korten har en unik WWN (World Wide Name) adress som man använder för att ge tillgång till LUNen.

Trädvy Permalänk
Medlem
Plats
Kristianstad
Registrerad
Maj 2011
Skrivet av Danne:

Ni kommer att behöva skaffa FC-switchar för att kunna koppla ihop allt.
Samt att det ni har idag får ni göra om vad gäller lagringsmässigt då ni behöver sätta upp LUNs som presenteras för servrarna. Varje port på FC-korten har en unik WWN (World Wide Name) adress som man använder för att ge tillgång till LUNen.

Ok, förstår det som att en FC-switch är ett krav? Att köra utan fungerar alltså inte?
Servrarna ansluter till lagringsservern via iSCSI nu, det funkar alltså inte framöver? Eller är kanske inget bra alternativ?

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Skåne
Registrerad
Jun 2002

Du kan köra utan switch men då blir du begränsad av antalet portar du har på lagringsservern.
Du kan köra både och om du vill.

Trädvy Permalänk
Medlem
Plats
Kristianstad
Registrerad
Maj 2011

Tack för svar!

Vad används kort med dubbla eller quad-portar till egentligen? Finns det någon variant av link aggregation i fibre channel-världen? Har varje port full bandbredd i dubbel/quad?

Trädvy Permalänk
Medlem
Plats
Skåne
Registrerad
Jun 2002

Det som används mest är dual port för att få redundans.
Du lär inte behöva någon link aggregation mindre troligt att du kommer maxa.

Trädvy Permalänk
Medlem
Plats
Kristianstad
Registrerad
Maj 2011
Skrivet av Danne:

Det som används mest är dual port för att få redundans.
Du lär inte behöva någon link aggregation mindre troligt att du kommer maxa.

Grymt tacksam för dina svar!

Menar du att risken att maxa är liten även om man betänker att det är ett tjugotal virtuella servrar som anropar 12xSSD i RAID0 samtidigt via FC i 4GB/s? Isåfall är det fantastiskt

Trädvy Permalänk
Medlem
Plats
Skåne
Registrerad
Jun 2002

Även om du har "anrop" på alla 20st så betyder inte det att du har en hög brandbredd.
Jag har själv kört med 4Gbit kort till mitt SAN och det var 25 VMs.
Uppgraderade dock till 8 pga esxi upphörde med stödet i nyare version när jag uppgraderade det.

Du kan köpa beg 8Gbit kort annars på ebay för en hyfsad slant.

Trädvy Permalänk
Medlem
Plats
Kristianstad
Registrerad
Maj 2011

När du nämner att stödet togs bort, vilket stöd syftar du på då? Stöd för 4Gb? Eller någon specifik hårdvara?

Värt att tänka på i vårt fall är att det faktiskt skrivs och läses ganska intensivt när vi väl har servrarna igång, alla gör typ samma ändringar samtidigt.

Men, men, jag tar dig på ditt ord när du säger att det räcker till

Trädvy Permalänk
Medlem
Registrerad
Dec 2008
Skrivet av cbtcp:

Tack för svar!

Vad används kort med dubbla eller quad-portar till egentligen? Finns det någon variant av link aggregation i fibre channel-världen? Har varje port full bandbredd i dubbel/quad?

Redundans samt att med många servrar så blir det lastbalansering över dem. Inte helt hundra men ett LUN kan bara använda 1 port åt gången.

Skrivet av cbtcp:

När du nämner att stödet togs bort, vilket stöd syftar du på då? Stöd för 4Gb? Eller någon specifik hårdvara?

Värt att tänka på i vårt fall är att det faktiskt skrivs och läses ganska intensivt när vi väl har servrarna igång, alla gör typ samma ändringar samtidigt.

Men, men, jag tar dig på ditt ord när du säger att det räcker till

Nog så att just det kortet inte har något stöd. Finns kort med fasta fibermoduler och även med lösa SFP-moduler. Så beror helt på.

Trädvy Permalänk
Medlem
Plats
Skåne
Registrerad
Jun 2002

Menade att hårdvaran börjar bli så pass gammal så att stödet för den fasas ut.

Trädvy Permalänk
Medlem
Registrerad
Dec 2012

Kör ni verkligen allt storage i RAID0? Det räcker med att en disk pajar så tappar ni alla data.

Trädvy Permalänk
Medlem
Plats
Kristianstad
Registrerad
Maj 2011
Skrivet av Krippa75:

Kör ni verkligen allt storage i RAID0? Det räcker med att en disk pajar så tappar ni alla data.

Läs gärna nedan vad jag skrivit sedan innan:

Citat:

Om en VM går åt skogen spelar det ingen större roll, bara att skapa en ny VM (vi har färdiga VM's på annat håll som helt enkelt kopieras tillbaka till lagringsservern). Redundans behövs inte, det enda som är intressant är kommunikationen mellan servrar och lagring, med stort fokus på hastigheten (vanlig gigabit-anslutning går på knäna som det är nu).

En kalkylerad risk alltså

Trädvy Permalänk
Medlem
Plats
Kristianstad
Registrerad
Maj 2011

Ok, nu är förvirringen total!
Leverantören av FC-utrustningen säger att vi kommer att behöva speciell programvara för att allt ska fungera, vi hade tänkt köra på vår befintliga lagringsserver men tydligen skulle inte det fungera.
Leverantören refererar till http://www.esos-project.com/ som förslag...

Kan någon bekräfta eller dementera om vi kan köra på enbart Windows Server 2016 eller måste installera något annat?

Trädvy Permalänk
Medlem
Plats
@Home
Registrerad
Jul 2001
Skrivet av cbtcp:

Ok, nu är förvirringen total!
Leverantören av FC-utrustningen säger att vi kommer att behöva speciell programvara för att allt ska fungera, vi hade tänkt köra på vår befintliga lagringsserver men tydligen skulle inte det fungera.
Leverantören refererar till http://www.esos-project.com/ som förslag...

Kan någon bekräfta eller dementera om vi kan köra på enbart Windows Server 2016 eller måste installera något annat?

Vad kör ni för operativsystem på lagrings-servern, det framgår inte?

I/O is everything ! - VMware Certified Professional v3,v4,v5,v6,v6.5 / MCSE-Cloud Platform and Infrastructure

Trädvy Permalänk
Medlem
Plats
Kristianstad
Registrerad
Maj 2011
Skrivet av Nuub:

Vad kör ni för operativsystem på lagrings-servern, det framgår inte?

Windows Server 2016

Citat:

Kan någon bekräfta eller dementera om vi kan köra på enbart Windows Server 2016 eller måste installera något annat?

Trädvy Permalänk
Medlem
Plats
@Home
Registrerad
Jul 2001
Skrivet av cbtcp:

Windows Server 2016

Sorry, missade det.
Windows 2016 har inte stöd för att presentera ut LUN/volymer via fibre-channel, det kallas för FC-target. Så i ditt fall behöver ni ha en annan mjukvara/operativsystem. Exempelvis den du nämnde.

I/O is everything ! - VMware Certified Professional v3,v4,v5,v6,v6.5 / MCSE-Cloud Platform and Infrastructure

Trädvy Permalänk
Medlem
Plats
Linköping
Registrerad
Sep 2004

Är det inte vettigare att skippa FC och gå direkt på 10GbE via koppar?

9 stycken, https://www.ebay.com/itm/Intel-chipsets-x540-T2-10G-PCI-Expre...

Då slipper ni byta OS på lagringsservern och allt kommer fungera precis som nu fast ni får 10x hastigheten.

En billig 10GbE switch kostar ca 12 000 ny, https://www.prisjakt.nu/produkt.php?p=3941777 https://www.prisjakt.nu/produkt.php?p=3021455

sysl....
Bygg din egen router med pfSense
Citera för svar!

Trädvy Permalänk
Medlem
Plats
Kristianstad
Registrerad
Maj 2011
Skrivet av Endosavian:

Är det inte vettigare att skippa FC och gå direkt på 10GbE via koppar?

9 stycken, https://www.ebay.com/itm/Intel-chipsets-x540-T2-10G-PCI-Expre...

Då slipper ni byta OS på lagringsservern och allt kommer fungera precis som nu fast ni får 10x hastigheten.

En billig 10GbE switch kostar ca 12 000 ny, https://www.prisjakt.nu/produkt.php?p=3941777 https://www.prisjakt.nu/produkt.php?p=3021455

Det hade varit jättebra om vi hade kunnat det, men nu behöver vi handla i (någorlunda) närområde, dessutom på faktura. Moms behöver lyftas o.s.v.
Att hitta 10Gbe begagnat (alltså "billigt") i Sverige är lättare sagt än gjort. Bara det faktum att switcharna kostar 12000:- gör det till ett icke realistiskt alternativ. Budgeten ligger på ca. 5000:- (totalt).