Best practice NIC/nätverk ESXi och VMs

Permalänk
Medlem

Best practice NIC/nätverk ESXi och VMs

Är nu på G med mitt projekt att migrera FreeNAS till en VM under ESXi.

Har två NICs på mitt mobo, och undrar lite över best practice och prestanda för att få detta att lira optimalt. Installerat ESXI och nu skall följande sättas upp:

SSD med:
FreeNAS på en VM (passsthrough på mina HBAs)
Ubuntu på en VM körandes Docker med containers för Plex, Taututlli, Transmssion osv.

Ubuntumaskinen kommer mounta upp min lagring hostad på FreeNAS-VM (via NFS?).

Jag skulle om möjligt vilja segmentera mina kort (OBS endast korten ej olika subnets) så att FreeNAS-maskinen får ett dedikerat nätverkskort för maximal intern prestanda (1Gbit). Ubuntu-maskinen och containrarna kan sedan dela på det andra för extern Plex-åtkomst, downloads mm.

Men, då är första frågan - kommer min mount på ubuntu använda sig av nätverket för att komma åt FreeNAS-filerna, trots att dom ligger på samma maskin? Eller är ESXi så smart att den routrar den trafiken "internt"?

Bör jag köra passthrough på NIC:et till FreeNAS eller bör man alltid köra vmnic med ovanstående i åtanke?

Kan jag ens ha två NICs på samma vnet utan broadcast storms? (Detta funkade inte för mina jails i FreeNAS).

Visa signatur

5900X | CH8 | 64GB/3600MHz | RTX4080 | SN850 | H2O 2*360 Rad | LG CX48 | Ananda Nano, D30Pro & rHead

Permalänk
Medlem

Ja, den är så smart att den switchar trafiken internt ifall båda VM:arna ligger på samma vSwitch på samma VLAN.

Best practice är att separera management från klienttrafik men det kanske spelar mindre roll i ditt fall.

Vad är det för NICar på mobo? ESXi gillar inte Realtek.

Edit: Ändrat subnät till VLAN i första meningen.

pv2b
Visa signatur

RIPE LIR

Permalänk
Hedersmedlem

Det normala är att du skapar en vSwitch och lägger till två uplinks på denna. Sedan konfigurerar du varje VM med ett nätverkskort i en portgrupp på denna vSwitch.

Du kan använda "Route based on originating virtual port ID", då kommer ESXi att försöka lägga typ lika många virtuella maskiner på varje aktiv nätverksadapter, vilket borde vara tillräckligt smart eftersom du har exakt 2 VM:ar. Switchen behöver ingen särskild konfig för att detta läge ska funka, utan från switchens perspektiv så är det som om det sitter X antal värdar på en port, och Y antal värdar på en annan.

Vill du dock detaljstyra vilka nätverkskort som används och dedicera att nätverkskort till en specifikt VM så kan du skapa två portgrupper på din vSwitch, och sedan göra en override på portgruppsnivå om vilken nätverkskortsordning du vill köra.

Det går inte att göra denna typ av override på VM-nivå, därav de separata portgrupperna. (Om du inte kör Distributed Virtual Switch, då kan du göra en override på portnivå, men det kräver dyra licenser som jag inte tror du har.)

Det finns ett annat alternativ som jag INTE rekommenderar, och det är att sätta upp två vSwitchar, med en uplink och en portgroup var, och sedan låta varje VM ha var sitt nätverkskort. Anledningen att jag avråder från det är att:

  1. Nätverkstrafik mellan de virtuella maskinerna på olika vSwitchar måste ut genom ena nätverkskortet och sedan in genom det andra, istället för att de kan ta genvägen genom hypervisorn.

  2. Du tappar möjligheten att köra failover.

Lycka till.

Permalänk
Hedersmedlem
Skrivet av tomle:

Ja, den är så smart att den switchar trafiken internt ifall båda VM:arna ligger på samma subnät.

För att vara tekniskt korrekt: Samma VLAN på samma vSwitch, inte samma subnät.

Samma VLAN på olika vSwitchar kommer inte switchas internt. Likaså inte trafik på samma subnät på olika VLAN.

Permalänk
Medlem
Skrivet av pv2b:

För att vara tekniskt korrekt: Samma VLAN på samma vSwitch, inte samma subnät.

Samma VLAN på olika vSwitchar kommer inte switchas internt. Likaså inte trafik på samma subnät på olika VLAN.

Ja absolut, men OP verkar inte ha/bry sig om VLAN

Visa signatur

RIPE LIR

Permalänk
Hedersmedlem
Skrivet av tomle:

Ja absolut, men OP verkar inte ha/bry sig om VLAN

Ja, men distinktionen är ändå viktig. Om du t.ex. kör PCIe passthrough till nätverkskortet (vilket var ett alternativ i hans fall) eller bygger 2 olika vSwitchar så kommer ESXi inte kunna switcha trafiken internt, trots att det är på samma subnät.

Permalänk
Medlem
Skrivet av tomle:

Ja absolut, men OP verkar inte ha/bry sig om VLAN

Jo det har jag, men inte aktuellt för denna implementation.

Visa signatur

5900X | CH8 | 64GB/3600MHz | RTX4080 | SN850 | H2O 2*360 Rad | LG CX48 | Ananda Nano, D30Pro & rHead