Enkel quadcore ESXI konfig, fungerar denna setup?

Permalänk
Medlem
Skrivet av spinxen:

Realtek RTL8111E tycks funka bra med ESXi 5+ enligt dessa sidor:
http://www.yoonhuh.com/blog/installing-esxi-5-0/
http://jaime-diez.net/how-to-build-a-vmware-esxi-5-0-whitebox...

Ett fyraportars Gbit-kort går ju loss för dryga 1000-lappen i Sverige, men de finns ju på Ebay för ett par hundringar.
Skulle denna modell fungera? http://h18004.www1.hp.com/products/servers/networking/nc340t/

RTL8111E funkar bra - i mitt fall detekteras det som ett RTL8168 men det går inte att slå på Jumbo Frames om nu det skulle önskas. Mig spelar det ingen roll då jag använder det för management. Har iofs inte provat att kör management över en annan NIC för att då prova att slå på JF och sedan skifta tillbaka.

Visa signatur

Intel Core Ultra 7 265K | Asus PROART Z890 CREATOR WIFI | Corsair Vengeance DDR5 7000MHz 2x48GB | ASUS TUF RTX 3080 OC | WD Black SN850X 2TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-D15S Chromax Black | Fractal Design North | Seasonic Focus GX 850W ATX 3.1

Permalänk
Medlem

Nu har jag installerat ESXi 5.1 samt Ubuntu Server 13.04 och allt tycks rulla på bra!

Visa signatur

System #1 - Intel 6700K@4.8GHz + Corsair H110i PnP ~ ASUS ROG MAXIMUS VIII RANGER ~ 32GB Corsair Vengeance LPX DDR4 2400MHz ~ 2x Gainward GeForce GTX 980 Ti 6GB 'GS' ~ 2x 512GB Samsung EVO 850 ~ Corsair RM1000W ~ Acer 27" Predator G-Sync XB271HU
System #2 - Intel 2500K@5.0GHz + Corsair H60+PnP ~ ASRock P67 Extreme4 ~ 16GB DDR3 ~ Gainward 980Ti 'GS' ~ BenQ 24" XL2430T ~ 2x512GB Samsung EVO 840 ~ 750W Corsair TX

Permalänk
Medlem
Skrivet av spinxen:

Nu har jag installerat ESXi 5.1 samt Ubuntu Server 13.04 och allt tycks rulla på bra!

Skönt att höra. Stöds IOMMU i den bios mobot levererades med?

Kolla om du ser Directpath I/O: Supported under summary i ESXI.

Permalänk
Medlem
Skrivet av ph1ber:

Skönt att höra. Stöds IOMMU i den bios mobot levererades med?

Kolla om du ser Directpath I/O: Supported under summary i ESXI.

Jag kan kolla det imorgon, men enligt ASRock så ska FM2A75M-ITX ha stöd för IOMMU fråb BIOS 2.60 ?

http://www.asrock.com/mb/AMD/FM2A75M-ITX/?cat=Download&os=BIO...

Visa signatur

System #1 - Intel 6700K@4.8GHz + Corsair H110i PnP ~ ASUS ROG MAXIMUS VIII RANGER ~ 32GB Corsair Vengeance LPX DDR4 2400MHz ~ 2x Gainward GeForce GTX 980 Ti 6GB 'GS' ~ 2x 512GB Samsung EVO 850 ~ Corsair RM1000W ~ Acer 27" Predator G-Sync XB271HU
System #2 - Intel 2500K@5.0GHz + Corsair H60+PnP ~ ASRock P67 Extreme4 ~ 16GB DDR3 ~ Gainward 980Ti 'GS' ~ BenQ 24" XL2430T ~ 2x512GB Samsung EVO 840 ~ 750W Corsair TX

Permalänk
Medlem
Skrivet av spinxen:

Jag kan kolla det imorgon, men enligt ASRock så ska FM2A75M-ITX ha stöd för IOMMU fråb BIOS 2.60 ?

http://www.asrock.com/mb/AMD/FM2A75M-ITX/?cat=Download&os=BIO...

Yep, stöd för iommu fanns redan ser jag.
Tyvärr verkar inte NICet stödas i 5.5. Så det får bli att ge sig på en 5.1 install nu. Lite synd.
Men det kanske kommer stöd senare.

Permalänk
Medlem
Skrivet av ph1ber:

Yep, stöd för iommu fanns redan ser jag.
Tyvärr verkar inte NICet stödas i 5.5. Så det får bli att ge sig på en 5.1 install nu. Lite synd.
Men det kanske kommer stöd senare.

Jag har precis uppgraderat från 5.1 till 5.5 och mitt Realtek 8111E funkar fortfarande prima för managment. Kör på ett Asus M4A88TD-V EVO/USB3. Dock detekteras det fortfarande som ett Realtek 8168.

Edit: du har helt rätt. Rtl 8111E är inte supportat i 5.5 - däremot funkar drivisen från 5.1 så att uppgradera går bra. Se en bit ner i den här artikeln.

Visa signatur

Intel Core Ultra 7 265K | Asus PROART Z890 CREATOR WIFI | Corsair Vengeance DDR5 7000MHz 2x48GB | ASUS TUF RTX 3080 OC | WD Black SN850X 2TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-D15S Chromax Black | Fractal Design North | Seasonic Focus GX 850W ATX 3.1

Permalänk
Medlem
Skrivet av Micke O:

Jag har precis uppgraderat från 5.1 till 5.5 och mitt Realtek 8111E funkar fortfarande prima för managment. Kör på ett Asus M4A88TD-V EVO/USB3. Dock detekteras det fortfarande som ett Realtek 8168.

Edit: du har helt rätt. Rtl 8111E är inte supportat i 5.5 - däremot funkar drivisen från 5.1 så att uppgradera går bra. Se en bit ner i den här artikeln.

Nu funkar det som det ska
Jag körde med den här guiden: http://www.v-front.de/2013/09/how-to-add-missing-esxi-50-driv...

Permalänk
Medlem

Frågor till er som beställt enl. http://www.inet.se/kundvagn/visa/3910338/2013-09-19

1. Någon som kört med Passthrough av diskar till Freenas? Fungerar bra?

2. Hur har ni satt upp diskarna med passthrough? Själv tänkte jag ta esxi på ett USB-minne, men vill ha en disk till övriga VM's med. Helst vill jag ha 4 diskar för lagring i freenas. Tänkte köra med zfs i freenas.

3. Ljudvolymen? Hög eller låg?

4. Strömförbrukning ? Hög eller låg?

Permalänk
Medlem
Skrivet av gregoff:

Frågor till er som beställt enl. http://www.inet.se/kundvagn/visa/3910338/2013-09-19

1. Någon som kört med Passthrough av diskar till Freenas? Fungerar bra?

2. Hur har ni satt upp diskarna med passthrough? Själv tänkte jag ta esxi på ett USB-minne, men vill ha en disk till övriga VM's med. Helst vill jag ha 4 diskar för lagring i freenas. Tänkte köra med zfs i freenas.

3. Ljudvolymen? Hög eller låg?

4. Strömförbrukning ? Hög eller låg?

Jag bootar från ett usb-minne och kör alla vm's på en SSD.
Jag har beställt ett M1015 för att kunna köra passthrough/ZFS.

Jag har ställt ner fläkthastigheten lite men jag skulle ändå inte ha den i sovrummet. Fyra meter från tv:n märker jag inte av den. Det finns nog tystare cpu-kylare men den måste vara låg om den ska få plats.

Jag har inte mätt förbrukningen men cpu:n har 65W TDP så den borde vara hyffsad. Jag skulle rekommendera att du byter ut cpu:n till en A8-5500 så slipper du krångla med grafikkort.

Med X4:an kan du inte använda moderkortets vga/hdmi-kontakter.

Jag är nöjd över lag. Tänk på att det bara finns en pci-plats, så ska du köra både M1015 och Intel dualNIC för pFsense går det inte.

Skickades från m.sweclockers.com

Permalänk
Medlem
Skrivet av ph1ber:

Jag bootar från ett usb-minne och kör alla vm's på en SSD.
Jag har beställt ett M1015 för att kunna köra passthrough/ZFS.

Jag har ställt ner fläkthastigheten lite men jag skulle ändå inte ha den i sovrummet. Fyra meter från tv:n märker jag inte av den. Det finns nog tystare cpu-kylare men den måste vara låg om den ska få plats.

Jag har inte mätt förbrukningen men cpu:n har 65W TDP så den borde vara hyffsad. Jag skulle rekommendera att du byter ut cpu:n till en A8-5500 så slipper du krångla med grafikkort.

Med X4:an kan du inte använda moderkortets vga/hdmi-kontakter.

Jag är nöjd över lag. Tänk på att det bara finns en pci-plats, så ska du köra både M1015 och Intel dualNIC för pFsense går det inte.

Skickades från m.sweclockers.com

Bra tips! Tack!

Permalänk
Medlem
Skrivet av ph1ber:

Jag bootar från ett usb-minne och kör alla vm's på en SSD.
Jag har beställt ett M1015 för att kunna köra passthrough/ZFS.

....

Med X4:an kan du inte använda moderkortets vga/hdmi-kontakter.

Jag är nöjd över lag. Tänk på att det bara finns en pci-plats, så ska du köra både M1015 och Intel dualNIC för pFsense går det inte.

Skickades från m.sweclockers.com

Med andra ord kommer du köra alla lagringsdiskar på kontrollerkortet som du kör passthrough på och disken för alla VM's lägger du direkt på moderkortet?

A6 (eller A4 för den delen) borde fungera lika bra då i så fall? Eller har A8 fler funktioner (förutom prestanda) som jag behöver?

Permalänk
Medlem
Skrivet av gregoff:

Med andra ord kommer du köra alla lagringsdiskar på kontrollerkortet som du kör passthrough på och disken för alla VM's lägger du direkt på moderkortet?

A6 (eller A4 för den delen) borde fungera lika bra då i så fall? Eller har A8 fler funktioner (förutom prestanda) som jag behöver?

Precis.

A8 har fyra kärnor, de andra har två.
Jag antar att A4 och A6 också stödjer IOMMU/passthrough, men det är inget jag forskat på.

Permalänk
Medlem
Skrivet av ph1ber:

Jag har inte mätt förbrukningen men cpu:n har 65W TDP så den borde vara hyffsad. Jag skulle rekommendera att du byter ut cpu:n till en A8-5500 så slipper du krångla med grafikkort.

Jag har mätt en a10 6800k och i Idle ligger den på 30w i Windows. Kör jag igång prime95 planar den ut på 125w antagligen pga. turbo eller liknande.

Permalänk
Medlem

Ni som kör ett M1015 kort...

Jag har kollat runt en del och det verkar inte riktigt vara a walk in the park att få det att fungera. Varför måste man flasha om det till IR/IT-läge? Kan man inte bara säga åt ESXi att forwarda M1015 till VM'en (FreeNAS i detta fallet) och köra utan krångel?

Hur mycket förlorar jag på att köra Raw Device Mapping på respektive disk till VM'en istället?

Anledningen till att jag frågar är att jag vill inte behöva göra en massa specialanpassningar för att få saker att fungera. Det är när man gör specialanpassningar som saker och ting går snett. Helst vill jag köra standardlösningar rakt av.

Om jag vill kunna ha 8 lagringsdiskar och 1 VM-disk, måste lagringsdiskarna vara på en separat kontroller, eller kan jag lika gärna välja ett moderkort som har 9 SATA-portar?

Permalänk
Medlem
Skrivet av gregoff:

Jag har kollat runt en del och det verkar inte riktigt vara a walk in the park att få det att fungera. Varför måste man flasha om det till IR/IT-läge? Kan man inte bara säga åt ESXi att forwarda M1015 till VM'en (FreeNAS i detta fallet) och köra utan krångel?

Kör man kortet som ett raidkort presenterar det inte diskarna direkt mot freenas, du får ett raid-lager i vägen även om diskarna inte är konfade i raid. Raw device mapping ger antagligen också det.

Skrivet av gregoff:

Om jag vill kunna ha 8 lagringsdiskar och 1 VM-disk, måste lagringsdiskarna vara på en separat kontroller, eller kan jag lika gärna välja ett moderkort som har 9 SATA-portar?

Ja, om du ska köra hårdvarupassthrough mot en maskin måste det vara separata kontrollers. Därav vm-disk mot moderkortet och lagring på M1015 tex.

Permalänk
Medlem
Skrivet av jocke92:

Kör man kortet som ett raidkort presenterar det inte diskarna direkt mot freenas, du får ett raid-lager i vägen även om diskarna inte är konfade i raid. Raw device mapping ger antagligen också det.

Ja, om du ska köra hårdvarupassthrough mot en maskin måste det vara separata kontrollers. Därav vm-disk mot moderkortet och lagring på M1015 tex.

Ok, makes sense.

Någon som har en howto om hur man gör detta? Jag syftar på omflashningen.