Hemmaserver, ESXi, krypterat

Trädvy Permalänk
Medlem
Plats
Isla de Muerte
Registrerad
Mar 2004

Hemmaserver, ESXi, krypterat

Hej!

Jag tänkte först sätta upp en FreeBSD server som router/filserver/annat men efter att läst runt lite vore det kul att testa ESXi eller liknande. Syftet med servern är främst brandvägg/filserver("molnersättare")

  • OpenBSD som brandvägg/router

  • FreeBSD med ZFS raidz2(6 hdd) filserver krypterat med geli (truecrypt funkar visst dåligt i FreeBSD)

  • Någonting till WirelessAP kanske ska trycka in denna i OpenBSD virtualiseringen?

  • Någon/några lekserver/kompileringsserver

Hårdvaran jag har kommit fram till hittills är:

ANTEC EARTHWATTS EA-450 PLATINUM 450W
TP-LINK TL-WN881ND WIRELESS NETWORK CARD
FRACTAL DESIGN MIDITOWER DEFINE R4 BLACK

i5-3570T Processor
CORSAIR 16GB DDR3 XMS3 1333MHZ CL9
GIGABYTE GA-Z68X-UD3H-B3 Z68 S-1155 ATX
SEAGATE BARRACUDA 3TB 7200RPM SATA/600 64MB

Har bara använt virutalbox innan, hur tror ni detta kommer funka med ESXi?

Processorn? Andra förslag? 3570T har mindre strömförbrukning och VT-d.

Moderkortet höftade jag bara. Antar att det är bäst att köra Intel chipset.

6st sataIII portar vore ju dock bra men vet inte riktigt hur det funkar med virtualisering.
Kan man dela access till hddna eller kommer jag behöva skaffa ett
kontrollerkort? Jag ska köra zfs så jag behöver ju inget hårdvaruraidkort direkt. Tips på kort som är hyffsat billigt och funkar med ESXi o FreeBSD?

Kommer antagligen köra 6 diskar i raidz2 så jag behöver iaf 7 sata portar. Filservern
bör väl ha ensam access till raidz diskarna.

Hårddiskval, vanliga eller "enterprise"? Mean time to fail har varit 750000h = 80+ år på barracuda iaf. Tvivlar på att jag kommer ha de här hårddiskarna längre än 5 år hur som...

Annat jag behöver tänka på? Något som går att göra för att minska strömförbrukningen?

Tack

"I do not know with which weapons WWIII will be fought, but WWIV will be fought with sticks and stones."
Albert Einstein

Trädvy Permalänk
Medlem
Registrerad
Dec 2008

Med zfs vill man gärna ha hårdvaruaccess till diskarna. Det gör man genom att cpu/moderkort har fullt vt-d stöd och kan antingen dedikera moderkortets s-at kontroller eller ett raidkort till en maskin. Diskarna med esx ligger sedan på en kontroller eller moderkortet beroende på vilken du dedikerat till filservern.

Egentligen kan man skita i de strömsnåla modellerna. Någon enstaka watt mindre i idle, med lite tur. Under full load märker man skillnad, men samtidigt tar åtgärden längre tid vilket resulterar i högre strömförbrukning. Du kan se lite här. http://www.tomshardware.com/reviews/core-i5-3570-low-power,32...

Det är dumt att snåla på ram, se till att få 2x8gb så du kan stoppa i mer. Zfs cachar även i ram, så snåla inte där. Kör vanliga diskar, Du sparar även på att se till att de varvar ner. Tvivlar på att de används 24/7. Se till att ditt trådlösa kort stöds i bsd, hade kört det i samma maskin som brandväggen. Tycker de är tight integrerade i hemma miljö.

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Aug 2010

Kontrollera så att moderkorter har stöd för VT-x och VT-d, annars kommer du inte att kunna köra passthru på diskkontrollerna till FreeBSD-maskinen. Moderkort med Q-chip (t.ex Q67, Q77) ska klara det. Lusläs manualen innan så du inte beställer fel.

Trädvy Permalänk
Medlem
Plats
Isla de Muerte
Registrerad
Mar 2004
Skrivet av jocke92:

Med zfs vill man gärna ha hårdvaruaccess till diskarna. Det gör man genom att cpu/moderkort har fullt vt-d stöd och kan antingen dedikera moderkortets s-at kontroller eller ett raidkort till en maskin. Diskarna med esx ligger sedan på en kontroller eller moderkortet beroende på vilken du dedikerat till filservern.

Ok, som jag trodde då, blir antagligen lättare att köra två kontrollerkort med tre platser då antar jag. Någon som har tips på något hyffsat billigt kontrollerkort för "mjukvaruraid" som funkar med ESXi?

Skrivet av jocke92:

Egentligen kan man skita i de strömsnåla modellerna. Någon enstaka watt mindre i idle, med lite tur. Under full load märker man skillnad, men samtidigt tar åtgärden längre tid vilket resulterar i högre strömförbrukning. Du kan se lite här. http://www.tomshardware.com/reviews/core-i5-3570-low-power,32...

Intressant. Jag tänkte först ta en 3570K(Klocka ner) men den processorn har tyvärr inte VT-d. 3550 förbrukar mer energi än 3570T enligt den artikeln. Får fundera lite på det.

Skrivet av jocke92:

Det är dumt att snåla på ram, se till att få 2x8gb så du kan stoppa i mer. Zfs cachar även i ram, så snåla inte där. Kör vanliga diskar, Du sparar även på att se till att de varvar ner. Tvivlar på att de används 24/7. Se till att ditt trådlösa kort stöds i bsd, hade kört det i samma maskin som brandväggen. Tycker de är tight integrerade i hemma miljö.

Jepp, ska köra 8x2 först och sedan kanske utöka med lika mycket till vid behov. Det trådlösa ska funka i BSD, sökte igenom någon mailing list. Angående hårddiskarna tänkte jag ta vanliga diskar först. Men både Seagate och WD har specat sina vanliga diskar för att bara drivas 8h om dagen. De har också bara ett års garanti. Det känns ganska sunkigt.

Har lite svårt att motivera priset för enterprisediskar när det inte är något superkritiskt som ska ligga på servern. Får väl se om jag kan övertala någon polare att spegla det viktiga.

Skrivet av Hotcpu6:

Kontrollera så att moderkorter har stöd för VT-x och VT-d, annars kommer du inte att kunna köra passthru på diskkontrollerna till FreeBSD-maskinen. Moderkort med Q-chip (t.ex Q67, Q77) ska klara det. Lusläs manualen innan så du inte beställer fel.

Ok, tack. Som sagt är moderkortet inte alls bestämt. Ska kolla det innan köp.

"I do not know with which weapons WWIII will be fought, but WWIV will be fought with sticks and stones."
Albert Einstein

Trädvy Permalänk
Medlem
Plats
192.168.1.267
Registrerad
Apr 2003
Skrivet av engywook:

Ok, som jag trodde då, blir antagligen lättare att köra två kontrollerkort med tre platser då antar jag. Någon som har tips på något hyffsat billigt kontrollerkort för "mjukvaruraid" som funkar med ESXi?

Intressant. Jag tänkte först ta en 3570K(Klocka ner) men den processorn har tyvärr inte VT-d. 3550 förbrukar mer energi än 3570T enligt den artikeln. Får fundera lite på det.

Jepp, ska köra 8x2 först och sedan kanske utöka med lika mycket till vid behov. Det trådlösa ska funka i BSD, sökte igenom någon mailing list. Angående hårddiskarna tänkte jag ta vanliga diskar först. Men både Seagate och WD har specat sina vanliga diskar för att bara drivas 8h om dagen. De har också bara ett års garanti. Det känns ganska sunkigt.

Har lite svårt att motivera priset för enterprisediskar när det inte är något superkritiskt som ska ligga på servern. Får väl se om jag kan övertala någon polare att spegla det viktiga.

Ok, tack. Som sagt är moderkortet inte alls bestämt. Ska kolla det innan köp.

Skapade en tråd här i veckan om ungefär samma sak: http://www.sweclockers.com/forum/122-server/1174157-allt-i-et...

IBM kortet där ska fungera bra med det du tänkt göra iaf.

Även jag var inne på att köpa en low power cpu men kikade upp det och det gav inte så mycket vid idle, vilket min kommer vara i stort sett hela tiden.

WD red är "framtagna" för nas, annars har du deras RE4 serie, kostar dock.

Personligen är jag sjukt less för att det bara finns ett enda moderkort i mini-itx format som stödjer vt-d och ecc/xeon, som är ett embedded kort för industri. Intel har ett som hade varit perfekt för just det, men den saknar bara en inställning i bios för att enabla vt-d...

EDIT: Kryptering har jag funderat på ocskå. Kommer nog inte köra det på zfs burken utan på de andra vm'arna istället.

CCNP

Trädvy Permalänk
Medlem
Plats
Mölnlycke
Registrerad
Apr 2007
Skrivet av Hotcpu6:

Kontrollera så att moderkorter har stöd för VT-x och VT-d, annars kommer du inte att kunna köra passthru på diskkontrollerna till FreeBSD-maskinen. Moderkort med Q-chip (t.ex Q67, Q77) ska klara det. Lusläs manualen innan så du inte beställer fel.

Även C-chipset (C216 etc) ska klara VT-d.

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Dec 2009

Jag har ett Gigabyte GA-B75M-D3H (rev 1.0 bios f12) som fixar VT-d, dessutom väldigt mycket kort för pengarna om man klarar sig med 1 SATA3-port.

http://www.netonnet.se/art/dator/komponenter/moderkort/intel-...

Trädvy Permalänk
Medlem
Plats
Isla de Muerte
Registrerad
Mar 2004
Skrivet av maniak:

Skapade en tråd här i veckan om ungefär samma sak: http://www.sweclockers.com/forum/122-server/1174157-allt-i-et...

IBM kortet där ska fungera bra med det du tänkt göra iaf.

Även jag var inne på att köpa en low power cpu men kikade upp det och det gav inte så mycket vid idle, vilket min kommer vara i stort sett hela tiden.

WD red är "framtagna" för nas, annars har du deras RE4 serie, kostar dock.

Personligen är jag sjukt less för att det bara finns ett enda moderkort i mini-itx format som stödjer vt-d och ecc/xeon, som är ett embedded kort för industri. Intel har ett som hade varit perfekt för just det, men den saknar bara en inställning i bios för att enabla vt-d...

EDIT: Kryptering har jag funderat på ocskå. Kommer nog inte köra det på zfs burken utan på de andra vm'arna istället.

Skulle egentligen helst vilja ha seagate då de alltid har funkat för mig men det blir nog WD red ändå. Varför ska du kryptera de andra och inte din filserver?

Skrivet av mikewse:

Även C-chipset (C216 etc) ska klara VT-d.

Ok.

Skrivet av tomle:

Jag har ett Gigabyte GA-B75M-D3H (rev 1.0 bios f12) som fixar VT-d, dessutom väldigt mycket kort för pengarna om man klarar sig med 1 SATA3-port.

http://www.netonnet.se/art/dator/komponenter/moderkort/intel-...

Jag vill nog helst ha ett ATX moderkort om inte någon har tips på en bra mindre låda med 7 hdd platser?

"I do not know with which weapons WWIII will be fought, but WWIV will be fought with sticks and stones."
Albert Einstein

Trädvy Permalänk
Medlem
Plats
Isla de Muerte
Registrerad
Mar 2004

Blev ungefär den hårdvaran i OP förutom ett mATX moderkort istället, DH77EB och lite mindre låda. Hur som har jag lite problem med att få allt att funka som det ska. Moderkortsnätverkkortet verkar inte vara direkt supportat, det funkar att använda men man var tvungen att mixtra med install ison. Det jag vill göra är följande:

https://dl.dropbox.com/u/14257071/ESXi%20setup.png

Jag vill alltså ha en VM som router/firewall med ensam access till nätverkskortet. VM:en ska sen "dela ut" internet till övriga vm och andra fysiska komponenter. Går det att göra? Det gick jättebra att köra passthrough på nätverkskortet och få internet, men jag kunde inte använda den som gateway.

"I do not know with which weapons WWIII will be fought, but WWIV will be fought with sticks and stones."
Albert Einstein

Trädvy Permalänk
Medlem
Registrerad
Dec 2008
Skrivet av engywook:

Blev ungefär den hårdvaran i OP förutom ett mATX moderkort istället, DH77EB och lite mindre låda. Hur som har jag lite problem med att få allt att funka som det ska. Moderkortsnätverkkortet verkar inte vara direkt supportat, det funkar att använda men man var tvungen att mixtra med install ison. Det jag vill göra är följande:

https://dl.dropbox.com/u/14257071/ESXi%20setup.png

Jag vill alltså ha en VM som router/firewall med ensam access till nätverkskortet. VM:en ska sen "dela ut" internet till övriga vm och andra fysiska komponenter. Går det att göra? Det gick jättebra att köra passthrough på nätverkskortet och få internet, men jag kunde inte använda den som gateway.

Så du får internet i bsd, men den kan inte nata? Menar du att du kopplat fel? Det fysiska med passthrough är ju rätt. Sedan gör du ett virtuellt nic som du kopplar i en vswitch (kör manangement switchen), dit kopplar ditt andra nic och den fysiska switchen. Övriga virtuella kopplas dit också. Kan du sedan pinga lan-kortet från en fysisk dator eller virtuell är det ju bsd-maskeninen som inte nat'ar korrekt

Trädvy Permalänk
Medlem
Plats
Isla de Muerte
Registrerad
Mar 2004
Skrivet av jocke92:

Så du får internet i bsd, men den kan inte nata? Menar du att du kopplat fel? Det fysiska med passthrough är ju rätt. Sedan gör du ett virtuellt nic som du kopplar i en vswitch (kör manangement switchen), dit kopplar ditt andra nic och den fysiska switchen. Övriga virtuella kopplas dit också. Kan du sedan pinga lan-kortet från en fysisk dator eller virtuell är det ju bsd-maskeninen som inte nat'ar korrekt

Precis, naten funkar inte. Nu var det länge sedan jag använde någon BSD och pf så kan ju ha konfat fel.

Jag lackade iaf ur idag och istallerade FreeBSD istället för ESXi. Naten funkar delvis nu, antar att det bara är Bahnhof som strular med mig. Varje gång man byter dator måste man logga in och ändra aktiv dator på deras sida. Nu får jag det om jag surfar på någon annan dator än FreeBSD burken, sjukt störigt.

Jag fattade inte riktigt hur det funkade med vswitcharna. jag fick ingen direkt överblick när jag kollade på network fliken, är alla vswitchar ihopkopplade eller hur funkar det? Jag vill ju ha OpenBSD burken så separerad från alla de andra VM/datorer som möjligt.

EDIT: Nu när jag tänker efter tror jag inte att jag kunde komma åt OpenBSD VM:en från min vanliga desktop alls, synd att jag blåste disken den låg på.=P

"I do not know with which weapons WWIII will be fought, but WWIV will be fought with sticks and stones."
Albert Einstein