Server för virtualisering med ESXi -> Pfsense & FreeNAS (ev. mera)

Jag ska bygga ungefär samma server som du. Så jag håller ett öga på denna tråd Vad jag har hört så är det inte rekommenderat att köra Freenas som virituell VMware maskin. Det har något med filsystemet att göra. Men det ska gå att lösa med passthrough om man kör med ett extra raidkontrollerkort. Om någon i forumet kör denna lösning så får ni gärna utveckla hur det fungerar.

Jag är även intresserad av att veta om det ett finns ett bra alternativ till Freenas som är likvärdigt?

Jag är också nyfiken på om detta är en god setup med firewall och om det kan finnas tänkbara hinder eller flaskhalsar med att köra en virituell firewall i samma maskin som de andra servrarna. En tanke här från mig vore att kanske skaffa en prisvärd konsument router separat med bra kapacitet som man sedan flashar om til Tomato eller DD-WRT, på så sätt får man en fullödig hårdvaru firewall upptill. Vore kul om någon har fler kreativa idéer krint detta.

Kan säga med egen erfarenhet att köra virtuell brandväg/gateway är en ganska stor flaskhals.
Beror ju självklart vilka krav du har men jag fick ut 250/300mbit ur min 1gb lina med virtuell gateway med pfsense.

Kör nu bradväggen på en liten HP Proliant server med 950/950mbit.

Möjligtvis kan du köra passthrough på ett pci-e nätverkskort och kanske kunna utnyttja bandbreden fullt ut gäller förmodligen nas också.

Borde inte asrock C2750D4I fungera bra till sånt här?

Håller med BergHa! Läs på ordentligt.
Virtuella FreeNAS är inte att rekommendera för prod, men för lab fungerar det.

Men jag kör exakt det du vill få till på min "stora" server i signaturen.

Med LSI kretsen flashad till IT mode och pass-thru till freeNAS.

För pfsense har jag två intel dual nic också pass-thru men till pfsense.
Får ut 100/10 på min 100/10 lina. Iofs får jag mer då jag använder tre externa linor som lastbalanseras... Men det är en annan femma.

Se mina andra inlägg jag gjort för lite länkar till freeNAS samt till prisjakt.

Om TS inte har mer än 100/100 lina så är det inga problem att köra virtuellt. Jag kör pfSense virtuellt i ESXi i en HP N54L microserver och maxar utan problem min 100-lina utan att den segar. Då har jag ändå bara en (av max 4) vCPU dedikerad

+1 på den rekommendationen. FreeNAS ska ha ECC minnen från början, det blir inte mindre viktigt för att man kör i en virtuell miljö. Det finns många alternativ om man ska börja köpa nytt, men det brukar vara direkt i strid mot huvudintresset, att återvinna gammal hårdvara för att få en "gratis" leksak. Problemet är bara att ZFS på ett system utan ECC kan bita en ganska hårt i handen om det vill sig illa.

Jag driver något liknande, mest för att ha något att experimentera med, på en ML-350 (Gen5) med 2xE5450 och 32GB RAM. Kanske inte heller helt optimalt, eftersom burken låter som en svävare, men den konkurrerar med två dedikerade system, det ena är en Smoothwall, och det andra är Windows Home Server 2011 med ett Perc H700 RAID kort. (de båda burkarna är kraftigt underklockade, övergivna standard desktops utan ECC) För närvarande förlorar ML-350 stort, både prestanda, och ljudmässigt, varför det inte spelar så stor roll om det är hårdvarumässigt helt optimalt eller inte, den kommer aldrig få ta över i alla fall. När jag körde FreeNAS på ML-350'n rakt av var den klart snabbare än WHS2011 burken, men det är svårt att motivera så hög elförbrukning i längden, och ljudnivån... Hu. Kul icke destomindre.

B!

Personligen tror jag du får ett bättre resultat om du sneglar på det här tipset:

Det här är nog världens bästa kort för att köra FreeNAS system på. 12 diskar ur lådan, och en kortplats till fler, om det lockar. För den mer prismedvetne får man exakt samma moderkort med en 4kärnig CPU för en tusenlapp mindre. (C2550D4I)

Som kanske framgick ovan så förstår jag helt nöjet av att ha ett lite kraftfullare system att leka med, men i det här fallet kommer du få bättre resultat med dedikerade system. Helt uppriktigt, så för din pfsense lösning räcker det med en gammal Pentium för att kunna fylla en 100/100 lina innan du börjar gå till överdrift med vad den ska göra med trafiken. Jag tror inte ens det är möjligt att köpa x86 (-64) grejer som inte klarar det i dagsläget. Det enda som kan vara värt att hålla ögonen på är var nätverksportarna är anslutna. Så man inte springer på någon hårdvarulösning som blir en strypning.

Lycka till.
B!

Här är en annan variant i samma genre mini itx octo core atom C2758 http://www.supermicro.com/products/motherboard/Atom/X10/A1SRi-2758F.cfm
Denna har också 4 GbE LAN portar, perfekt platta för att bygga en Router/Firewall/Lagring. !!MEN notera att Atom plattformar inte har VT-D stöd. VT-x finns men det är mjukvarubaserat om jag har förstått det hela rätt. Jag tycker dessa brädor ser helt perfekta ut, förutom då dundertabben (eller den konspiratoriska marknadstragein) att VT-d inte är inkluderat.

Det intressanta med dessa 2 moderbord (Asrock/Supermicro) är att de har 4st RAM slots med en max minneskapacitet på 64GB. Alla andra miniITX kort verkar ha strikt 2 slots/16GB. Upplys mig gärna om jag har fel. Dessvärre verkar de vara byggda för att ingå i enklare bladserver kombinationer "single-purpose-plattform"

Så vitt jag vet är du långt, LÅNGT utanför behoven med 4GB RAM. Visst heter det att minne är billigt i dag, men det är närmast lite löjligt med 4GB när hårdvarukravet ligger på från 256MB. Med 1GB klarar du runt 1 miljon simultana anslutningar. Det räcker rätt långt. Vad jag försöker säga är att du klarar dig med det minsta minnet du kan få tag i. Det gör säkert ingen jätte skillnad på priset, men kan vara relevant.
Utan att ha gjort väldigt mycket research skulle jag även rekommendera Gigabyte GA-C1037UN-EU i stället. Minimikravet på en pf setup för 100Mbit ska vara ca 1gHz, 1 core. Med 17w specificerat för moderkort och CPU, är det snålare än Atom CPU'n. Båda är 1.8GHz dual core, så CPU kraft i överskott. Minnet torde även vara billigare till Gigabyte moderkortet. moderkort+minne = mindre än en tusing. Ända "felet" är att det är Realtek chip för LAN, vilket kostar något extra i processortid. Det finns det resurser till. Glöm inte satsa på 80+ Gold eller bättre PSU'n.
B!

Anledningen man i regel inte vill köra FreeNAS som VM är att det är svårt att få SMART att fungera korrekt även med passthrough.

FreeNAS vill i regel ha minst 4gb ram(gärna ECC) med ZFS.

Pfsense behöver inte mer än 1 gig ram om du inte ska göra lite mer exotiska grejor(ex squidproxy) däremot så tjänar den på hårdvarustöd för kryptering.

Både pfsense och FreeNAS kan lätt köras ifrån usb.

När det gäller lagring till FreeNAS så vill du hellre ha fler mindre diskar än en stor ensam eftersom läs/skriv blir väldigt långsamt annars(RAID Z).

Vad gäller Atom och router är det Rangeley som är bäst anpassad, vilket är de C2xx8 varianterna som finns. Skillnaden är dock minimal mellan Avoton och Rangeley(turbo vs quickassist).

Jag skulle satsa på två separata system då det blir betydligt enklare att sätta upp och om ena går ned så dör inte båda. Går även då att sätta upp pfsense burken helt passiv med endast en liten pico psu.

Hårdvarustödet för nya atom är bra i både FreeNAS och Pfsense. Kommer antagligen fortsätta att vara bra då både ixsystems och pfsense säljer dessa i deras webbutiker.

Möjligen bästa i standard formfaktor för en lite nas. http://www.supermicro.nl/products/motherboard/Atom/X10/A1SA7-... är klart bättre men dom har valt att göra det i specialformfaktor för sin produkt.

Skönt att du visar att du har läst andra trådar på forumet. Lite synd att du inte även la märke till att jag droppade modellbeteckningen, och att vi pratade lite runt varför det kanske inte var så där attans attraktivt.

För vad det är värt har folk som bygger NAS'ar nästan enhälligt valt att använda C2750D4I istället för, och om inte antalet portar "räcker till" stoppar man i ett HBA kort. Ett C2750D4I + 16 portars HBA från eBay ger fler portar, till lägre pris, du får fritt val på chassi, och hur du vill ansluta HBA kortets diskar (i primärchassit eller i ett externt lagringschassi) osv. Den enda fördelen Supermicros kort har är möjligen kvalitet & garanti. I en "riktig" miljö kan möjligen IPMI interfacet vara attraktivt, men för hemma bruk? Det är inte en faktor man är villig att lägga upp ytterligare en tusenlapp för.
Å andra sidan har jag inte hört någon som har fortgående problem med sina C2750D4I, och Asrock, även om de primärt är en budget OEM tillverkare, har aldrig varit svåra med just garantier. Möjligen eftersom de startade sin bana som en spinoff från ASUS, för att ASUS varumärke inte skulle dras med stigmat som alla andra OEM tillverkare fick dras med.
B!

Modelbeteckningen för asrock står i citatet vilket du implicit hänvisar till i och med dit första stycke.
Det kortet jag nämner har såvitt jag vet inte överhuvudtaget nämnts på forumet men du får gärna länka till det.
Säger inte att det är fel på asrock även om http://www.sweclockers.com/forum/122-server/1271112-egen-nas-... visar på att såna förekommer dock så säger du att asrock kortet är världens bästa vilket jag ställer mig tvivlande till då lsi kretsen på supermicrokortet har ett bättre trackrecord åtminstone på linuxsidan än dom marvelkretsar du får på asrock kortet det som dock stöder din tes är att freenas leverantören valt att bygga en produkt med det kortet i och därmed håller koll på kompabiliteten.

Även supermicrokortet har 1 pci-express så det argumentet faller då dess ledning på 4 portar bibehålls. Båda korten har ipmi så förstår inte varför du tar upp den biten.

Paddanx refererar till kortet här:

Jag namnger det här:

Paddanx länkar till en butik som har det listat som beställningsvara här:

Faller? Asrock kortet passar i vilket chassi som helst. Supermicro chassit är du hänvisad till kort med externa portar för lagringschassin.

Därför att den fungerar bättre & tillförlitligare på Supermicro kortet. Egentligen ska jag säga att den gjorde, eftersom jag inte har provat på senare tid. Tidigt var den så dålig att den inte var värd besväret. Det må vara en personlig åsikt, men så är ju iofs allt.

Misslyckades tydligen med sökningen för jag fick ingen träff. Kul att mullet tar in det iallafall då dom sa nej när jag frågade dom strax efter kortet släpptes.

Visst om man begränsar till deras chassi men det finns inget som säger att du måste använda deras chassi även om deras formfaktor gör det enklast att göra så men jag antar att det inte gick att utläsa tillräckligt tydligt att jag ställde kort mot kort. Skulle ju kunna hävda samma sak om asrock:s kort då det säljs som 1u rack också.

Skillnaderna i hur sakerna är kopplad på respektive kort är intressanta.

Förstår nu ditt resonemang med ipmi men det var inget jag kunde läsa mig till när jag läste din text.

Asrock kortet passar i alla standardiserade chassin. Supermicro's passar bara i deras eget, eller hembyggda specialanpassningar då det inte följer standard formfaktor. Vilket chassi det säljs med ser jag som dåligt relevant. Men du... Köp Supermicrot. Jag ser ingen anledning att fortsätta slösa tid på det här då det inte leder någonstans. Mycket nöje. Det är ett bra kort, från en bra tillverkare. Och det är inte mina pengar.
B!

Går ifs att köra freenas grund och sedan lägga till en Virtualbox Jail typ 2 klick så har du en jail med Virtualbox

Nu har jag inte läst exakt hela tråden men har själv gjort exakt samma sak som TS tidigare.

Körde det på en HP N54L, 10 GB ECC-ram, 3 st Gigabit NIC med Esxi 5.5.0, Pfsense, Freenas och ett par Linux VMs.
Upplevelsen var i överlag bra förutom att för det blev lite väl tungdrivet för den lilla servern vilket ledde till att jag snabbt bytte ut Freenas mot en debian dist där jag installerade samba vilket gav mig mycket högre skriv och läshastigheter. Under denna period han jag även testa hur mycket Pfsense kunde routa mellan två olika subnät och toppade kring 2 - 300 Mbit/s.

Just när det kommer till Freenas (eller annan typ av backuplösning virtuellt) så är det rätt mycket som du måste tänka på. Som du kanske redan har läst dig till är det inte rekommenderat att köra Freenas virtuellt, (mer information här: https://forums.freenas.org/index.php?threads/please-do-not-ru...). Just p.g.a att det blev en helt annan femma för att kunna få säker backuplösning så skippade jag helt och hållet virtualiseringen och kör nu Freenas utan virtualisering och är störtnöjd.

Det bästa enligt min mening är om du kör två brukar för detta "projekt". Du separerar nasen och kör det helt och hållet på en egen burk och pfsense med alla vm:s på en burk, men det är bara min åsikt. Sen beror det på hur mycket du givetvis värderar din backup också.

EDIT: Är fullt medveten om att bara för att man kör raid så är det inte en säker backupplösning, eller som man brukar säga: "Det är inte backup förrän du har det på minst tre separata ställen."

Mvh
iz0r