Hårdvara för ESXi för VM och NAS med ZFS

Hur du partionerar minnet har ingen betydelse. Se bara till att platformen du völjer stödjer 16 GB stickor. Jag kör med ECC på en E3-1240v3 och det sparkar ifrån reält. Att man behöver 1GB ram pr. TB RAID är mest en tumregel, om man inte aktiverar deduplicering så klarar man sig med mindre utan problem. Har kört 6x3TB med 4GB RAM (64-bit FreeBSD) utan problem med äldre C2D CPU. Om du inte kommer skaffa mer än 1 GbE så finns det ingen direkt orsak att gå över 8 GB. All ram kommer att användas som cache, men hur många användare och hur mycket IO har du från din NAS? Är det bara en familj och 1GbE så räcker 8 GB gott och väl.

Med fara för att upprepa mig själv och alla andra som sysslar med ZFS så är det M1015 med Ti FW är det som gäller!

Freudian slip? IT FW skall det ju vara.

Tycker det är dags för en sticky för zfs system.
Måste säga att det kliar i köptarmen för ett avotonsystem som då kanske blir utan riktig kontroller.

Ja nu är det tamejfan dags för ZFS klistrad.

OnT:
Kör med 2 minnen, då kan du utnyttja dual-channel. Annars håller jag med föregående talare.

En slip ja, men Freudian ser jag inte varför det skulle vara

Jag menar CPU typ + Chipset + Moderkort + BIOS. Alla dessa kan ställa till det för stöd för stora minnesmoduler. Även om det ofta idag, med minneskontroller direkt på CPU, mest hänger på denna.

Det är inte speciellt viktigt med just M1015, det är viktigt att du har ett kort som fungerar bra under VT-d om du ska köra NAS som VM. Även om RDM kan ta större diskar nu, så är det inte att rekommendera för RAID. Flashning av M1015 till en IT LSI 9210-8i gör att du får åtta SATA3 portar tillgängligt direkt i din NAS VM utan att behöva blanda in den inbyggda diskkontrollern på moderkortet. Det är bara pris / prestanda / funktion som gör att alla talar om M1015.

Det är finns fördelar med att virtualisera eftersom ZFS NAS kräver mycket minne men inte mycket CPU och en server ofta kräver snabb CPU och snabb IO, men inte massor med minne. Det passar hand i handske. Att köra KVM eller liknande är ett alternativ, men ESXi är mycket smidigt eftersom det är pek och klick och stödjer alla x86/x64 OS.

Tja, visst kan man det men man behöver ändå något ställe att lagra sina VMs på. Jobbigt att ha cirkulära beroenden, där olika VMs är beroende av varandra eller. Tex. vid en iSCSI export från din ZFS maskin till andra VMs.

För att få stöd för ECC behöver du ett moderkort i med server chipset (t.ex. C220-serien för socket 1150).

Ett par polare kör ESXi med FreeBSD och zfs på detta (pass through på 6 diskar i raidz2):
http://www.mullet.se/product.html?product_id=335777
Flasha om LSI SAS controllern med icke raid firmwaren bara.

Funkar klockrent. De kör ett par virtuella Linux servrar också ihop med detta.

KVM over IP som man får med IMPI 2.0 är rätt praktiskt. Ratta allt från BIOS till installation av virtuella maskiner remote.

På bilden är det 14 SATA kontakter. Varav 8:a (de blå) går via LSI SAS kontrollern (SAS och SATA är kompatibelt så det går att köra vanliga SATA diskar där).

Review: http://www.servethehome.com/Server-detail/supermicro-x10sl7-f...

Kom bara ihåg att flasha LSI2308 till IT mode, defalt är RAID firmwaren där och kör man ZFS vill man ha IT moden, guide:
http://forums.servethehome.com/raid-controllers-host-bus-adap...

Ja, det skulle kunna vara trevliga NAS kort för framtida byggen. Men som det är nu ser det ut som att i354 quad ethernetkontrollern inte fungerar med andra os än Linux och Windows.

Nej, det är klart. Genom att inte köra en NAS under en hypervisor försvinner ju ett "lager".

Med Passthrough på diskarna i ESXi får man bare metal prestanda ändå.
Med 6st 3T WD read i raidz2 (4:a spindlar data och två redundans) så får han 580MB/s i seq läs och 380MB/s i seq skriv.

32G räcker och blir över. Lägg 16G (8G funkar också) fast för ZFS filservern och så får de övriga virtuella servrarna dela på resten.
Det kan de göra dynamiskt t o m med hjälp av "balooning" Men fil cahen vill man ha fast.

Räcker inte 8/16G så släng in en SSD read cache (L2ARC) disk i zfs poolen....

Ja den fungerar.
Men jag valde E3-1230v3.

Ja, fast det är inte det vi diskuterar. Vi diskuterar om skillnaden att behöva ha NAS OS som en VM på en disk (RDM, Passtrough på 9211-8i, eller som en VMFS i datastore) som är fallet med ESXi kontra att låta NAS OS vara Hypervisor åt andra VMs och därmed kunna lagra dessa direkt på NAS array utan behov av en ytterligare datastore eller komplicerad NFS/iSCSI/SMB delning från en VM till ESXi till andra VMs.

Meningen med en filserver/NAS är ju att centralisera data lagringen och NFS/iSCSI/SMB lär man ju inte komma ifrån om man gör så, det lär ju behövas ändå om externa burkar ska komma åt datat. Så värst komplicerat är ju inte dessa bitar. NFS är väl lite halvbökigt, välj version IV. ISCSI är hyggligt enkelt och SMB är inte svårt det heller.

Nej nu får du lyssna. Det jag säger är att t.ex. köra iSCSI från én VM över ethernet till andra VMs för att tillhandahålla bootdisk, vilket betyder att du får inbördes beroende på bootdisk mellan dina VMs, är något som jag anser som komplicerat.

Det är inte själva protokollen; iSCSI, NFS eller SMB som är komplicerade. Det är det faktum att du har en VM som måste startas först och fungera innan du kan starta övriga VMs, och om det måste göras arbete på NAS VM så måste man göra det hela baklänges: Dvs. stänga av VMs som är beroende av NAS VM. Det är möjligt att det är okej när man kör något i produktion med god dokuemntation och script som sköter start och stopp, men hemma när man leker tycker jag att en sådan setup är mer hämmande än elegant. Är vi på samma sida nu?

Jag förespråkade ESXi med VMs diskar på egen datastore och maniak påpekar, med god grund, att genom att ha det så skapar man beroenden mellan VMs. Att ha en datastore för VMs betyder således att du måste hålla koll på ännu ett sett med OS/config data i tillägg till arrayet i din NAS där din delade data ligger.

Låt oss räkna. Vi har en makin med massor av diskar i ett mjukvaru raid-array, vi önskar att lägga VMs på detta array. Hur många lager av komplexitet har vi?

• ESXi på egen disk eller USB (Lager 1 som måste fungera) som kör NAS VM på en datastore (Lager 2 som måste fungera) i form av en RDM disk eller VMFS, iSCSI eller pxeboot från NAS VM för att starta VMs som ligger på NAS (Lager 3 som måste fungera).

• NAS OS på Bare metal med KVM eller en Typ 2 Hypervisor (Lager 1 som måste fungera).

Köper du ett moderkort som det som diskuterades så behöver du inte sff 8087 men köper du ett som har sff 8087 eller dom flesta kontrollerkort så behöver du det.

Varför köper man bridgestone/nokian hakkapalita/goodyear osv istället för regummerade däck. Oftast för att man vill ha kvalitet och bättre funktion.
Visst det är dyrt men det är en avvägning man får göra. Du kan köra en filserver med mb/cpu/kontrollerkort som vardera kostar runt 500 eller mindre men man kan även lägga mer än det bara på kontrollerkortet.

Rekommendationen om m1015 kommer i stort från att det funnits gott om sådana på ebay så man kunnat pressa priset lägre än 2kkr men även som nya reservdelar för 2kkr är det lägre än 2.5-3kkr vilket motsvarande kort kostat original från lsi.

Just nu finns det kort för 800-900 kr ink frakt och kablar för 40 kr/st inkl frakt från china och hong kong där