Lämplig ESXI-server för den tunna plånboken

Istället för att slafsa med HDD på intern SW-raid (som bara funkar under Hyper-V), köp en SSD för de apps som kräver lite speed.

Om man nu absolut måste köra någon form av RAID så skulle jag hellre skaffa ett raidkort som funkar under ESXi. Man kan göra som en del gjort med passthrough till t ex ett IBM M1015 och FreeNAS osv men det är i mina ögon en krångligare lösning med betydligt fler möjliga felkällor.

.....

Om man nu absolut måste köra någon form av RAID så skulle jag hellre skaffa ett raidkort som funkar under ESXi. Man kan göra som en del gjort med passthrough till t ex ett IBM M1015 och FreeNAS osv men det är i mina ögon en krångligare lösning med betydligt fler möjliga felkällor.

Om man inte måste köra RAID så ger det nog bättre prestanda att sprida VMar på olika fysiska diskar snarare än att köra flera på samma array (om vi nu pratar några få diskar iaf).

Personligen sprider jag hellre VMarna på "egna" fysiska diskar (eller ännu hellre SSD - där det naturligtvis går utmärkt att ha flera VMar på samma) och använder backup eftersom nertid inte kostar något här hemma och det är enkelt att återställa - även i en annan miljö med andra burkar om huset skulle brinna ner eller grejerna blir stulna.

Dock, om man är ute efter myyycket lagring så måste man ta sig runt den nuvarande begränsningen på VMDKns storlek som är ~2TB. Man kan ev. lösa det som ovan med passthrough till en VM, RDM (man måste ändra en inställning för att det ska vara möjligt att dela ut en SATA som RDM - jag har dock inte lyckats ändå) eller t ex köra en spanned volume över 2 VMDKs. Jag kör som sistnämnda lösningen med min filserver

3TB 7200rpm: Själva VMen på en VMDK och en VMDK med småfiler mm
2TB 5400rpm_1: VMDK på 1.8TB
2TB 5400rpm_2: VMDK på 1.8TB

Över de sistnämnda har jag i VMen (W2k8R2) skapat en spanned volume. Har funkat utmärkt i över ett år. Inget jag skulle ens fundera på i produktion men för hemmabruk och med backup så...

Du tycker att köra passthrough på ett (välrekommenderat) M1015 till FreeNAS/Openindiana låter som en krånglig lösning med många felkällor men kör själv med windows mjuvaru-raid som du spannat över två VMDK-containers?! Det låter i mina ögon betydligt mera upplagt för problem än t.ex ZFS som är otroligt beoprövat när det kommer till filservrar.

Om du har en relativt bra NAS så kan du köra iSCSI. Det är inte ovanligt att det finns stöd för sånt.

Jag tänkte om man använder denna server med ESXI, går det då att köra FreeNAS och dela ut hårddiskar på upp till 4TB?

Om du har en relativt bra NAS så kan du köra iSCSI. Det är inte ovanligt att det finns stöd för sånt.

Ja, om du antingen kör passthrough på ett kontrollerkort som stödjer +3TB eller delar ut hela satakontrollern på moderkortet. När du aktiverar passthrough på en enhet så kan enbart en VM använda den.

Du kan skapa en datastore i ESXi som är 64TB. Dock kan en VMDK (virtuell disk för en VM) bara vara max ~2TB. Alltså får man isf slå ihop flera VMDKs för att bygga en större volym i en VM (om man inte använder passthrough som dock ställer lite krav på hårdvarufunktioner). Man kan också använda RDM (Raw Device Mapping) men jag har själv inte fått det att funka, egentligen ska det inte fungera med SATA-diskar men det går att ändra en parameter och komma runt det. Kan vara skit bakom spakarna i mitt fall, har inte lagt ner min själ i att få det att funka heller.

Se FAQ här.

Du kan inte slå ihop dom till 1 stor VMDK, det du får göra är att skapa en volym i FreeNAS som använder båda dessa VMDKs. Se bara till att göra någon form av spanned volume (eller liknande) och inte en striping (RAID0) (i FreeNAS) på dessa VMDKs då dom tydligen ska ligga på samma fysiska disk. Annars skjuter man sig ganska mycket i foten prestandamässigt

Rätta mig om jag har fel, men det låter enklare att köra en dedikerad NAS.

EDIT: Eller kan jag göra så att jag kör ESXI på ett USB-minne på 4 GB, och kopplar in en http://www.komplett.se/k/ki.aspx?sku=327770&cks=ASS&assoc=B99... för SSD med VMDK för alla VM:er och kör alla andra SATA-portar för ren NAS-lagring?

Ja, alltså, min lösning är som sagt inte helt by the book. Jag tvivlar inte en sekund på att M1015 är ett bra kort för mjukvaruraid, men det finns ett antal "men":

# CPU, moderkort och BIOS måste supporta VT-d - inte nog med det - det måste dessutom fungera med ESXi, vilket såvitt jag fattat det är allt annat än helt säkert såvida ingen annan fått exakt samma grejer att funka. Alltså skulle det kunna sluta fungera med nästa patch till ESXi (vilket iofs kan hända med allt som inte finns på officiella whitelists från VMware)...

# Eftersom man förmodligen vill flasha M1015 med IT-firmware - så vill det till att det fungerar med något av de moderkort man har hemma. Det verkar inte gå att flasha detta kort med alla moderkort. Jag hade själv beställt ett tills jag insåg detta och då orkade jag inte riskera att få hålla på och testa mig fram, därför cancellerade jag ordern.

Visst är M1015 ett "välrekommenderat" kort, men jag tvivlar på att lösningen med passthrough->VM->iSCSI->host står med bland best practices så att säga - men det gör inte min lösning heller

En av de få fördelar jag kan se är att man då kan köra ZFS för dom som vill laja med sånt och därigenom få viss paritet. Det är möjligt att SSD-cachen (om man nu använder sån) gör att man får dräglig prestanda men jag undviker i det längsta (om jag får välja) att köra flera VMar på samma disk/ar pga prestanda.

Haha, får komma ihåg det
Huvudsaken är att det fungerar att kombinera det hela som diverseserver och NAS!

Något många redan varit inne på och som man måste komma ihåg är att det kräver lite extra att köra ESXI. Det lägger ett extra lager av komplexitet på lösningen. När man sen börjar köra passthrough eller andra varianter så blir det ännu lite mer problem.

Man kan alltså inte bara läsa lite här, köpa sakerna, och sen så lever ni lyckliga i alla dagar du och din server.
Nej, det här är något för den som är beredd på att det kommer att bli något strul på vägen. Men det kan vara kul och lärorikt.

Leker själv med den här servern och har stoppat i ett M1015, för passthrough till FreeNas. Min tanke är precis som många andra att köra NAS plus labbmiljö i samma server.

Jag vill inte skrämma bort någon från det här. Men man måste vara medveten om vad det är man ger sig in på.

Det är klart, men någonstans ska man ju börja, och om allt skulle skita sig så är det ju bara att installera Linux/Windows och köra med det istället (tappar virtualisering, men duger ändå för mina behov).