Permalänk
Medlem

Esxi5 storage + raid

Ska sätta upp en enkel vmware miljö hemma och behöver lite tips. Moderkortet har raid stöd (nforce4m-a). Funderar på ett raidkort istället max 500:- (kjell.com? jag vet, för de pengarna så får man inte hårdvaruraid). Är det bättre att köra på moderkortets raid istället. Ska jag ha local-storage eller lagra vmdks på en annan server med nfs?
Alltså, lokal storage på esxi servern med raid eller nfs storage på annan server med raid?
Hårdvaruraidkort för >1000:- känns som overkill för mig.
Som sagt detta är ingen överpresternade miljö utan en enkel hemma-nörd-miljö.

Permalänk
Medlem

Skippa RAID om du inte verkligen behöver det. ESXi funkar inte med mjukvaruRAID utan du behöver "riktiga" grejer.

Dessutom brukar lagringen (prestanda) vara den första flaskhalsen man råkar på, utom möjligen RAM då. Det är bättre att du sprider ut dina VM:ar över flera diskar istället, dvs kör dom på olika diskar.

Visst funkar NFS och det är nog bra i utbildningssyfte men jag känner mig ganska övertygad om att du får bättre prestanda med lokal lagring.

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem

Kör allt på samma server. Det är när man börjar få mer än en server och helst även har ett riktigt fibrechannelnät som man vinner på ett san.

Permalänk
Medlem

Lite intressant läsning angående olika lagringsinterface/protokoll:

https://communities.netapp.com/community/netapp-blogs/virtualstorageguy/blog/2010/01/06/new-vmware-and-netapp-protocol-performance-report

Kanske har hänt en del sedan dess dock, såg att det var ESX3 dom testade med

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem

Kan man installera esxi på en usb sticka och ha storage på raidade diskar på samma server? Kan man inte köra esxi på moderkortets raid om man gör så?

Permalänk
Medlem
Skrivet av perund:

Kan man installera esxi på en usb sticka och ha storage på raidade diskar på samma server? Kan man inte köra esxi på moderkortets raid om man gör så?

Edit: tänkte snett...

Ja, det BORDE gå att göra om moderkortet har stöd för Intel VT-d / AMD IO-MMU och det dessutom funkar med ESXi. Då bör man kunna dela ut RAID-kontrollern till EN VM, och sedan köra mjukvaruRAID i den. Men som sagt - mig veterligt kan man bara köra passthrough till EN VM åt gången vilket ju kanske inte är så konstigt då VM:en får exklusiv direktaccess till utdelad hårdvara. Dock bör man nog kolla om någon annan fått samma sak att funka på identisk hårdvara först, passthough verkar halvkinkigt eftersom en del kombinationer inte funkar trots att det bör göra det i teorin.

Du kan alltså bara nyttja diskar kopplade till den utdelade kontrollern från EN VM.

Dessutom måste du ha någonstans att lagra VM:en och om du delar ut kontrollern så återstår väl bara USB-minnet och det är nog inte lämpligt. Annars kan det ju gå med ytterligare en kontroller där man inte kör RAID.

Här finns bra inofficiella white lists etc. Kolla under VMDirectPath -kategorierna

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem
Skrivet av perund:

Kan man installera esxi på en usb sticka och ha storage på raidade diskar på samma server? Kan man inte köra esxi på moderkortets raid om man gör så?

Du kan installera esxi på raiden och spara dina maskiner på samma raid. Vi kör så på högskolan när vi labbar.

Permalänk
Medlem
Skrivet av jocke92:

Du kan installera esxi på raiden och spara dina maskiner på samma raid. Vi kör så på högskolan när vi labbar.

Ja, men inte på moderkortets RAID om du inte har en hårdvaru-RAID-kontroller integrerad och det är inte jättevanligt såvida det inte är ett workstation-mobo eller server-mobo.

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk

Du kan köra ESXI från ett usbminne och ge en av dina VM passthrough till sata-kontrollern. I det vm:et sätter du upp NAS som du får dela med dig till resten av dina maskiner. Och även till ESXI för datastorage. Det enda problemet blir vart du ska lägga den första maskinen, du kan inte lägga den på en sataplats så det får bli ett annat usbminne eller ett separat sata-kort. Lycka till

Visa signatur

Argaste

Permalänk
Medlem

Finns många raid kort väldigt billigt på ebay.com, köpte precis själv ett p400 med mera minne och batteri för 450 kr inkl frakt! http://www.ebay.com/itm/320900180485?ssPageName=STRK:MEWNX:IT...

Permalänk
Skrivet av ErikSkal:

Finns många raid kort väldigt billigt på ebay.com, köpte precis själv ett p400 med mera minne och batteri för 450 kr inkl frakt! http://www.ebay.com/itm/320900180485?ssPageName=STRK:MEWNX:IT...

Har du fått ditt kort? Jag är på jakt efter ett raidkort som fungerar i ESXi 5. Har funderat på Dell Perc 5/i, Perc 6/i, HP Smart Array P400i. Perc 5/i och P400i landar båda på runt 500kr medan Perc 6/i landar på strax under 1000kr (på ebay). Någon som har erfarenhet av något av korten?

Visa signatur

Intel Core i9 10900K | Gigabyte Z490 AORUS ELITE AC | Kingston 2x16GB DDR4 3600MHz CL 17 FURY | ASUS GeForce RTX 3080 10GB TUF GAMING OC | Corsair Force MP600 1TB | Corsair Carbide 275Q | Corsair RM750X V2 750W

Permalänk
Medlem
Skrivet av Andersson89:

Har du fått ditt kort? Jag är på jakt efter ett raidkort som fungerar i ESXi 5. Har funderat på Dell Perc 5/i, Perc 6/i, HP Smart Array P400i. Perc 5/i och P400i landar båda på runt 500kr medan Perc 6/i landar på strax under 1000kr (på ebay). Någon som har erfarenhet av något av korten?

Har kört en hel del P400 i G5'orna vi körde på jobb (dock enbart SAS diskar), perc5/i hade jag själv innan och körde 2st raid5 på den med SATA diskar (nackdel med den är hyfsat dålig fart & riktigt jäkla varm).

Tänkte faktiskt prova ett P400 kort nu ifrån länken ovan för det var ett riktigt bra pris.

Visa signatur

Viva las vegas....

Permalänk
Skrivet av Andersson89:

Har du fått ditt kort? Jag är på jakt efter ett raidkort som fungerar i ESXi 5. Har funderat på Dell Perc 5/i, Perc 6/i, HP Smart Array P400i. Perc 5/i och P400i landar båda på runt 500kr medan Perc 6/i landar på strax under 1000kr (på ebay). Någon som har erfarenhet av något av korten?

Jag vill passa på att varna för PERC 5/i tillsammans med ESXi 5 och DirectPath/VT-d: 5/i är inget "nativt" PCIe-kort, utan är istället byggt med en PCI-X-till-PCIe-brygga och DirectPath fungerar dåligt/inte alls med PCI-bryggor. Resultatet blir, när man slår på VT-d, att diskarna sporadiskt försvinner (jag råkade dessutom ut för korruption på mina) alternativt syns inte alls. Ett PERC 6/i i samma maskin (med Supermicro X9SCA-F) fungerar dock fint med VT-d påslaget.

Permalänk

Vad ska man ha för billigt RAID-kort om det integrerade på moderkortet (AMD-chipset) inte fungerar ihop med VMware vSphere (ESXi) 5.0? Jag har tittat lite på IBM ServeRAID BR-10il eftersom det verkar vara till rimligt pris, men är det värt det? Kan man använda ett IBM-RAID-kort till annan hårdvara än IBMs egna?

Visa signatur

CPU: AMD Phenom II X6 1090T Black Edition 3,2GHz | CPU-KYLARE: Zalman CNPS9500AM2 | MOBO: MSI 970A-G45 | CHASSI: Advance NeoXblade 8813B (Svart) | RAM: OCZ Gold XTC DDR3 PC15000/1866MHz CL10 LV 2x2GB + Corsair XMS3 DDR3 PC10666/1333MHz CL9 2x4GB -- totalt 12 GB | GPU: XFX Radeon HD5870 1GB | PSU: Cooler Master Real Power M620 620W | SSD: Intel X25-M G2 80GB

Permalänk
Medlem

Vill du ha ett riktigt raidkort eller bara ett HBA och köra mjukvaruraid på en virtuell maskin?

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Permalänk
Skrivet av Calle:

Vill du ha ett riktigt raidkort eller bara ett HBA och köra mjukvaruraid på en virtuell maskin?

Jag vill ha ett "riktigt RAID-kort" som gör att VMware - hypervisorn - bara ser EN logisk volym om jag sätter två diskar i RAID 1, t.ex.

Förtydligan...
Visa signatur

CPU: AMD Phenom II X6 1090T Black Edition 3,2GHz | CPU-KYLARE: Zalman CNPS9500AM2 | MOBO: MSI 970A-G45 | CHASSI: Advance NeoXblade 8813B (Svart) | RAM: OCZ Gold XTC DDR3 PC15000/1866MHz CL10 LV 2x2GB + Corsair XMS3 DDR3 PC10666/1333MHz CL9 2x4GB -- totalt 12 GB | GPU: XFX Radeon HD5870 1GB | PSU: Cooler Master Real Power M620 620W | SSD: Intel X25-M G2 80GB

Permalänk
Medlem
Skrivet av Calle:

Vill du ha ett riktigt raidkort eller bara ett HBA och köra mjukvaruraid på en virtuell maskin?

Vad menar du? En Host Bus Adapter är i princip ett I/O-kort med egen logik så ekvationen "mjukvaruraid" går inte ihop för mig.

Visa signatur

There are two kinds of people: 1. Those that can extrapolate from incomplete data.
Min tråkiga hemsida om mitt bygge och lite annat smått o gott: www.2x3m4u.net

Permalänk
Medlem
Skrivet av dataviruset:

Jag vill ha ett "riktigt RAID-kort" som gör att VMware - hypervisorn - bara ser EN logisk volym om jag sätter två diskar i RAID 1, t.ex.

Om du inte ska köra passthrough funkar t ex Dell Perc5/6 fint. Brukar gå att få loss rätt billigt på Ebay, har själv ett HP P410 kort som har funkat kanon. Annars är ju Areca fina grejer, men ofta betydligt dyrare. H

Skrivet av Dr.Mabuse:

Vad menar du? En Host Bus Adapter är i princip ett I/O-kort med egen logik så ekvationen "mjukvaruraid" går inte ihop för mig.

Ja, precis. Ett I/O-kort, populärt om man vill presentera kontrollern för sin virtuella maskin.

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Permalänk
Skrivet av Calle:

Ja, precis. Ett I/O-kort, populärt om man vill presentera kontrollern för sin virtuella maskin.

Alltså, ett kort som man nämner som HBA är alltså ett kort som presenterar RAID-kontrollern för en virtuell maskin eller hypervisorn, inte en logisk volym? Jag är förvirrad.

Visa signatur

CPU: AMD Phenom II X6 1090T Black Edition 3,2GHz | CPU-KYLARE: Zalman CNPS9500AM2 | MOBO: MSI 970A-G45 | CHASSI: Advance NeoXblade 8813B (Svart) | RAM: OCZ Gold XTC DDR3 PC15000/1866MHz CL10 LV 2x2GB + Corsair XMS3 DDR3 PC10666/1333MHz CL9 2x4GB -- totalt 12 GB | GPU: XFX Radeon HD5870 1GB | PSU: Cooler Master Real Power M620 620W | SSD: Intel X25-M G2 80GB

Permalänk
Medlem
Skrivet av dataviruset:

Alltså, ett kort som man nämner som HBA är alltså ett kort som presenterar RAID-kontrollern för en virtuell maskin eller hypervisorn, inte en logisk volym? Jag är förvirrad.

En HBA används ofta om man vill köra ZFS/mdam på en virtuell maskin och sätta upp raiden i den maskinen. HBA kortet har ofta rätt många SATA/SAS portar så man ansluta diskarna till kortet, aktivera passthrough i ESXi så den virtuella maskinen får direkt access till kortet och således direkt access till diskarna. Det funkar bra med ZFS eller mdam i linux.

Du delar sedan ut dina volymer över NFS/iSCSI tillbaka till ESXi som kan använda volymen som datastore för andra maskiner etc.

Men du kan inte sätta upp en RAID som VMWare kan använda för att skapa upp volymer med kortet. Vilket du vill göra, mao behöver du ett riktigt raidkort.

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Permalänk
Skrivet av Calle:

Men du kan inte sätta upp en RAID som VMWare kan använda för att skapa upp volymer med kortet. Vilket du vill göra, mao behöver du ett riktigt raidkort.

Jag vill skaffa ett RAID-kort som jag kan skapa en eller flera logiska volymer utifrån ett antal fysiska diskar. Mest intressant för mig just nu är att skapa EN logisk RAID 1-volym som baseras på två fysiska diskar. Jag vill att VMware endast ska kunna se denna enstaka logiska volym, precis som att det suttit endast en hårddisk i servern, inte två.

Visa signatur

CPU: AMD Phenom II X6 1090T Black Edition 3,2GHz | CPU-KYLARE: Zalman CNPS9500AM2 | MOBO: MSI 970A-G45 | CHASSI: Advance NeoXblade 8813B (Svart) | RAM: OCZ Gold XTC DDR3 PC15000/1866MHz CL10 LV 2x2GB + Corsair XMS3 DDR3 PC10666/1333MHz CL9 2x4GB -- totalt 12 GB | GPU: XFX Radeon HD5870 1GB | PSU: Cooler Master Real Power M620 620W | SSD: Intel X25-M G2 80GB

Permalänk
Medlem

Då borde ett IBM M1015 funka bra för dig, om du inte har planer på att utöka med fler diskar för att köra RAID5/6.

Lite länkar som du kan kika på om kortet:
http://www.ebay.com/sch/i.html?_trksid=p5197.m570.l1313&_nkw=...
http://www.servethehome.com/ibm-m1015-part-1-started-lsi-9220...
http://www.misco.se/product/product.aspx?P_ItemId=4922245&SL_...

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Permalänk
Medlem
Skrivet av dataviruset:

Alltså, ett kort som man nämner som HBA är alltså ett kort som presenterar RAID-kontrollern för en virtuell maskin eller hypervisorn, inte en logisk volym? Jag är förvirrad.

Nästan. En HBA är helt transparant för en VM, virtuell machine, och är egentligen bara en I/O-länk mellan hårdvara, t.ex SAN (lagring) och server (host). VM:arna ser bara de logiska volymerna (raidset/lun) som tilldelas dem.
Har du inget SAN eller DAS så finns det nog ingen anledning för dig att skaffa en HBA. Du kommer säkert mycket längre med ett gammalt hederligt raid-kort.
Dock så kräver kort som klarar raid5/6 lite mer än raid0/1/10 och brukar följdaktligen också kosta en slant då de är utrustade med minne och ibland även batteribackup/flash.

Visa signatur

There are two kinds of people: 1. Those that can extrapolate from incomplete data.
Min tråkiga hemsida om mitt bygge och lite annat smått o gott: www.2x3m4u.net

Permalänk

Då antar jag att jag kör på ett IBM M1015 eftersom det verkar finnas med på VMware I/O Compatibility Guide.
Kan jag använda en sån här kabel för att ansluta mina två diskar till kontrollerkortet som har porten mini-SAS (SFF-8087)? Eller måste man ha en kabel som har precis så många utgångar som kontakten på kontrollerkortet stödjer?

Visa signatur

CPU: AMD Phenom II X6 1090T Black Edition 3,2GHz | CPU-KYLARE: Zalman CNPS9500AM2 | MOBO: MSI 970A-G45 | CHASSI: Advance NeoXblade 8813B (Svart) | RAM: OCZ Gold XTC DDR3 PC15000/1866MHz CL10 LV 2x2GB + Corsair XMS3 DDR3 PC10666/1333MHz CL9 2x4GB -- totalt 12 GB | GPU: XFX Radeon HD5870 1GB | PSU: Cooler Master Real Power M620 620W | SSD: Intel X25-M G2 80GB

Permalänk
Medlem

Det räcker med en kabel, då kan du koppla in 4st diskar!

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Permalänk
Avstängd
Skrivet av dataviruset:

Jag vill skaffa ett RAID-kort som jag kan skapa en eller flera logiska volymer utifrån ett antal fysiska diskar. Mest intressant för mig just nu är att skapa EN logisk RAID 1-volym som baseras på två fysiska diskar. Jag vill att VMware endast ska kunna se denna enstaka logiska volym, precis som att det suttit endast en hårddisk i servern, inte två.

Det här går att göra och är väldigt populärt. Det finns en mega tråd om precis det du försöker göra med ESXi och tråden är extremt stor:
http://hardforum.com/showthread.php?t=1573272

Lite kort funkar det så här. Du köper t.ex ett IBM M1015 kort för 1000kr. Det är ett helt vanligt kort med 8st SATA diskplatser (* se längst ned). Kortet är inte ett raid kort, det är bara ett vanligt kort. Koppla in 8st SATA diskar till kortet. Via ESXi så installerar du en OpenSolaris virtuell maskin som får direkt tillgång till M1015 kortet (passthrough). Via OpenSolaris så kan du skapa ett raid av typen ZFS. Sen installerar du en virtuell maskin Windows i ESXi. Då kan du koppla upp Windows VM till OpenSolaris VM via NFS/CIFS/Samba/... för att lagra data på ZFS raidet.

(*) IBM M1015 är ett rebrandat LSI2008 SAS kort. LSI2008 kort är dyra och pålitliga och seriösa Enterprise grejor. Egentligen kostar LSI kortet typ 4000kr. Så du kan köpa ett LSI2008 kort, eller M1015 kortet. Det är samma kort.

Kortet är ett SAS kort, inget SATA kort. Du måste alltså ha special kablar för att koppla SATA diskar till kortet, men det går bra och många gör det. Kablarna heter SFF8087 tror jag. Men det finns olika typer av SFF8087 kablar, så kolla detta noga innan du köper kablar, fråga på forumet i länken ovan.

En vanlig kombo är LSI 2008 kort + ZFS. ZFS är ju Enterprise grejor, så denna kombo är mycket seriös och används av stora servrar. Du kommer upp i typ 1GB/sek med denna kombo. Det är ett pålitligt och snabb kombo, och det är skälet att det är så populärt. Seriös Enterprise lagring för en billig penning.

Permalänk
Skrivet av saddam:

Du köper t.ex ett IBM M1015 kort för 1000kr. Det är ett helt vanligt kort med 8st SATA diskplatser (* se längst ned). Kortet är inte ett raid kort, det är bara ett vanligt kort.

Jag hade tänkt skipa allt det där med ZFS utan köra RAID direkt på kortet trots att det ger något sämre prestanda. Ska köra RAID 1 till en början.
Jag kan dock tänka mig att ZFS ger märkbart bättre prestanda med t.ex. RAID 10.

Visa signatur

CPU: AMD Phenom II X6 1090T Black Edition 3,2GHz | CPU-KYLARE: Zalman CNPS9500AM2 | MOBO: MSI 970A-G45 | CHASSI: Advance NeoXblade 8813B (Svart) | RAM: OCZ Gold XTC DDR3 PC15000/1866MHz CL10 LV 2x2GB + Corsair XMS3 DDR3 PC10666/1333MHz CL9 2x4GB -- totalt 12 GB | GPU: XFX Radeon HD5870 1GB | PSU: Cooler Master Real Power M620 620W | SSD: Intel X25-M G2 80GB

Permalänk
Avstängd

Jag tror inte ZFS ger högre prestanda än ett hw-raid kort om du använder få diskar. Men om du börjar använda 50 diskar eller mer, så ger ZFS bättre prestanda. T.ex. använderju en superdator 55.000 TB disk, och då ger ZFS runt 1TB/sek.

Poängen med ZFS är att det är gratis, och du inte behöver något dyrt raid kort.

Permalänk
Skrivet av saddam:

Jag tror inte ZFS ger högre prestanda än ett hw-raid kort om du använder få diskar. Men om du börjar använda 50 diskar eller mer, så ger ZFS bättre prestanda. T.ex. använderju en superdator 55.000 TB disk, och då ger ZFS runt 1TB/sek.

Poängen med ZFS är att det är gratis, och du inte behöver något dyrt raid kort.

Jo, det är klart. Med mina behov skulle man ju faktiskt kunna plugga in alla diskar i moderkortets inbyggda lagringskontroller, låta en VM ta hand om alla enskilda diskar och därefter köra ZFS och dela ut dem med NFS eller något. Jag har noterat tipset, så att säga, men jag har redan beställt mitt M1015 och kommer köra det med två diskar nu till att börja med, så då är det inte mycket att pilla med

Visa signatur

CPU: AMD Phenom II X6 1090T Black Edition 3,2GHz | CPU-KYLARE: Zalman CNPS9500AM2 | MOBO: MSI 970A-G45 | CHASSI: Advance NeoXblade 8813B (Svart) | RAM: OCZ Gold XTC DDR3 PC15000/1866MHz CL10 LV 2x2GB + Corsair XMS3 DDR3 PC10666/1333MHz CL9 2x4GB -- totalt 12 GB | GPU: XFX Radeon HD5870 1GB | PSU: Cooler Master Real Power M620 620W | SSD: Intel X25-M G2 80GB

Permalänk
Avstängd

Många kör ZFS därför att det skyddar dina data mot korruption. Det gör inte raid kort.

Läs här:
#12339947