Raid controller för ESXi/Hyper-V

Permalänk
Medlem

Raid controller för ESXi/Hyper-V

Hej!

Jag har förmodligen bestämt mig för att lämna all in one tänket angående ESXi, FreeNAS och NFS/iSCSI och gå över till local storage med hårdvaru RAID. Jag eftersöker nu därför ett bättre raid kort med write cache och batteri backup för en vettig prislapp (1000-2000kr) som kan ersätta mitt m1015. Jag har tänkt köra Raid 5 med 4st WD RED diskar.

Vmware hardware compatibility list känns ibland som är rymdforska och därför vänder jag mig nu till er för lite tips och råd angående detta. Någon som har några förslag?

Trevlig kväll!

// Anthon

Visa signatur

[Intel Core i5 2500k] [Asus P8Z68-V Pro] [2x ATI 6950 1gb] [Fractal Design XL] [Corsair HX 750W] [Corsair 16Gb 1600MHz] [OCZ SSD Vertex3 120GB]

Permalänk
Medlem

Ska du handla beggat? Raid5 kommer aldrig bli särskilt snabbt tror jag, dock.

Visa signatur

En server här, några servrar där.

Permalänk
Medlem
Skrivet av moron:

Ska du handla beggat? Raid5 kommer aldrig bli särskilt snabbt tror jag, dock.

HW-kort med batteri för 1-2000kr kommer han inte få tag på ett nytt.
Varför skulle inte raid5 bli snabbt?
Med 4st WD Red kommer han hamna på dryga 400mb/s i läs/skriv. Detta är i mina ögon rätt bra.
Utökar han sedan med diskar så kommer det öka iaf med 100mb/s per disk så 5 diskar skulle ge minst 500mb/s skriv och läs i raid5
Då får han lite utrymme med om man skulle jämföra med den snabbare raid0 där han nästan garanterat
förlorar data en dag. Köra raid10 är alternativ men man förlorar för mycket utrymme i paritet sen blir det slöare än raid5 i denna konfiguration.

Permalänk
Medlem

3ware 9690SA-4I (endast 4 portar, finns varianter med flera) fungerar, dock bara officiellt stöd till 5.0 eller 5.1. I 5.5 får man installera drivisen manuellt, hämtas från VMware, fick inte den från 3Ware (LSI) att fungera :-/ Bör gå att hitta hyfsat billigt men det finns förmodligen bättre alternativ.

Finns på Ebay: http://www.ebay.com/sch/i.html?_trksid=p2050601.m570.l1313.TR0.TRC0.H0.X3ware+9690SA-4I&_nkw=3ware+9690SA-4I&_sacat=0&_from=R40

Har för mig att BBU (ny) kostade runt 1200:- när jag kollade, förmodligen plus moms.

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem
Skrivet av Stylaren:

Hej!

Jag har förmodligen bestämt mig för att lämna all in one tänket angående ESXi, FreeNAS och NFS/iSCSI och gå över till local storage med hårdvaru RAID. Jag eftersöker nu därför ett bättre raid kort med write cache och batteri backup för en vettig prislapp (1000-2000kr) som kan ersätta mitt m1015. Jag har tänkt köra Raid 5 med 4st WD RED diskar.

Vmware hardware compatibility list känns ibland som är rymdforska och därför vänder jag mig nu till er för lite tips och råd angående detta. Någon som har några förslag?

Trevlig kväll!

// Anthon

Sök på ebay tycker jag. Bästa är ju något Areca kort. Du kan säkert hitta på nätet vilka stödjer 4tb diskar.
Men Areca är nog bäst vad det gäller kompatibilitet och speed.
Lycka till!

Permalänk
Medlem
Skrivet av cabraja:

HW-kort med batteri för 1-2000kr kommer han inte få tag på ett nytt.

Jag vet...

Skrivet av cabraja:

Varför skulle inte raid5 bli snabbt?
Med 4st WD Red kommer han hamna på dryga 400mb/s i läs/skriv. Detta är i mina ögon rätt bra.
Utökar han sedan med diskar så kommer det öka iaf med 100mb/s per disk så 5 diskar skulle ge minst 500mb/s skriv och läs i raid5
Då får han lite utrymme med om man skulle jämföra med den snabbare raid0 där han nästan garanterat
förlorar data en dag. Köra raid10 är alternativ men man förlorar för mycket utrymme i paritet sen blir det slöare än raid5 i denna konfiguration.

Faktiskt nyheter för mig, jag var/är övertygad om att raid5 är segt

Visa signatur

En server här, några servrar där.

Permalänk
Medlem
Skrivet av moron:

Jag vet...

Faktiskt nyheter för mig, jag var/är övertygad om att raid5 är segt

Du har helt rätt. Det var så men nu är korten så bra att det blivit tvärtom
Samma med mjukvaruraid.
Jag har servern i sign och har nästan linjär hastighet fast jag kör mjukisraid.
Och det är ju tack vare cpu har blivit mycket bättre och snabbare så skillnaden i hastighet mellan hw raid och mjukisraid
är ganska minimal med bra cpu i burken.

Permalänk
Medlem

Fast eftersom TS verkar ha avsikten att bl a köra ESXi så är ju mjukisraid uteslutet såvida TS inte tänker kludda med passthrough och en VM som sköter lagringen. Med tanke på att BBU efterfrågas så tvivlar jag på att så är fallet

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem

Det kan säkert stämma (blir galen på att läsa om raid5 vs 10 på vissa sidor för trådarna slutar alltid i att det "inte är värt priset för dataförlust").
Nåja, men dom hastigheterna så ska man nog vara nöjd.

Visa signatur

En server här, några servrar där.

Permalänk
Medlem
Skrivet av Micke O:

Fast eftersom TS verkar ha avsikten att bl a köra ESXi så är ju mjukisraid uteslutet såvida TS inte tänker kludda med passthrough och en VM som sköter lagringen. Med tanke på att BBU efterfrågas så tvivlar jag på att så är fallet

Jo jag är med helt jag tog med det bara för att förklara att även mjukisraid blivit snabbare.
Tidigare var det väldigt stor skillnad mot hw raid. Speciellt raid med paritetsdiskar.
Ska han labba med esxi och diverse är ju hw som gäller.

Permalänk
Medlem
Skrivet av Micke O:

Fast eftersom TS verkar ha avsikten att bl a köra ESXi så är ju mjukisraid uteslutet såvida TS inte tänker kludda med passthrough och en VM som sköter lagringen. Med tanke på att BBU efterfrågas så tvivlar jag på att så är fallet

Tack till er alla som har engagerat er i detta, just nu kör jag faktiskt en virtuell Ubuntu med passthrough till mina WD diskar, kör RAID 5 och får riktiga bra prestanda mot ESXi.

Har dock ett Dell Perc 6i på igång från ebay med kablage och batteri. Får se hur det presterar när det kommmer!

// Anthon

Visa signatur

[Intel Core i5 2500k] [Asus P8Z68-V Pro] [2x ATI 6950 1gb] [Fractal Design XL] [Corsair HX 750W] [Corsair 16Gb 1600MHz] [OCZ SSD Vertex3 120GB]

Permalänk
Medlem

Återkom gärna med tester mot m1015. Perc 6i är väl ett 2-300 kr kort så du kommer långt under budget iaf

Visa signatur

En server här, några servrar där.

Permalänk
Medlem
Skrivet av moron:

Återkom gärna med tester mot m1015. Perc 6i är väl ett 2-300 kr kort så du kommer långt under budget iaf

Absolut, kan lägga upp lite bilder ikväll på prestandan jag får med m1015.

Visa signatur

[Intel Core i5 2500k] [Asus P8Z68-V Pro] [2x ATI 6950 1gb] [Fractal Design XL] [Corsair HX 750W] [Corsair 16Gb 1600MHz] [OCZ SSD Vertex3 120GB]

Permalänk
Medlem

Som lovar så kommer här lite prestanda siffror.

Kan väl börja med att berätta lite om min konfiguration.

Jag har installerat Ubuntu 13.10 med 8 kärnor och 8GB RAM på en lokal disk på min ESXi maskin. Jag kör sedan passtrough via IBM1015 till Ubuntu maskinen som sedan kör mjukvaru raid:en mdadm i RAID 5. Från Ubuntu maskinen delar jag just nu ut både NFS och iSCSI storage till ESXi hosten i test syfte till jag bestämt mig för vad jag skall köra. Nu kan dessa prestanda siffror se väldigt bra ut men jag har då jag antar att RAM:et går in och hjälper till i dessa tester. Samtliga tester har jag gjort på en virtuell Windows server 2008 som fått hoppa i mellan de olika datastoren. Testerna med HDTune där jag testar diskarna med en fil på 16GB borde dock vara mer korrekta. Alla testar har också varit på ett eget virtuellt nät där jag satt MTU:n till 9000 över hela nätet. Sedan kör jag också iSCSI i IOMode=wb och NFS i async vilket är lite riskabelt då man kan förlora data vid tillexempel strömavbrott eller hårdvaru fel. Men som sagt, jag testar ännu så jag bryr mig inte om detta. UPS står i alla fall högt upp på prio listan.

ATTO / iSCSI IOMode=wb

ATTO / NFS async

CDM / iSCSI IOMode=wb

CDM / NFS async

HDTune / iSCSI IOMode=wb

HDTune / NFS async

Enligt statistiken så ser ju NFS ut att vara snabbare men av någon anledningen som upplever jag att när jag kopierar filer tillexempel i testen via HD tune så är iSCSI snabbare. Jag har även testat kopiera en dummy fil på 16GB mellan två interna diskar på en windows maskin och där är iSCSI överlägset. Se nedan resultat:

iSCSI
From E: to D:
File 16GB copy minimum: 240MB/s

NFS
From E: to D:
File 16GB copy minimum: 120MB/s

Som sagt så väntar jag ännu på ett Dell Perc 6i, skall bli intressant att se vad det kan prestera. Om jag känner mig nöjd med det så behöver jag inte använda mitt M1015 som passthrough och inte heller köpa en UPS.

Visa signatur

[Intel Core i5 2500k] [Asus P8Z68-V Pro] [2x ATI 6950 1gb] [Fractal Design XL] [Corsair HX 750W] [Corsair 16Gb 1600MHz] [OCZ SSD Vertex3 120GB]

Permalänk
Medlem

Har du tilldelat burken 8 kärnor!! Hmms, känner att mina 4 är lite mycket men 8:a!! Behöver du verkligen så många kärnor till Ubuntu? Och, varför 13.10 när nu 14.04 LTS släppts? Vet att en del sagt att det är lite ostabilt men jag har kört det sedan släppdagen, inga som helst problem.

Visa signatur

Dator: Gigabyte Z390 i7-9700 32gig RAM DDR4 RTX 2080

Permalänk
Medlem
Skrivet av Chichin:

Har du tilldelat burken 8 kärnor!! Hmms, känner att mina 4 är lite mycket men 8:a!! Behöver du verkligen så många kärnor till Ubuntu? Och, varför 13.10 när nu 14.04 LTS släppts? Vet att en del sagt att det är lite ostabilt men jag har kört det sedan släppdagen, inga som helst problem.

Yes, jag vet att det är overklill men jag ville inte ha något som kunde påverka eller dra ner prestanda testerna jag har gjort mot disk. Om detta nu blir den lösning jag vill köra så kommer jag säkerligen gå ner till 2-4 kärnor och 4GB RAM.

// Anthon

Visa signatur

[Intel Core i5 2500k] [Asus P8Z68-V Pro] [2x ATI 6950 1gb] [Fractal Design XL] [Corsair HX 750W] [Corsair 16Gb 1600MHz] [OCZ SSD Vertex3 120GB]

Permalänk
Medlem
Skrivet av Stylaren:

Yes, jag vet att det är overklill men jag ville inte ha något som kunde påverka eller dra ner prestanda testerna jag har gjort mot disk. Om detta nu blir den lösning jag vill köra så kommer jag säkerligen gå ner till 2-4 kärnor och 4GB RAM.

// Anthon

Du är väl medveten om att ifall du tilldelar VMen flera kärnor än nödvändigt så kan det faktiskt påverka prestandan negativt pga att schedulern komlmer att få mera att göra? Någon annan kan säkert förklara varför det är så på ett bättre sätt än vad jag kan.

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem

Smutt. Vad är det för diskar?

Visa signatur

En server här, några servrar där.

Permalänk
Medlem
Skrivet av moron:

Smutt. Vad är det för diskar?

4st WD Red 2TB

Visa signatur

[Intel Core i5 2500k] [Asus P8Z68-V Pro] [2x ATI 6950 1gb] [Fractal Design XL] [Corsair HX 750W] [Corsair 16Gb 1600MHz] [OCZ SSD Vertex3 120GB]

Permalänk
Medlem

Sauwtan... att dom var så snabba. Dags för mig att omvärdera

Visa signatur

En server här, några servrar där.

Permalänk
Medlem
Skrivet av moron:

Sauwtan... att dom var så snabba. Dags för mig att omvärdera

Ja, är själv lite förvånad över detta! Körde ju samma diskar när jag körde FreeNAS och zfs och då hade jag inte alls denna prestanda! Men som sagt jag har inte riktigt förstått hur minnet på Ubuntu servern hanterar dessa tester och hur mycket dom hjälper till! Därför skall det bli väldigt intressant när jag kan testa med mitt andra raid kort som är på ingång! Men att Raid 5 är segt är något du fått om bakfoten!

// Anthon

Visa signatur

[Intel Core i5 2500k] [Asus P8Z68-V Pro] [2x ATI 6950 1gb] [Fractal Design XL] [Corsair HX 750W] [Corsair 16Gb 1600MHz] [OCZ SSD Vertex3 120GB]

Permalänk
Medlem
Skrivet av Stylaren:

Men att Raid 5 är segt är något du fått om bakfoten!

// Anthon

Inte bara bakfoten, hela bak...benet (?).. eh

Visa signatur

En server här, några servrar där.