Storage Spaces i 2012 R2

Permalänk
Medlem

Storage Spaces i 2012 R2

Har labbat lite med Storage Spaces och finner att det verkar ha problem med prestandan vad gäller skrivning.
Får värdelösa resultat när man kör benchmarks.

Är det fler som har stött på detta problemet?

Kör en "RAID 5" på 6st 2TB diskar. Kört samma typ av lösning med ZFS i Nas4Free och fick mycket bättre skrivning.
Samma sak med Software RAID i Nas4Free.

Några tankar kring detta?

Permalänk
Avstängd

Skapar du en diskpool med Paritetsutrymme förlorar du prestanda enligt Microsoft. Jag körde ett tag med 5 SSD-diskar men som enkel disk och skriv/läs var ungefär som med single disk.

Ska ju nu använda en dator som server och köra med Partitetsutrymme och får se om det blir långsamt. Klurade dock inte ut vilket som ger bästa plats, Spegling eller Partitetsutrymme?

Citat:

Simple spaces are designed for increased performance, but don't protect your files from drive failure by keeping multiple copies. They're best for temporary data (such as video rendering files), image editor scratch files, and intermediary compiler object files. Simple spaces require at least one drive.

Mirror spaces are designed for increased performance and protect your files from drive failure by keeping more than one copy. Two-way mirror spaces make two copies of your files and can tolerate one drive failure, while three-way mirror spaces can tolerate two drive failures. They're good for storing a broad range of data, from a general-purpose file share to a VHD library. When a mirror space is formatted with the Resilient File System (ReFS), Windows will automatically maintain your data integrity, which makes your files even more resilient to drive failure. Two-way mirror spaces require at least two drives, and three-way mirror spaces require at least five.

Parity spaces are designed for storage efficiency and protect your files from drive failure by keeping more than one copy. Parity spaces are best for archival data and streaming media, like music and videos. This storage layout requires at least three drives to protect you from a single drive failure and at least seven drives to protect you from two drive failures.

Visa signatur

Höghastighetsfiber är livet :)

Permalänk
Medlem

Jo jag vet hur det fungerar.

Dock kvarstår problemet med värdelös skrivprestanda. Tror MS har mycket jobb kvar på den funktionen innan man kan nyttja det till något vettigt.

Permalänk
Avstängd

Ska se om jag också får värdelös skrivprestanda när jag kopierat färdigt allt fån Nasen och kan köra igång Storage Spaces.

Håller alltså på att kopiera några TB till USB-diskar och ska sedan flytta Nasens diskar till datorn, formatera och plocka ur diskarna från USB-kabinetterna undan för undan när jag kopierat över datan.

Läst på lite mer nu och Parity spaces drar ner skrivhasigheten enormt. Men ska ha det till lagring så kanske ändå.

Visa signatur

Höghastighetsfiber är livet :)

Permalänk
Medlem

Enligt tester man läst, och tester en bekant gjort:
Ja, de får riktigt usla skrivhastigheter. MS lyfter fram flexibiliteten och så, men prestanda förlusten är för stor för att jag ska använda den iaf.

De säger att den ska vara bra, men verkar inte vara det i praktiken.
(Nu var det ett tag sedan jag tittade på det senast, så de kan ha förbättrat det)
http://arstechnica.com/information-technology/2012/10/storage...
http://www.sgvulcan.com/2014/11/04/benchmark-comparison-of-in...

Hittade en liten nyare artikel om det:
http://tecfused.com/2014/11/14/storage-spaces-and-parity-slow...
Om du har UPS, så kan du få upp hastigheten rätt mycket.
Annars är det SSD cache som gäller.

Permalänk
Avstängd

Min egen erfarenhet från när jag testade i somras:

25MB/sec vid skrivning och runt 300MB vid läsning (eller snarare var det så snabbt mina andra diskar kunde skriva).
Väldigt stabilt, tog jag bort diskar så rapporterade och agerade systemet där efter.

Får nästan själv avgöra om prestandan är ok eller ej.

Permalänk
Avstängd

Testade lite smått febrig med 25 GB Dokumentfolder från 2,5 disk som suttit i en laptop till Storage Spaces (Parity spaces) bestående av 3 st 2 TB diskar. Man tjänar ungefär 600 GB istället för ha de speglade och står jag ut med skriv och läs tiden behåller jag detta.

Blev till slut hejdlös kopiering. 3 usb-diskar och fd laptop-disken. Orkar inte dra över en disk i taget även att jag vet att det tar längre tid att dra över allt samtidigt. Blir rätt ingående dokumentering också så man inte tappar bort sig. Alla diskar är märkta.

Lite OTA

Var i helgen och köpte en Seagate Desktop HDD 2TB 7200RPM som NetOnNet rear ut en batch för under 900 kr. Hade inte så mycket förväntningar på den men blev förvånad av att den är så tyst. Lika tyst som dyrare diskar. Hade två dyra Nas-diskar i Nasen som jag raderade och flyttade över till datorn (därav den hejdlösa backup kopiering). Dessa 2TB Hitachi diskar väsnas inte mindre än den billiga rackaren jag köpte och nu får hjälpa till i Storage Space.

Visa signatur

Höghastighetsfiber är livet :)

Permalänk
Medlem

SMB överföring är inte så super intressant.

Screenshotsen säger inte mig så mycket.
Det jag kan säga är att jag låg på drygt 60MB/s skrivning med Storage spaces och med tex ZFS i liknande konfiguration strax över 100MB/s.

Låg helt ok till på läsningen men att ha en lagring som har bra läs men inte skriv tycker inte jag är en hållbar lösning.

Permalänk
Avstängd

Jag är i alla fall nöjd med det färdiga resultatet. Är busförkyld så fick pilla lite då och då. Fungerar till det jag ska använda det till: Streama film, foton mm.

Håller dock med om att Parity spaces är långsam om man kopierar mycket eller katastrof om man skulle arbeta mot diskarna tex: Hyper-V maskiner, men för det jag ska ha det till är det helt perfekt.

Kan dock ändra uppfattning senare så sparar alla USB-Backupper. De hårdiskarna väsnas ändå för mycket för att kunna användas i dagligt bruk. Hyoer-V mm kommer jag köra från en särskild hårddisk.

Visa signatur

Höghastighetsfiber är livet :)

Permalänk
Medlem

Jag tycker inte att man ska känna sig nöjd när man har hårdvara som kan prestera så mycket bättre.
Samt att en så pass långsam lagring hade gått en på nerverna när man jobbar med större filer.

Permalänk
Medlem

Vad har du satt för storlek på WBC? (WriteBackCache)

Visa signatur

Medlem #14

Permalänk
Avstängd
Skrivet av Danne:

Jag tycker inte att man ska känna sig nöjd när man har hårdvara som kan prestera så mycket bättre.
Samt att en så pass långsam lagring hade gått en på nerverna när man jobbar med större filer.

Ger nu upp storage spaces, Du har rätt. Är ett stort misslyckande från Microsoft.

Visa signatur

Höghastighetsfiber är livet :)

Permalänk
Medlem
Skrivet av stormense:

Ger nu upp storage spaces, Du har rätt. Är ett stort misslyckande från Microsoft.

http://s26.postimg.org/5936bu53d/langsam_filkopering.jpg

Shit. Vet det var långsamt, men att floppy-disketter skulle vara snabbare visste jag inte.

Permalänk
Medlem

Ni måste ju göra något fel eller så är det rysligt dåligt att köra med just paritet?

Jag har 2st speglade WD RED 2TB diskar i en HP n54l och presterar ruskigt bra för mig, jag gjorde ett litet snabbt test och kopierade en isofil fram och tillbaka via nätverket från min lokala burk som har en SSD disk och det är utan tvivel nätverket som flaskar min prestanda. Nu vet jag iofs inte om iso filer är ovanligt lättskrivna och ni har något ovanligt svårskrivet?

Från min speldator till servern

Från servern till min speldator

Visa signatur

Numer nästan helt drogfri!

Permalänk
Avstängd

Glömde tyvärr och helt rätt är paritet något man nog bör undvika. Ska dock hjälpa rätt bra med en UPS med usb som kan stänga av systemet vid strömavbott. Ska vara något som kör i bakgrunden när det gäller paritet för att inte förstöra diskinformationen när strömmen går.

På annan dator kör jag disklänkning av en bunt SSD för spel. Blir nog samma på min server: http://www.sweclockers.com/forum/6-lagring/990691-disklankand... f

Visa signatur

Höghastighetsfiber är livet :)

Permalänk
Medlem

Ja det verkar ju finnas en hel del att tänka på vad gäller detta när jag läste runt lite mer med

Och en UPS är ju lite av något obligatoriskt att ha om man vill vara säker på att inte få några korrupta filer... Jag kör då en inte allt för stor APC Smart UPS på typ 750VA som kommunicerar med mina två servrar via nätverket och som funkar kanon och ger servrarna typ 5-10 minuter på sig att stänga ned om strömmen inte kommer tillbaka väldigt snabbt Väldigt väldigt tacksamt att ha det via nätverk då det går köra samma till flera servrar om man har ganska strömsnåla saker

Visa signatur

Numer nästan helt drogfri!

Permalänk
Medlem

Har på jobbet experimenterat/Labbat med Storage Spaces och måste i ärlighetensnamn skriva att jag inte fattar poängen med det.
Har köpt in labb-utrustning för runt 30 000.- och inte lyckats med att får som bäst ut runt 170Mbit, och jag lovar jag har testat _allt_!
(Även kört en spegling av våran DRP i det och har bara halkat efter i tid, hela tiden, ruskigt dålig prestanda)
Vill man ha prestanda lokalt på en burk kan du till och med köra Intels inbyggda för ett bättre liv prestandamässigt, så jag tror att detta troligen är något som kommer bakas samman i en större plan för som sig själv står sig produkten inget vidare...
Tyvärr har jag inga bra svar på vad det skulle kunna vara då prestandan är så ruskigt dålig, har inte riktigt heller sett när prestandan är som "bäst", vid 1 eller "n" antal diskar! ett sorgligt kapitel i historieboken, helt klart i paritet med "microsoft Bob"....

Permalänk
Medlem

Får bra speed på mina storage spaces iaf 2x WD Black Raid 0

Visa signatur

13900KS | 32GB 6400 DDR5 | 4090 FE | Samsung G8 Oled
ASUS ROG Strix Z790-F Gaming | Fractal Torrent White | Corsair HX1200

Permalänk
Medlem

Förstår inte heller problemet, gillar storage spaces skarpt. Kört ZFS i många många år, men smidigheten i att confa storage spaces i GUI är ju awesome.
Gillar även hur enkelt det är att skapa större volymer än man har yta, samt att man enkelt kan köra både vanlig raid och paritet mot samma diskar!

Har inga som helst problem med prestandan, läsning från servern dippar lite men det beror nog mer på att disken i min workstation är lite saggig.
Filen är 3 gig stor.
Detta är mot en disk med paritet.
I botten 4 st WD-red diskar, 3TB. Supermicromobo med 3,3 ghz xeon och 32 gig minne.

Workstation->Server

Server->Workstation

Edit:
IBM M1015 raidkort som är flashat med IT-firmware så man får JBOD.

Permalänk
Medlem

Konfigureringen och driften av SS kan jag hålla med om är väldigt enkel och smidig, och som virtualiserad lagring är tänket från microsoft rätt, men prestanda mässigt är det inget vidare.
Jag vet inte hur ni satt upp det men 93MB/s i en RAID0 är inget vidare enligt mig, 113 över nätverk är å andra sidan helt ok men det säger inget om prestandan i disksystemet.

I min setup där jag också kör WD-black (WD3003FZEX) får jag ut, i genomsnitt, 115MB/s per disk.
Med Storage Space och Resiliency påslaget kommer jag upp i, som bäst, ~250MB/s läs och ~170 skriv. vid random skrivningar (från olika källor till samma storage space) kommer jag upp i fantastiska 60MB/s...

Jag har då 8st diskar kopplade på 2 separata SAS/SATA controllers (ett gammalt beprövat adaptec 6445 och ett avago/LSI 9300),
allt sitter i en realtivt till åren kommen supermicro (X9DRW) med 128Gb ram och dubbla xeon proppar.
på moderkortets inbyggda portar sitter 4 st intel DC s3700 (tyvärr har kortet bara 2st sata3.0 portar så 2 av diskarna sitter på 2.0 portar), dessa diskar bootar bara upp på och sen kopierar dom bara data till/från mot storage space lagringen (dessa använder jag alltså inte för tiering i exemplet ovan).
Enligt microsoft skall jag kunna komma upp i runt 1000MB/s med denna setup vilket jag är ganska duktigt långt ifrån att nå.
Jag har nog lagt runt 80 timmar på att få ut någon vettig prestanda, men nej, det fungerar bara inte...

den som bor i Göteborg kan droppa ett PM till mig och låna servern alternativt accessa den via IPMI, den som får upp den i iaf 600MB/s anställer jag...

Permalänk
Medlem
Skrivet av BasseBaba:

...[/img]

Skrivet av Oneone:
Skrivet av Khamel:

Från min erfarenhet när jag testade paritet RAID (dvs inte RAID 0 eller 1).
Skrivhastigheten är fullständigt usel. Single disk prestandan är en boost jämfört.
Läs hastigheten kunde man leva med, men det gick inte att göra tunga IOPs utan att det skulle få problem.
Dessa problem har jag inte på tex FreeNAS eller med Intels RAID system.

Till er ovan säger jag, sluta kopiera 4GB med en fil, och testa kopiera 4000 filer a 1MB istället så ska ni se prestandan dyka. Att kopiera en fil på det sättet ni gör, maxar HDD och nätverk, sk bästa fall scenario, och inte verklighetsbaserat för flera användare.

Testa gärna kopiera från diskarna på en dator och kopiera in filer från en annan dator (även om det är er berömda 4GB fil).

Och jag vill gärna se någon av er ta er an ^bC^´s utmaning...

Permalänk
Medlem

Frågar igen.
Vad har ni som får dålig prestanda satt för storlek på WBC? (WriteBackCache) ?

Visa signatur

Medlem #14

Permalänk
Medlem
Skrivet av JenzA:

Frågar igen.
Vad har ni som får dålig prestanda satt för storlek på WBC? (WriteBackCache) ?

har testat runt mellan allt och inget...
mest rättvist resultat får jag med standardinställningarna (1Gb),
under långtidsbelastning av disksystemet verkade det som om WBCn maxade ur och prestandan sjönk som en sten igen då den gick över till writethru...
lastar jag systemet relativt tungt så tenderar allt att skrivas ner i WBCn och den hinner inte riktigt ikapp om den har många random read/writes att ta itu med samtidigt (tydligt om man avsätter en stor WBC och lastar systemet tungt och sen pausar alla jobb, men disk systemet har fortfarande en tokhög diskqueue...).
Det märks prestandamässigt om en fil ligger i WBC eller inte, så inget ont om den men bakomliggande system hänger inte med så med tiden får jag ändå prestanda förluster (ja jag tömde windows file write cache mellan testen.).
bäst skriv prestanda får jag med flera columner (i mitt fall 2 columner)
men som sagt fort går det inte, så att börja labba med dom tuffa sakerna är inte att tänka på.

Permalänk
Medlem

Skulle rekomendera er att skriva en post här , https://www.facebook.com/groups/WSUG.SE/ om ni har problem

Visa signatur

13900KS | 32GB 6400 DDR5 | 4090 FE | Samsung G8 Oled
ASUS ROG Strix Z790-F Gaming | Fractal Torrent White | Corsair HX1200

Permalänk
Medlem
Skrivet av Oneone:

Skulle rekomendera er att skriva en post här , https://www.facebook.com/groups/WSUG.SE/ om ni har problem

har inte FB, men jag kör ett ärende parallellt med mina labbar via våran Premier support på EA-avtalet,
men att jobba med en indiskutvecklare den vägen är hastighetsmässigt nästan samma som random write i storage spaces...

Permalänk
Medlem

Blev själv lite fundersam över R/W hastigheterna på min Storage lösning, dock CentOS 7, och inte Pyttemjuk OS.
Här kan ni jämföra mina CentOS Benchmarking´s med era om ni vill.

Extern Raid cabinet (Totalt 12TB)

Speglade HDD´s (2x 1.0TB)

Intern Raid i HotSwap cabinet (Totalt 6.0TB)

Visa signatur

|Workstation: AMD Ryzen 9 7900X 4.7GHz | ASRock X670E | AMD Radeon 7900 XT | 32GB DDR5 | NVMe 2.0TB | HDD 4.0TB |
|VMware rig: AMD Threadripper 2920x | ASUS PRIME X399-A | 24GB DDR4 | 10TB Storage |
|HTPC: AMD Ryzen 3 2200G 3.7 GHz | Gigabyte B450M DS3H | Radeon Vega 8 | 8GB RAM | SSD 120GB | *Test rig för div Linux distar, drivers m.m.

Permalänk
Medlem
Skrivet av stormense:

Ger nu upp storage spaces, Du har rätt. Är ett stort misslyckande från Microsoft.

http://s26.postimg.org/5936bu53d/langsam_filkopering.jpg

Skrivet av Paddanx:

Från min erfarenhet när jag testade paritet RAID (dvs inte RAID 0 eller 1).
Skrivhastigheten är fullständigt usel. Single disk prestandan är en boost jämfört.
Läs hastigheten kunde man leva med, men det gick inte att göra tunga IOPs utan att det skulle få problem.
Dessa problem har jag inte på tex FreeNAS eller med Intels RAID system.

Till er ovan säger jag, sluta kopiera 4GB med en fil, och testa kopiera 4000 filer a 1MB istället så ska ni se prestandan dyka. Att kopiera en fil på det sättet ni gör, maxar HDD och nätverk, sk bästa fall scenario, och inte verklighetsbaserat för flera användare.

Testa gärna kopiera från diskarna på en dator och kopiera in filer från en annan dator (även om det är er berömda 4GB fil).

Och jag vill gärna se någon av er ta er an ^bC^´s utmaning...

Jag körde min berömda 4gb fil som svar på det där, där kopieras 2 objekt på 218 meg i några kilobyte per sec.

Sen vet jag inte vad du har för statistik på verklighetsbasering?
Skulle säga att 95% av filerna på _min_ filserver är över en gig.
Jag har nog aldrig kopierat 4000 st 1-megs filer på en gång. Självklart så blir det knas då, går väl åt mer tid till overhead än att kopiera själva datat per fil.

Är inte hemma nu men ska försöka göra lite mer tester i nästa vecka.

Permalänk
Avstängd
Skrivet av stormense:

Glömde tyvärr och helt rätt är paritet något man nog bör undvika. Ska dock hjälpa rätt bra med en UPS med usb som kan stänga av systemet vid strömavbott. Ska vara något som kör i bakgrunden när det gäller paritet för att inte förstöra diskinformationen när strömmen går.

UPS, APC Back-UPS CS BK350EI, med programvara att stänga ner dator under strömavbrott gjorde underverk när man kör snålalternativet paritet.

Ingen hejdundrande fart men slipper 15 kb/s överföringar vid läsning. Ligger på rätt normala hastigheter även med små filer vid läsning. Kan dock säga att se på stora filmfiler har aldrig varit några problem även utan UPS.

Visa signatur

Höghastighetsfiber är livet :)

Permalänk
Medlem
Skrivet av stormense:

UPS, APC Back-UPS CS BK350EI, med programvara att stänga ner dator under strömavbrott gjorde underverk när man kör snålalternativet paritet.
http://s26.postimg.org/pnqiiylvp/437998_1.jpg
Ingen hejdundrande fart men slipper 15 kb/s överföringar vid läsning. Ligger på rätt normala hastigheter även med små filer vid läsning. Kan dock säga att se på stora filmfiler har aldrig varit några problem även utan UPS.

Bara intresserad lite men vad kör du egentligen på? och hur? jag är egentligen bara intresserad av prestanda men att få ut så fantastiskt dålig prestanda som du får blir man ju också ganska intresserad av... kör du NTFS eller ReFS? har du Storage Spaces med Paritet och ReFS på toppen av det så skall du inte behöva (eller ja, miniminera behovet av) UPS då ReFS kör med Shadow Paging, som en första barriär i kampen mot datakorruption. Men som sagt jag kommer inte upp i dom hastigheterna att jag kan köra dessa, lite häftigare, features men du verkar vara ännu längre ifrån den drömmen...

Permalänk
Medlem

Jag har testat mer och får inse mig överbevisad.
Prestandan vid småfiler var horribel.
Kopierade en katalog med 40 000 filer med snittstorlek på typ 50kilobyte, gick i typ 2-5 meg/sec.