Konsument SSD-diskar i Enterprise servrar

Trädvy Permalänk
Medlem
Plats
Norrköping
Registrerad
Okt 2009

Konsument SSD-diskar i Enterprise servrar

Sitter här och tittar på en ny serverlösning till en kund (HPE ML350 G9, E5-2620V4), började titta på diskar och blev förvånad över hur pass lite det skiljde mellan mekaniska 15k sas och flash sata. Googlade lite och det verkar som att HPE använder samma flashminen i sina Enterprise diskar som i Intels 540 serie.

Så med andra ord så skulle man rent krasst kunna köpa vanliga Intel 540 diskar med ett gäng gånger prestandan för typ inga pengar alls? Nu tänker jag inte prova detta i en operativ miljö hos en kund där upptid är en viktig faktor, men man blir bra sugen på att kasta upp en testserver internt och labba lite..

Hittat några med samma idé på Reddit och diverse andra internationella forum, men lite lokal input skadar inte.. :- )

Har vi några här som har provat? Hur ser det ut med kompatibilitetsproblem i RAID-controllers/disk burar? Fungerar S.M.A.R.T som det skall? Funkar det med andra diskar en Intel? Bättre att köra Dell/Fujitsu/IBM?

Frågorna är många och svaren är få, all relevant info är intressant!

Workstation : Dell XPS 9570 | i7-8750H | 2x8GB DDR4 | 512GB NVME | GTX 1050TI Max-Q

Server : Fujitsu Primergy | i3 4130T | 16GBDDR3 ECC | ESXi 6.5

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Mar 2005

Prestanda är väl en sak, men hur ser det ut med write endurance på diskarna.
Jag har kört 840PRO som cache-devices och de höll ett knappt år innan de rasade utan förvarning.

Trädvy Permalänk
Medlem
Plats
Norrköping
Registrerad
Okt 2009
Skrivet av Xcorp:

Prestanda är väl en sak, men hur ser det ut med write endurance på diskarna.
Jag har kört 840PRO som cache-devices och de höll ett knappt år innan de rasade utan förvarning.

Bra fråga, var det inte Samsungs 840 diskar som man hade enorma problem med? Vad körde du för storlek på diskarna?

Så som jag har förstått det så går SSDer i graven på grund av för många skrivningar till samma minnescell vilket leder till att dom "bränns" ut, detta var ett större problem vid SSDns begynnelse då man inte spred ut skrivningarna över alla celler lika effektivt, i nutid ska detta vara åtgärdat.

Därav bör rimligen en 480GB SSD ha cirka dubbelt så lång livslängd som en 240GB SSD, grovt generaliserat.

Workstation : Dell XPS 9570 | i7-8750H | 2x8GB DDR4 | 512GB NVME | GTX 1050TI Max-Q

Server : Fujitsu Primergy | i3 4130T | 16GBDDR3 ECC | ESXi 6.5

Trädvy Permalänk
Medlem
Registrerad
Aug 2016

Även om själva flash-chippen är samma så är kontrollen och dess skrivstrategier i SAS-diskar helt annorlunda, dessutom är sådana diskar rejält över-provisionerade med kanske lika mycket flash-minne till förutom de som är synligt utåt, medans för vanlig konsument ssd-disk så handlar det om mellan 6-12%.

Har sett nämnas att SAS-SSD avsedd för hög skrivlast beräknas hålla i 5 år vid en lastnivå som får en konsument-SSD att bara klara sig i enstaka månader.

Sedan har själva SAS-gränsnittet (bla, dual port, längre köer, bättre felrättning etc.) en del fördelar som man inte kan skapa med motsvarande SATA-diskar

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Mar 2005
Skrivet av wille61:

Bra fråga, var det inte Samsungs 840 diskar som man hade enorma problem med? Vad körde du för storlek på diskarna?

Så som jag har förstått det så går SSDer i graven på grund av för många skrivningar till samma minnescell vilket leder till att dom "bränns" ut, detta var ett större problem vid SSDns begynnelse då man inte spred ut skrivningarna över alla celler lika effektivt, i nutid ska detta vara åtgärdat.

Därav bör rimligen en 480GB SSD ha cirka dubbelt så lång livslängd som en 240GB SSD, grovt generaliserat.

Om jag inte minns helt fel så var det 840 EVO som hade stora problem, inte PRO. Angående att "bränna ut celler", se svaret från @xxargs

Trädvy Permalänk
Medlem
Plats
Norrköping
Registrerad
Okt 2009
Skrivet av xxargs:

Även om själva flash-chippen är samma så är kontrollen och dess skrivstrategier i SAS-diskar helt annorlunda, dessutom är sådana diskar rejält över-provisionerade med kanske lika mycket flash-minne till förutom de som är synligt utåt, medans för vanlig konsument ssd-disk så handlar det om mellan 6-12%.

Har sett nämnas att SAS-SSD avsedd för hög skrivlast beräknas hålla i 5 år vid en lastnivå som får en konsument-SSD att bara klara sig i enstaka månader.

Sedan har själva SAS-gränsnittet (bla, dual port, längre köer, bättre felrättning etc.) en del fördelar som man inte kan skapa med motsvarande SATA-diskar

Men även Enterprise diskar avsedda för serverbruk med hög belastning (typ HPE) har ju SATA gränssnitt, man får ju känslan av att man betalar ett "premium" pris bara för att det står "enterprise" på diskarna.

Måste nästan inhandla lite disk och testa i någon gammal serverhost för att kunna avfärda min sannolikt naiva uppfattning kring detta..

Workstation : Dell XPS 9570 | i7-8750H | 2x8GB DDR4 | 512GB NVME | GTX 1050TI Max-Q

Server : Fujitsu Primergy | i3 4130T | 16GBDDR3 ECC | ESXi 6.5

Trädvy Permalänk
Medlem
Plats
Ektorp
Registrerad
Jun 2005

Har installerat 850 pro SSD'r i flertalet utav mina kunders serverar.
Fungerat hur bra som helst!

http://www.guru3d.com/news-story/endurance-test-of-samsung-85...

headake

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013

Själv kör jag med dessa: https://www.intel.com/content/www/us/en/products/memory-stora...

Testade Intel 540, men det gick rätt segt samt så används den som SLOG i ZFS så behövde bra endurance. Skriver i cirka 300 MB/s nu på min RAID10 i FreeNAS. Intel 540 hade säckat ihop för längesen.

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
Norrköping
Registrerad
Okt 2009
Skrivet av headake:

Har installerat 850 pro SSD'r i flertalet utav mina kunders serverar.
Fungerat hur bra som helst!

http://www.guru3d.com/news-story/endurance-test-of-samsung-85...

Intressant! Vilka servrar har du provat dessa diskar i?

Skrivet av enoch85:

Själv kör jag med dessa: https://www.intel.com/content/www/us/en/products/memory-stora...

Testade Intel 540, men det gick rätt segt samt så används den som SLOG i ZFS så behövde bra endurance. Skriver i cirka 300 MB/s nu på min RAID10 i FreeNAS. Intel 540 hade säckat ihop för längesen.

Tittat på DC-S3710 och det kanske vore ett alternativ trots allt, kostar ju aningen mer än tex 540/850 PRO men i förhållande till HPEs diskar är det ju rätt så överkomligt..

Workstation : Dell XPS 9570 | i7-8750H | 2x8GB DDR4 | 512GB NVME | GTX 1050TI Max-Q

Server : Fujitsu Primergy | i3 4130T | 16GBDDR3 ECC | ESXi 6.5

Trädvy Permalänk
Medlem
Registrerad
Aug 2016
Skrivet av wille61:

Men även Enterprise diskar avsedda för serverbruk med hög belastning (typ HPE) har ju SATA gränssnitt, man får ju känslan av att man betalar ett "premium" pris bara för att det står "enterprise" på diskarna.

Måste nästan inhandla lite disk och testa i någon gammal serverhost för att kunna avfärda min sannolikt naiva uppfattning kring detta..

HPE:s Entry level använder SATA, ja - men så finns det lång väg vidare om man vill bli av med mycket pengar

Jag skulle nog kalla det lite marknadsanpassning för att locka in nya användare till Enterprise-segmentet och alla användningar behöver inte börja med diskar med en tio-potens lägre sannolikhet för oläsbara sektorer i jämförelse med SATA-diskar eller att servern fungerar skottsäkert i minst 5 år framöver med ECC-RAM-minne, batteribackuppad HW-SAS-RAID-kontroller, byta diskar, fläktar och kraftmoduler under drift samt kan administreras fjärr inklusive spänningsmässig av och påslag (dvs. för cold-boot) av servern över egen ethernet-port.

det är lite skillnad på en HPE proliant-server-blad för att stackas i stativ mot en noname tower-burk - och det gäller också ljudnivåmässigt, Rack-servrar gillar att drivas välkylda och bryr sig inte om antalet dB i ljudnivå det medför...

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2007

Skillnaden är hur gånger en cell kan skrivas till och hur skrivcachen skyddas samt prestandan.

Konsument: Hög prestanda.

Server: Celler tål fler skrivningar, skrivcacheskydd(inte att förväxla med simpla lösningar enbart baserade på tantalkondensatorer som finns på vissa konsument SSD). Skrivcachen är inte att rekommendera att ha påslaget i skarpa miljöer men detta har flertalet tillverkare löst idag med separat NAND där skrivcachen skrivs till vid strömavbrotti flertalet SAS SSD.

Grundregel för felsökning: Bryt och begränsa.

Trädvy Permalänk
Medlem
Registrerad
Aug 2016

Och i många fall är det den batteriuppbackade SAS-RAID-kortet som står för skriv-cachen och vet exakt vilken status diskarna var när strömmen gick och fortsätter vidare från den punkten när strömmen kommer tillbaka.

Detta är ett sätt att komma undan write-hole situationen i en RAID-matris vilket det inte hjälper med skrivcache-skydd på resp. SSD/snurrdisk eftersom diskarna inte har koll på den inbördes skriv-ordningen gentemot varandra precis när strömmen gick - medans en batteribackupad SAS-RAID-kort har koll på det.

En SAS HBA/RAID-kontroller är också framtidsskyddad om man vill 'nedgradera' sig och använda SATA-diskar istället - och dessutom då kan a dubbelt antal av det (typiskt 16 stycken om kortet hanterar 8 dual port SAS-diskar)

Trädvy Permalänk
Medlem
Plats
Lund
Registrerad
Mar 2017

@wille61: Det här kan vara intressant att titta på (även om jag inte är jätteförtjust i TweakTown)

CPU: R7 1700 @3.8GHz | GPU: EVGA 1080 Ti SC Black Hybrid(2x SilentWings 3 Highspeed)(core: 1627 MHz, Mem: 11208 MHz) | MB: MSI X370 Gaming Pro Carbon| RAM: 2x8 GB G.Skill Ripjaws V @3200MHz CL14|Cooling: Fractal Design Celsius S24 (Corsair ML120)|PSU: EVGA Supernova G3 750W|SSD: Samsung 960 EVO 500GB + Samsung 950 pro 512GB + Samsung 850 EVO 500GB + Intel DC S3510 480 GB + 850 EVO 2TB|HDD: WD Black 1TB|FANS: Corsair ML140 x2|CASE: Fractal Design Meshify C|RGB: 4x Phanteks Halo + LED-slinga + GPU-holder

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Mar 2005

Ett alternativ till Intels diskar är Samsung SM863a, har mer eller mindre samma prestanda och endurance som Intel (hade iaf för ca 1 år sedan när jag kollade senast), men till ett bättre pris.

Trädvy Permalänk
Medlem
Plats
Karlstad
Registrerad
Nov 2010

Det är skillnad på servrar och servrar. Tar man lite mer kritiska där det är viten på kanske 100 000kr/h om de är nere så får det vara mycket pengar man sparar om man ska köpa något som det står att den är gjord för konsumentbruk.

Om vi tar SAN så köper man väl de diskar som det står den är testad emot? Det jag ser är billigare servrar, men det är mer tala med kund.
Så har jag själv gjort inom nätverk och sagt att det finns en industrilösning för 20 000kr och det finns en konsumentlösning för 1000kr. Där man talar om för och nackdelar och låter kund avgöra.
Där jag vid flera tillfällen har kört konsumentprodukter, men kund vet om detta och det är inte alltid prylen är kopplad till något kritisk.

Lite samma kan ses med lagringsmedia, har man hög raid eller motsvarande så kanske risken är liten. Men samtidigt tid är pengar, säg att en disk kraschar inom garantitiden och man får åka dit och byta. Tar det 8h att göra bytet så har det en förlorad faktueringskostnad på ca 8000kr och då är frågan hur mycket pengar man tjänade på att välja konsumentdiskar för man vill utsätta sig för dessa risker?

*edit*
Om någon undrar varför extrem prisskillnad så är industrisaker ofta skapade för extrema klimat som att tåla -40 grader, fukt och grejer. Det behövs inte alltid på en pryl som sitter inne i ett vanligt rum.

Trädvy Permalänk
Medlem
Registrerad
Dec 2012

Är det till labburkar är det bara att köra på. Till produktionssystem skulle jag aldrig drömma om att använda något annat än servertillverkarens rekommenderade enterpriseklassade diskar, även om de är dyrare är det säkerligen en fis i rymden jämfört med kostnaden för downtime när diskarna börjar rasa.

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2007
Skrivet av xxargs:

Och i många fall är det den batteriuppbackade SAS-RAID-kortet som står för skriv-cachen och vet exakt vilken status diskarna var när strömmen gick och fortsätter vidare från den punkten när strömmen kommer tillbaka.

Hur tycker Du att det fungerar på lagringsenheter i skarp drift eftersom idén bakom den lösningen är om t.ex. en lagringsenhet dras ut under drift då majoriteten utav maskiner i skarp drift redan har reservkraft så strömavbrott är inte problemet utan det är personer som drar ut lagringsenheter under drift, lagringsenheter som går sönder samt RAID-kort som går sönder.

Överföringar till lagringsenheter sker blockvis och återrapporteringen sker per färdigt block vilket bromsar upp IOPS rätt så rejält om man kör med halvledarenheter och vill t.ex. ha ett ködjup på 32. Då försvinner vitsen med SSD i servermiljöer om man enbart nyttjar skrivcachen på RAID-kortet eftersom dessa fylls rätt så fort om ködjupet till lagringsenheten är 1 men den är 32 från OS till RAID-kort.

Prova stäng av skrivcachen på en ensam hårddisk så känner man direkt av dess IOPS.
Prova stäng av skrivcachen på en ensam halvledarenhet så ser Du samma sak om Du mäter eller skriver mycket till den.

Batterier slutade man använda inom RAID-kort för några år sedan om vi tittar på nya modeller bara 2-3 år tillbaks p.g.a. deras låga hållbarhet och att man ej kan byta dom under drift. Sen håller batterimodellerna inte lika länge RAID-kortets skrivcache som dom nya lösningarna men oftast har det ej varit ett praktiskt problem. Vissa SSD:er för SAS kör just samma teknik för sin egen skrivcache vilket gör att man kan nyttja ködjupen fullt ut och samtidigt få ut höga skriv IOPS och ändå vara helt trygg. Jag har själv batterier till det RAID-kort som sköter hårddiskarna men samtidigt så är den lösningen ifrån år 2011 från LSI. I samma maskin har jag ett annat RAID-kort som sköter SSD:erna så har den inga batterier utan kör helt på kondensatorer som kommer ifrån Areca år 2015 samt alla skrivcachar påslagna då SSD:erna inte sitter i någon vagga och deras samlade skrivcache är dubbelt så stort jämfört med Areca kortets.

Anledningen till att man har en NAND lösning ombord på flera SAS SSD modeller är just för att nyttja skrivcachen och få hög IOPS vid skrivning och stora köer. Skrivcachen skall normalt vara avstängd på hårddiskar i skarpa miljöer men då tappar man värdet som SSD:er ger(som är avsedda för skarpa miljöer) om man tillämpar samma logik på SSD:er som för hårddiskar.

Det stora problemet är att SSD:ernas skrivcache växer i större takt än vad RAID-kortens skrivcache gör och då kommer man ändå att ej nyttja SSD:ernas möjlighet till hög IOPS när RAID-kortet bromsar upp p.g.a. att hans skrivcache är fullt och skrivcachen på SSD:erna är avstängd. Då är man tillbaks till ett ködjup på 1 på varje lagringsenhet i uppsättningen.

Därav nyttjar man SSD:er som har egen reservkraft som skriver från RAM till NAND vid strömavbrott och nyttjar RAID-kortens skrivcache om man känner att man inte har något emot att behöva underhålla en till komponent(batteri/kondensatorer).

Grundregel för felsökning: Bryt och begränsa.