Bygga SAN på 50-100TB med möjlighet att växa

Trädvy Permalänk
Medlem
Plats
/Volumes/Maxxxtor
Registrerad
Okt 2004

Bygga SAN på 50-100TB med möjlighet att växa

Hej!
Är på gång med ett projekt på jobbet som kräver stora mängder lagring. Vi räknar med ca. 100TB till i utgångsläget, men med möjlighet att växa efter hand. Vi ser att det är ett SAN som är aktuellt, men vet inte riktigt var vi ska börja.
Vi vill ha något vi kan bygga in-house och utöka efter behov. Det skall inte vara nåt prestandamonster utan primärt "arkiv-media" där vi lägger till data efter hand och läser lite då och då.
Vad använder man för programvara för lagringen? Om man har ett SAN med iSCSI så ser operativsystemet SAN:et som en disk, men hur funkar det om man vill utöka utrymmet, t.ex. genom att sätta i några extra diskar? Byta ut diskar med hot-swap när de kraschar, och de återställs automatiskt i RAID-klustret. Fint om man kan sätta in en "större" disk och utrymmet automatiskt ökar.
Är det "Thin Provisioning" vi ska titta på, eller ZFS?
Vi har inga åsikter om servermiljö. Jag och några av kollegorna är bekväma med linux/unix, andra i företaget mer bekväma i windows-miljö.
Våra andra system är windows-baserade och några av systemen skall skriva till denna arkiv-lagring, men det kommer förmodligen ske genom NFS.

Var ska vi börja? Är det här något?
http://www.misco.se/?sku=852405
Vad behöver vi mer än den och diskar?

Är detta ett alternativ?
http://www.supermicro.com/products/chassis/4u/846/sc846be16-r...

"Don't argue with stupid people. They will drag you down to their level, and then beat you with experience."
- Mark Twain

Trädvy Permalänk
Medlem
Plats
Tyskland
Registrerad
Dec 2008

ZFS gillar inte /tillåter inte att man adderar nya diskar till pooler så det går inte utöka med en disk i taget. Det som går är att byta ut alla diskar i ett fält (med tillhörande rebuild för varje disk) till större diskar alternativt skapa en ny pool och addera den till tillgänglig volym.

Tyvärr har jag ingen erfarenhet med sådana storlekar. Förmodligen bör ni hålla är till RAIDZ3 och upp till 12 diskar per pool. Sedan säga åt ZFS att sammanfoga dessa pooler. Att ha allt i en och samma pool är livsfarligt då det blir väldigt många diskar och då ökar sannolikheten att lite väl många pajar (RAIDZ3 klarar av tre döda diskar vilket är inte så mycket om man har 20-30 stycken).

Trädvy Permalänk
Medlem
Plats
LKPG
Registrerad
Feb 2003

Ta kontakt med företagen som sysslar med Netapp.
Det kostar men på ett företag skulle jag inte köra hemlagat.
Bättre med riktiga prylar.

Whisky kan drickas på 3 sätt:
1. Utan vatten. 2. Med vatten. 3. Som vatten.

Workstation - Server - Kenner 4-ever

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Apr 2011

netapp är lite dyrt med tanke på att de inte verkar ha den typen av krav.
hp lefthand eller dell equallogic är nog bättre om man vill ha billigsan och inte riktigt vet vad man är ute efter.

bygga eget med zfs rekomenderas bara om man har jäkligt bra pejl så man vet exakt vad det är man ska ha (i företagsmiljö dvs)

*edit såg precis du länkat en MSA. NEJ NEJ NEJ NEJ NEJ FEM MILJARDER NEJ köp ALDRIG msa. Finns två produkter ALLA som jobbar med lagring fullständigt hatar, och det är msa hyllor och symantec backupexec..

Trädvy Permalänk
Medlem
Plats
/Volumes/Maxxxtor
Registrerad
Okt 2004

Det första jag var inne på var SuperMicro-kabinettet, och den är jag fortfarande sugen på. MSA var ett "billigt" alternativ jag hittade i mina sökningar.

I förlängningen kommer vi troligen anlita någon för att sätta upp en större lagringslösning, men i utvecklingsskedet vill vi nog ha en budget-DIY-variant.

För våra enkla behov, "stor" lagring som kan växa, känns det som det kan räcka med SuperMicro SC846 och installera FreeNAS. Sedan konfigurera diskarna i RAIDZ2 + Stripe för att få en stor volym som kan växa genom att lägga till fler RAIDZ2-pooler i stripen. Verkar som det optimala är RAIDZ2 med 4+2 diskar.

Vad som inte tydligt framgår av SC846-manualen är vilka anslutningar som är på backplane. Är det SFF-8087 som är det vanligaste? Vilka anslutningar används för "SAS Expander"? Är det samma anslutningar men annat protokoll kanske?
EDIT: Hittade en bra förklaring på portarna: http://www.mullet.se/product.html?product_id=334995
Det är SFF-8087 som används.

"Don't argue with stupid people. They will drag you down to their level, and then beat you with experience."
- Mark Twain

Trädvy Permalänk
Medlem
Plats
Hudiksvall
Registrerad
Dec 2006

Vi har tittat gansak mycket på jobbet på det här också som storage för alla våra sniffrar det vi nog ska köpa in är en
http://www.mullet.se/product.html?product_id=335195 med kontrollern lsi-9211 den klarar upp till 256 hårdiskar om du kör extenders till fler chassin men jag tror nog det räcker med 36 diskar du får 144 tb raw storage med 4tb diskar. Sen är det bara att raida dom efter hur säkert datan ska vara

ram är ju basserat på hur mycket som storagen ska användas vi ska ha 92 gb ram i våran

vad för os ni ska köra är en smak sak men det är inget fel på zfs

när vi räknade på vad det skulle kosta var det mellan 110-130k

en motsvarande dell equalogic kostar närmare 500k men den är det typ bara att boota och sätta en ip sen är man klar också

//Talwin

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Nov 2001

Kontakta EMC, det har garanterat produkten du letar efter.

Intel 6800k@4.4, MSI X99A GAMING PRO CARBON, EVGA GeForce GTX 1080Ti SC2, Corsair 32GB 2666Mhz RAM, NZXT S340 Elite, Sandisk Ultra 2 480GB, Samsung NVME 960 Evo 240GB, 2 x Samsung 850 EVO 250GB.
Skärm: Acer Predator X34

Server:UnRaid OS, Fractal Design Node 804, Asus Sabertooth Gryphon Z97, I7 4790K, Asus GTX 1050Ti, 32GB DDR3 RAM, 14TB Storage.

Trädvy Permalänk
Medlem
Plats
Västerås
Registrerad
Aug 2008

Eller en IBM ÅF.

//Lasse

ASUS Maximus V Gene | i7-2700k | G.Skill Ares 2133 | ASUS GTX 670 DCII TOP | ModXstream Pro 700 moddat med Noctua fläkt | Samsung 840 Evo 500GB SSD | 2 x Noctua NF-F12 PWM | CM Storm QuickFire XT Cherry MX Brown Switch

Trädvy Permalänk
Medlem
Registrerad
Apr 2006

Jag har designat och byggt en hel del olika storagelösningar. Allt från billigt budget till mid till enterprise level. Bl.a. ZFS-lösning med Nexenta och Supermicro 36-diskars chassi. HP MSA SAS, HP P4000 iSCSI, Dell Equallogic iSCSI, HP EVA8000 FC, Hitachi USP/VSP FC, EMC Clariion FC, EMC VMAX FC mfl.

Vad som är optimalt beror på:
1. Hur ni tänkt använda det.
2. Hur stor budget ni har
3. Hur mycket tid och kraft ni vill lägga på det själva.

Jag skulle rekommendera att ni kontaktar tex HP, Dell, EMC & Hitachi och hör vad de har för förslag.

Rent spontant så skulle jag nog INTE köra på något Supermicro "hemmabygge" för 100+TB. Utan välja åtminstone en fullt supporterad lösning från någon av ovanstående leverantörer. Inte heller skulle jag välja någon fiberchannellösning, då det känns overkill för de prestandakrav ni har.
NFS, SAS och/eller iSCSI känns som lämpliga protokoll. Därmed någon slags entry/mid-range lösning lär vara lämplig. Tex HP P2000 eller P4000, Dell Equallogic, EMC VNX..

Trädvy Permalänk
Avstängd
Plats
STOCKHOLM
Registrerad
Nov 2007

Lite grovt skulle jag föreslå en underhållsmässig ganska enkel lösning baserat på Windows Server 2012 R2. En server med med ordentligt med ram, speglad systemdisk typ Dell PowerEdge T420. Fem st iSCSI NAS typ QNAP 869L, 40st Hitachi Ultrastar 4TB.

ex moms:
Server 70 000:-
NAS 35 000:-
Diskar 95 000:-

Servern får hantera varje NAS som en logisk enhet (iSCSI) och får själv styra över lagringen, prioritera etc. Att lägga till NAS för att öka redundans eller lagringsutrymme blir extremt enjekt, att lägga till högpresterande SSD-baserade NAS blir lika enkelt, servern sköter själv prioritering.

Sedan rekommenderar jag att varje NAS körs i RAID-6. Vilket ger 6*5*4TB till servern, dvs 120TB, använder den ett NAS för paritetsdata blir det 90TB över, lägg sedan till 20% fritt utrymme och 5% versionshantering har du 68TB effektivt lagringsutrymme.
Varje ny NAS ger ca 18TB effektivt lagringsutrymme för ca 25 000:-.

Jag tror det blir svårt att komma ner i under det i pris med redundans.

Med den här lösningen kan man dessutom sprida hårdvaran fysiskt enkelt vilket ger enklare kylning och katastrofberedskap.