Forum Datorkomponenter Lagring Tråd Inlägg

Bygga SAN på 50-100TB med möjlighet att växa

1
Skriv svar
Permalänk
Medlem
●

Bygga SAN på 50-100TB med möjlighet att växa

Hej!
Är på gång med ett projekt på jobbet som kräver stora mängder lagring. Vi räknar med ca. 100TB till i utgångsläget, men med möjlighet att växa efter hand. Vi ser att det är ett SAN som är aktuellt, men vet inte riktigt var vi ska börja.
Vi vill ha något vi kan bygga in-house och utöka efter behov. Det skall inte vara nåt prestandamonster utan primärt "arkiv-media" där vi lägger till data efter hand och läser lite då och då.
Vad använder man för programvara för lagringen? Om man har ett SAN med iSCSI så ser operativsystemet SAN:et som en disk, men hur funkar det om man vill utöka utrymmet, t.ex. genom att sätta i några extra diskar? Byta ut diskar med hot-swap när de kraschar, och de återställs automatiskt i RAID-klustret. Fint om man kan sätta in en "större" disk och utrymmet automatiskt ökar.
Är det "Thin Provisioning" vi ska titta på, eller ZFS?
Vi har inga åsikter om servermiljö. Jag och några av kollegorna är bekväma med linux/unix, andra i företaget mer bekväma i windows-miljö.
Våra andra system är windows-baserade och några av systemen skall skriva till denna arkiv-lagring, men det kommer förmodligen ske genom NFS.

Var ska vi börja? Är det här något?
http://www.misco.se/?sku=852405
Vad behöver vi mer än den och diskar?

Är detta ett alternativ?
http://www.supermicro.com/products/chassis/4u/846/sc846be16-r...

Visa signatur

"Don't argue with stupid people. They will drag you down to their level, and then beat you with experience."
- Mark Twain

Redigera
Citera flera Citera
Permalänk
Inaktiv
●

ZFS gillar inte /tillåter inte att man adderar nya diskar till pooler så det går inte utöka med en disk i taget. Det som går är att byta ut alla diskar i ett fält (med tillhörande rebuild för varje disk) till större diskar alternativt skapa en ny pool och addera den till tillgänglig volym.

Tyvärr har jag ingen erfarenhet med sådana storlekar. Förmodligen bör ni hålla är till RAIDZ3 och upp till 12 diskar per pool. Sedan säga åt ZFS att sammanfoga dessa pooler. Att ha allt i en och samma pool är livsfarligt då det blir väldigt många diskar och då ökar sannolikheten att lite väl många pajar (RAIDZ3 klarar av tre döda diskar vilket är inte så mycket om man har 20-30 stycken).

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Ta kontakt med företagen som sysslar med Netapp.
Det kostar men på ett företag skulle jag inte köra hemlagat.
Bättre med riktiga prylar.

Visa signatur

Whisky kan drickas på 3 sätt:
1. Utan vatten. 2. Med vatten. 3. Som vatten.

CR-10S Pro, CR-10S5, CR-10 Max

Redigera
Citera flera Citera
Permalänk
Medlem
●

netapp är lite dyrt med tanke på att de inte verkar ha den typen av krav.
hp lefthand eller dell equallogic är nog bättre om man vill ha billigsan och inte riktigt vet vad man är ute efter.

bygga eget med zfs rekomenderas bara om man har jäkligt bra pejl så man vet exakt vad det är man ska ha (i företagsmiljö dvs)

*edit såg precis du länkat en MSA. NEJ NEJ NEJ NEJ NEJ FEM MILJARDER NEJ köp ALDRIG msa. Finns två produkter ALLA som jobbar med lagring fullständigt hatar, och det är msa hyllor och symantec backupexec..

Redigera
Citera flera Citera
Permalänk
Medlem
●

Det första jag var inne på var SuperMicro-kabinettet, och den är jag fortfarande sugen på. MSA var ett "billigt" alternativ jag hittade i mina sökningar.

I förlängningen kommer vi troligen anlita någon för att sätta upp en större lagringslösning, men i utvecklingsskedet vill vi nog ha en budget-DIY-variant.

För våra enkla behov, "stor" lagring som kan växa, känns det som det kan räcka med SuperMicro SC846 och installera FreeNAS. Sedan konfigurera diskarna i RAIDZ2 + Stripe för att få en stor volym som kan växa genom att lägga till fler RAIDZ2-pooler i stripen. Verkar som det optimala är RAIDZ2 med 4+2 diskar.

Vad som inte tydligt framgår av SC846-manualen är vilka anslutningar som är på backplane. Är det SFF-8087 som är det vanligaste? Vilka anslutningar används för "SAS Expander"? Är det samma anslutningar men annat protokoll kanske?
EDIT: Hittade en bra förklaring på portarna: http://www.mullet.se/product.html?product_id=334995
Det är SFF-8087 som används.

Visa signatur

"Don't argue with stupid people. They will drag you down to their level, and then beat you with experience."
- Mark Twain

Redigera
Citera flera Citera
Permalänk
Medlem
●

Vi har tittat gansak mycket på jobbet på det här också som storage för alla våra sniffrar det vi nog ska köpa in är en
http://www.mullet.se/product.html?product_id=335195 med kontrollern lsi-9211 den klarar upp till 256 hårdiskar om du kör extenders till fler chassin men jag tror nog det räcker med 36 diskar du får 144 tb raw storage med 4tb diskar. Sen är det bara att raida dom efter hur säkert datan ska vara

ram är ju basserat på hur mycket som storagen ska användas vi ska ha 92 gb ram i våran

vad för os ni ska köra är en smak sak men det är inget fel på zfs

när vi räknade på vad det skulle kosta var det mellan 110-130k

en motsvarande dell equalogic kostar närmare 500k men den är det typ bara att boota och sätta en ip sen är man klar också

//Talwin

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Kontakta EMC, det har garanterat produkten du letar efter.

Visa signatur

AMD Ryzen 7800X3D@Stock, ASUS ROG ASUS ROG STRIX B650E-F GAMING WIFI, ASUS RTX 4080 Super, G.Skill Trident Z5 RGB DDR5-6000, Hyte Y60, Samsung NVME 980Pro 1TB, 2X WD Black SN850 1TB NVME, Intel 545s 512GB.
Skärm: Corsair Xeneon Flex 45", Samsung G7 32"
Server:UnRaid OS, Fractal Design Node 804, Asus Sabertooth Gryphon Z97, Intel XEON 1220v3, 32GB DDR3 RAM, 14TB Storage.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Eller en IBM ÅF.

//Lasse

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Jag har designat och byggt en hel del olika storagelösningar. Allt från billigt budget till mid till enterprise level. Bl.a. ZFS-lösning med Nexenta och Supermicro 36-diskars chassi. HP MSA SAS, HP P4000 iSCSI, Dell Equallogic iSCSI, HP EVA8000 FC, Hitachi USP/VSP FC, EMC Clariion FC, EMC VMAX FC mfl.

Vad som är optimalt beror på:
1. Hur ni tänkt använda det.
2. Hur stor budget ni har
3. Hur mycket tid och kraft ni vill lägga på det själva.

Jag skulle rekommendera att ni kontaktar tex HP, Dell, EMC & Hitachi och hör vad de har för förslag.

Rent spontant så skulle jag nog INTE köra på något Supermicro "hemmabygge" för 100+TB. Utan välja åtminstone en fullt supporterad lösning från någon av ovanstående leverantörer. Inte heller skulle jag välja någon fiberchannellösning, då det känns overkill för de prestandakrav ni har.
NFS, SAS och/eller iSCSI känns som lämpliga protokoll. Därmed någon slags entry/mid-range lösning lär vara lämplig. Tex HP P2000 eller P4000, Dell Equallogic, EMC VNX..

Redigera
Citera flera Citera
Permalänk
Avstängd
●

Lite grovt skulle jag föreslå en underhållsmässig ganska enkel lösning baserat på Windows Server 2012 R2. En server med med ordentligt med ram, speglad systemdisk typ Dell PowerEdge T420. Fem st iSCSI NAS typ QNAP 869L, 40st Hitachi Ultrastar 4TB.

ex moms:
Server 70 000:-
NAS 35 000:-
Diskar 95 000:-

Servern får hantera varje NAS som en logisk enhet (iSCSI) och får själv styra över lagringen, prioritera etc. Att lägga till NAS för att öka redundans eller lagringsutrymme blir extremt enjekt, att lägga till högpresterande SSD-baserade NAS blir lika enkelt, servern sköter själv prioritering.

Sedan rekommenderar jag att varje NAS körs i RAID-6. Vilket ger 6*5*4TB till servern, dvs 120TB, använder den ett NAS för paritetsdata blir det 90TB över, lägg sedan till 20% fritt utrymme och 5% versionshantering har du 68TB effektivt lagringsutrymme.
Varje ny NAS ger ca 18TB effektivt lagringsutrymme för ca 25 000:-.

Jag tror det blir svårt att komma ner i under det i pris med redundans.

Med den här lösningen kan man dessutom sprida hårdvaran fysiskt enkelt vilket ger enklare kylning och katastrofberedskap.

Redigera
Citera flera Citera
1
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara