Massivt 204 TB NAS-system

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Jun 2008

Massivt 204 TB NAS-system

Hej!

Jag vill mest lufta mina tankar och ideér med er.
På jobbet så har vi en central avdelning som erbjuder för dyr lagring och dessutom som månadskostnad.....
Jag vet att det är troligtvis bästa alternativet eftersom de använder Netapp-grejer etc etc.

Våran avdelning som är ca 250 personer och jag har suttit och tittat på alternativ som är tillräckligt bra utan att gå över den här superdyra gränsen där enterprise-företag hamnar och betalar multum....

Vi har genererat grovt räknat 30 TB under 3-4 år så vet ni ungefär hur mycket data som genereras. Vi måste spara data i 10 år, sedan kan vi tömma för att få tillbaka utrymme.

Vi har inget riktigt serverrum så att köpa t.ex Synologys rackmonterade alternativ vet jag inte om det är så smart utan att göra om något källarrum till ett server-rum med kyla etc........men jag funderar på om det kan vara värt att testa denna setup...antagligen så kommer det behövas 2st sådana här system när den första väl fylls:
#1 System 1 = 1x Synology DX3612xs (12 hårddiskarplatser) expanderat med 2st Synology DX2111. Det blir totalt 36 hårddiskplatser i NAS'en.
#2 System 2 = Är helt sonika fullständig kopia av System #1 och är en full avspegling av den första enheten med någon dags glapp...ifall någon har raderat data och vill ha tillbaka den...då finns det på system #2 men då inte på System #1.....

Båda systemen ska vara i Raid 6 för att få ut så mycket diskplats som möjligt.

Systemen står fysiskt på olika ställen för att minimera stöld+brandrisk och med strömskydd och UPS för clean shutdown.
Har tittat på Synologys operativsystem och det verkar finnas stor flexibilitet och potential i det så gillar det verkligen.

Har kommit in som IT-tekniker till ett företag där det är vilda västern och folk backar upp (eller inte backar up alls) tills externa USB-hårddiskar etc etc....och det är inte hållbart då jag redan efter någon månad hört 6 personer som blivit av med data.
Jag är medveten att denna idé inte är lika fullproof som netapp med snapshots

Nu undrar jag......är det någonstans i mina tankebanor där jag inte riktigt har "tänkt klart"?

Trädvy Permalänk
Medlem
Plats
Lund
Registrerad
Feb 2007

Administration av systemet?

Macbook Pro

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Jan 2002

Köp riktiga grejer som har 24/7 support osv.. Kontakta Dell t.ex. som har helhetslösningar.

Hade du tänkt att Synology ska serva er med tekniker 24/7 när grejerna rasar?

Trädvy Permalänk
Medlem
Plats
Ligger i norr
Registrerad
Nov 2007

Bara en enda ros på ett evigt klänge
så är livet
trist varar länge
men underbart är kort -
alldeles för kort

Trädvy Permalänk
Medlem
Registrerad
Nov 2011

Har du gjort en analys av vad era 30 TB är värda? Det handlar ju lika mycket om "asset management" som om det tekniska.

Spel och videoredigering: Define XL R2 - ROG Rampage V 10 - 5930K - Corsair H55 - 128 GB Corsair Vengeance LPX 3000 MHz - Samsung 950 PRO 512GB M.2 - MSI 1080 Gaming X - Asus PG278Q - Appleprodukter: Macbook Pro Touch bar 2016 - Mac Mini - iPhone Xs max - Apple Watch - iPad Pro 10.5 - Apple TV 4K
Ljud: Bluesound Node2 - Vincent DAC 1 - Vincent SA-31 - Vincent SP-996 x2 - XTZ 99.26 mkII (beryllium mod)
Foto: Canon EOS 1DX mkII - en ryggsäck full med 2.8 L-glas.

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Apr 2004

Fördelen med Enterprise produkter är ju att det finns någon att ringa när systemet har brakat ihop och chefen flåsar en i nacken.
Är det backup, arkivering eller en fet filserver du är ute efter?
Backup "på stan" har blivit ganska billigt på sistone. Gissar att arkivering även har blivit det.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jan 2011

Med så mkt disk och så mkt lagring så skulle jag nog begärt offert på vad ett san skulle kosta.
Det blir mkt mer flexibelt och är det relativt mkt last på det så kan ni sprida den lasten på flera servrar, nasen känns mer som en backuplösning att köra till.
T.ex med Backup Exec.

WS: 4770K, 16GB, 1TB SSD, GTX 970 SLI, Acer XB271HU+Asus PB278Q.
FS: Supermicro X9SCM/CSE-743TQ, Xeon 1230, 28TB
HP MS G8 Xeon 1265L. Qnap TS453A 12TB, Asrock HTPC, HP Elitebook, Aruba AP:s, HP Poe switch, Fortigate 60D

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Jun 2008
Skrivet av SmOOthy:

Administration av systemet?

Jag kommer att administrera systemet tillsammans med en till IT-tekniker. Vi kommer att köpa in extra hårdvara till NAS'arna ifall något skiter sig...de har t.ex bara 1 power supply, vilket är sådär...men vi har inte "mission critical" data som måste vara uppe 24/7 såsom många enterprise lagringsföretag säljer till stora kunder....och då för dyra pengar.

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Jun 2008
Skrivet av stimy09:

Har du gjort en analys av vad era 30 TB är värda? Det handlar ju lika mycket om "asset management" som om det tekniska.

Det är statlig verksamhet (surprise surprise)....det går nog inte att göra en analys.....
Det har lite chargången (felstavning) att det gör inte så mycket om saker inte funkar som det ska, eller folk fikar ofta, eller vi inte backar upp eller eller.....tyvärr så funkar det såhär på ej vinstintresserade verksamheter (statligt, kommuner etc etc). Men allt ska helst vara så billigt som möjligt.
Jag som tekniker försöker rodda och göra något billigare än 50 öre per GB per månad.
Min uträkning+text på det som jag skrev på engelska för att gå med till "överhuvudet" är:
My solution: 204 TB is 222.000 SEK, a one-time cost (excluding replacing faulty hardware)
Central IT’s solution: 204 TB is 102.100 SEK per month = 1.225.200 SEK per year! (Including the snapshot data? In that case it is going to be several times higher sum)
You may ask yourself what extra do you get with central IT’s solution. The answer is that where they rent space, do have a diesel generator that keeps the storage network still running for several hours if an electricity blackout happens and the service to be able to restore far more previous versions of a file than my suggestion would. They also have an ability to expand their systems more flexible. But with my calculation, 1 or 2 of these system is good enough for 10 years for all groups in the department.
But is it worth ~1 Million SEK for year 1 and 1.2 Million SEK and counting each subsequent year to be able to have these features?

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Jun 2008

Jag googlade faktiskt fram dessa artiklar också...och tyckte de var lite intressanta....funderar på om detta är ett alternativ själv (eller bygga helt eget chassi t.om), men då måste vi inreda minst 2 rum med kylning etc etc vilket jag inte riktigt vet hur mycket extra pengar det kommer att handla om.

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Jun 2008
Skrivet av _niko_:

Med så mkt disk och så mkt lagring så skulle jag nog begärt offert på vad ett san skulle kosta.
Det blir mkt mer flexibelt och är det relativt mkt last på det så kan ni sprida den lasten på flera servrar, nasen känns mer som en backuplösning att köra till.
T.ex med Backup Exec.

Jo absolut, det gnager lite gran också och jag funderar på om alternativet funkar bra....tror dock det kan gå med den lasten vi har....

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Jun 2008
Skrivet av henkiii:

Fördelen med Enterprise produkter är ju att det finns någon att ringa när systemet har brakat ihop och chefen flåsar en i nacken.
Är det backup, arkivering eller en fet filserver du är ute efter?
Backup "på stan" har blivit ganska billigt på sistone. Gissar att arkivering även har blivit det.

Jag såg precis att det går att "citera flera"...sorry grabbar och tjejer...har bara sovit 4 timmar inatt så är lite "efter".
Flåsa i nacken är det ingen som kommer att göra på samma sätt som om det vore privat företag.
Vi har egentligen behov av allt men jag hoppas att de centralt ska ta lite ansvar och fixa grejer...själv försöker jag bara få till en centralare backup/nätverksdisk så att folk kan ge fan att förlora data längre.

Trädvy Permalänk
Medlem
Registrerad
Jun 2007

Du borde väl skaffa ett SAN? En HP lefthand eller en Dell equallogic borde väll vara det du söker? Kolla med valfri ÅF som riktar sig mot företag så lär du ju få bra hälp. Typ Dustin,Atea, Misco osv.

|Asrock X370 Pro Gaming| Ryzen 1700 @ 3,9| 16GB Geil Super Luce 3400mhz ddr4| Colorful 1080 | Samsung 950 Pro 256gb & Seagate 600 480gb| Crosair RM1000| Deepcool Dukase| Siberia 840| Zowie EC1-A| Corsair RGB MX Blue| Asus MG279Q |

Trädvy Permalänk
Medlem
Registrerad
Sep 2011
Skrivet av Corniz:

Det är statlig verksamhet (surprise surprise)....det går nog inte att göra en analys.....
Det har lite chargången (felstavning) att det gör inte så mycket om saker inte funkar som det ska, eller folk fikar ofta, eller vi inte backar upp eller eller.....tyvärr så funkar det såhär på ej vinstintresserade verksamheter (statligt, kommuner etc etc). Men allt ska helst vara så billigt som möjligt.
Jag som tekniker försöker rodda och göra något billigare än 50 öre per GB per månad.
Min uträkning+text på det som jag skrev på engelska för att gå med till "överhuvudet" är:
My solution: 204 TB is 222.000 SEK, a one-time cost (excluding replacing faulty hardware)
Central IT’s solution: 204 TB is 102.100 SEK per month = 1.225.200 SEK per year! (Including the snapshot data? In that case it is going to be several times higher sum)
You may ask yourself what extra do you get with central IT’s solution. The answer is that where they rent space, do have a diesel generator that keeps the storage network still running for several hours if an electricity blackout happens and the service to be able to restore far more previous versions of a file than my suggestion would. They also have an ability to expand their systems more flexible. But with my calculation, 1 or 2 of these system is good enough for 10 years for all groups in the department.
But is it worth ~1 Million SEK for year 1 and 1.2 Million SEK and counting each subsequent year to be able to have these features?

Statlig verksamhet borde ju ha möjligheten att lägga ut driften för upphandling till systemintegratörer se (Cygate, Atea, Tieto, Logica Evry eller whatnot)
Ärligt talat så snackar du om att försöka göra en meksystem utan någon sorts av Disaster planning eller HA. De där pengarna det kostar att köpa in en tjänst för drift och underhåll lär betala av sig "NÄR" inte om olyckan är framme.

Dessa frågor är VIKTIGA för att kunna ha en driftsäker och pålitlig miljö när det gäller dessa volymer av data.

Har du även tänkt på off-site lagring av backup ifall byggnaden skulle rasa/brinna ner?
Vad händer ifall elnätet slås ut i området?
Vem gör vad när en incident uppstår?
Vem skall skapa RFC's för att göra diskbyten osv?
Vem bytar banden när veckobackupen behövs göras?
Vem kopplar över till reservkraften när strömmen går?
Vem ser till så att filerna har kvar sin integritet efter en blackout?
Redudans ifall

Vill ni inte köpa en tjänst så kan ni kolla in alternativ för Co-location.

Att drifta sin egen IT är inte alltid det mest säkraste sättet!

men du får vad du betalar för, Jag skulle bara inte vara den killen som implementerade denna idé och sedan står där när helvetet brakar loss och man måste hyra in konsulter från expertbolag för att läsa tillbaka all data på grund av att man "snålat" på driften

AMD FX-9590 @ 4,90 GHZ | EK Vattenblock till CPU med 2x360 radiatorer | AMD Memory 4x4GB kit 1866MHZ | MSI R9 290X Lightning with EK Fullcover block | Asus ROG Crosshair V Formula-Z 990FX | Corsair 1000W PSU | Phantek Enthoo Pro | Razer Blackwidow Ultimate 2014 | Sennheiser PC-360 G4ME | 1st 240GB Samsung 840 Evo | 2x 1,5TB Samsung F1 | 1x 500GB Samsung

Trädvy Permalänk
Medlem
Registrerad
Nov 2011
Skrivet av Corniz:

Det är statlig verksamhet (surprise surprise)....det går nog inte att göra en analys.....
Det har lite chargången (felstavning) att det gör inte så mycket om saker inte funkar som det ska, eller folk fikar ofta, eller vi inte backar upp eller eller.....tyvärr så funkar det såhär på ej vinstintresserade verksamheter (statligt, kommuner etc etc). Men allt ska helst vara så billigt som möjligt.

Jodå det går. Jag arbetar för närvarande (bl.a) som CIO på ett medelstort (d.v.s omsättning över en miljard) kommunalägt bolag. Jag ÄR med på vad du skriver. Men, tror mig, genom att trycka på rätt knappar = skriva/säga rätta saker till de personer som sitter på ansvarsposter så får man oftast bra svar. Det är en konst, men bara man lär sig hur man ska göra så är det inga problem oavsett verksamhet.

Måste fråga. Har någon bett dig kika på detta, kanske göra ett beslutsunderlag? eller är det på eget initiativ?

Sen tänker jag att det med den nya infon du ger så blir det ännu viktigare att räkna på värdet av datat för att ha med det som en del av ditt förslag. Om någon av mina tekniker skulle komma med ett förslag på en lösning som var såpass mycket billigare som du beskriver så vill jag ju veta vilka nackdelar den föreslagna lösningen har. Sen vill jag veta om nackdelarna spelar någon roll eller inte.

Man vill ju då att beslutsunderlaget skall innehålla saker som: "Vi kommer med den förslagna lösningen inte kunna återställa versioner av data äldre än X och vi kommer också förlora de senaste 24 timmarnas data vid en diskkrasch, men som min analys visar så kan vi förlora upp till 48 timmar utan att det leder till extra kostnad eller störningar i verksamheten" Etc etc.

Att göra en seriös analys av datat ger dig också andra svar. Typ krav på tillgänglighet, pålitlighet, säkerhet. Även ansvar behöver redas ut. Vem förvaltar lösningen? Dessutom kanske dom 30TB:na som du skall lagra egentligen bara är 10TB efter en seriös analys.

Spel och videoredigering: Define XL R2 - ROG Rampage V 10 - 5930K - Corsair H55 - 128 GB Corsair Vengeance LPX 3000 MHz - Samsung 950 PRO 512GB M.2 - MSI 1080 Gaming X - Asus PG278Q - Appleprodukter: Macbook Pro Touch bar 2016 - Mac Mini - iPhone Xs max - Apple Watch - iPad Pro 10.5 - Apple TV 4K
Ljud: Bluesound Node2 - Vincent DAC 1 - Vincent SA-31 - Vincent SP-996 x2 - XTZ 99.26 mkII (beryllium mod)
Foto: Canon EOS 1DX mkII - en ryggsäck full med 2.8 L-glas.

Trädvy Permalänk
Medlem
Plats
Solna
Registrerad
Feb 2004
Skrivet av Corniz:

Hej!

Jag vill mest lufta mina tankar och ideér med er.
På jobbet så har vi en central avdelning som erbjuder för dyr lagring och dessutom som månadskostnad.....
Jag vet att det är troligtvis bästa alternativet eftersom de använder Netapp-grejer etc etc.

Våran avdelning som är ca 250 personer och jag har suttit och tittat på alternativ som är tillräckligt bra utan att gå över den här superdyra gränsen där enterprise-företag hamnar och betalar multum....

Vi har genererat grovt räknat 30 TB under 3-4 år så vet ni ungefär hur mycket data som genereras. Vi måste spara data i 10 år, sedan kan vi tömma för att få tillbaka utrymme.

Vi har inget riktigt serverrum så att köpa t.ex Synologys rackmonterade alternativ vet jag inte om det är så smart utan att göra om något källarrum till ett server-rum med kyla etc........men jag funderar på om det kan vara värt att testa denna setup...antagligen så kommer det behövas 2st sådana här system när den första väl fylls:
#1 System 1 = 1x Synology DX3612xs (12 hårddiskarplatser) expanderat med 2st Synology DX2111. Det blir totalt 36 hårddiskplatser i NAS'en.
#2 System 2 = Är helt sonika fullständig kopia av System #1 och är en full avspegling av den första enheten med någon dags glapp...ifall någon har raderat data och vill ha tillbaka den...då finns det på system #2 men då inte på System #1.....

Båda systemen ska vara i Raid 6 för att få ut så mycket diskplats som möjligt.

Systemen står fysiskt på olika ställen för att minimera stöld+brandrisk och med strömskydd och UPS för clean shutdown.
Har tittat på Synologys operativsystem och det verkar finnas stor flexibilitet och potential i det så gillar det verkligen.

Har kommit in som IT-tekniker till ett företag där det är vilda västern och folk backar upp (eller inte backar up alls) tills externa USB-hårddiskar etc etc....och det är inte hållbart då jag redan efter någon månad hört 6 personer som blivit av med data.
Jag är medveten att denna idé inte är lika fullproof som netapp med snapshots

Nu undrar jag......är det någonstans i mina tankebanor där jag inte riktigt har "tänkt klart"?

Kör ni inget AD?

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Jan 2014

Låter som en dyr historia.

Tänk på att alla dessa rack, som ni ska ha inne, behöver kylning, support och UPS:er till varje enhet.

På mitt jobb, tickar det kring 28K/kvartal för bara strömmen. Bara så du har det i åtanke

Ta kontakt med Dell/Dustin eller annan firma som är mer uppdaterad, så ska de nog kunna hjälpa dig.

Moderkort: Asus RIVBE | Processor: Intel i7 4930K 4.6 GHz | CPU-kylare: Loop Deluxe | Grafikkort:Asus GTX 1080 Ti Poseidon 2100Ghz | RAM-Minnen: HyperX Beast 2400Mhz | SSD: 240 SSD | Nätagg: Corsair AX1200i | Display: ASUS PG348Q 100 hz | Mus: SteelSeries RIVAL 310 Headphones/Speakers: Razer Tiamat 7.1/ ASUS Strix DSP/Logitech G560/Corsair SP2500| Keyboard:Asus ROG Strix Flare Cherry Brown | Mic: Blue Yeti + Boomarm

Trädvy Permalänk
Medlem
Registrerad
Jan 2003

Tänk till ett extra varv innan du börjar med din shadow-IT-lösning...
Jag har två stycken av din ovannämnda synology, och dom är INGET jag skulle vilja ha något av det minsta kritiska på ens!
Båda har säckat ihop helt i olika åtkommor, jag har det bara som stage area för mina backuper i DR-miljön.
svaret från synology supporten har varit, fritt översatt, "shit happens...", åtskilliga gånger har DSM säckat ihop och man kan inte ens logga in i den utan att behöva göra en hård po-po på den, inget roligt...
I helgen uppdaterade vi våra produktions SAN och stötte på lite problem, inget kritiskt bara klassat som "degraded", Supporten var på det fort som satan och löste det med oss.
Det är detta som är en av skillnaderna mellan konsument prylar och Enterprise prylar.
Visst en mille i drift är inga småpengar men å andra sidan är 200Tb ingen liten volym heller,
och då tar eran drift avdelning hand om migreringar och annat när det är dags för hårdvarubyte.
vilket det lär hända några gånger under dom tio åren ni skall ha kvar datan, bara patchning av systemen är värt en del...
Jag skulle snarare kolla på vad ni sparar ner och dela upp det i flera lager, lokal "fuldata" i en enklare lagring i källaren, och mer kritiska data på drift avdelningen, ni borde ju ha någon form av "bas arbetsplats" eller vad ni kallar det där det ingår en del redan.
Du kommer ju heller inte skaffa dig kompisar på driftavdelningen så ta ett möte med dom och kom överens om en lösning som är hållbar istället...

Trädvy Permalänk
Medlem
Plats
Helsingborg
Registrerad
Maj 2007

Ta in företag som gör offert detta är inget man bör sköta själv när ni har krav på lagring. Nu förtiden så kan det lösa sig att ha lagring offsite hos annan part där dem har riktiga grejer för kunder som er.

Chassi: Corsair Crystal 570X RGB, Intel 8700K, SSD 830 256GB , Asus Z370-F, EVGA GTX980 SC + Arctic Xtreme IV , 16GB Vengeance ,Corsair HX 750w, G9x, G35 & G19 & Acer XB271Hu.
Inet.se fraktfritt

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Apr 2004
Skrivet av Corniz:

Jag såg precis att det går att "citera flera"...sorry grabbar och tjejer...har bara sovit 4 timmar inatt så är lite "efter".
Flåsa i nacken är det ingen som kommer att göra på samma sätt som om det vore privat företag.
Vi har egentligen behov av allt men jag hoppas att de centralt ska ta lite ansvar och fixa grejer...själv försöker jag bara få till en centralare backup/nätverksdisk så att folk kan ge fan att förlora data längre.

Jag förstår ditt problem, men jag menar att att 50öre låter ganska billigt i sammanhanget, speciellt om det ingår backup, ups m.m.
Det kostar en del mantimmar att hålla en sådan stor lagringlösning i liv, det är ju även en fördel om lösningen är anpassad till den workload som 250 användare skapar. Med så stora mängder data som du ska behålla i 10år(!) är ju dessutom backup ett måste.

Behöver du verkligen 200TB i inledningsskedet blir ju första funderingen?
Börja på 30TB (om det speglar din aktuella datamängd) och köp extra allt eftersom datan växer?

Trädvy Permalänk
Medlem
Plats
Tyskland
Registrerad
Dec 2008

För det första bör ni glömma allt som inte kör zfs! Sedan borde det vara raidz3 och flera vdevs för att det är livsfarligt att ha för många diskar i ett enda fält! Att ha två NASar är INTE samma som backup med versioning! Korrupt data kommer syncas mellan båda NASar. Därför är zfs det enda intelligenta alternativet om man bryr sig om sin data.

Om ni ska göra hemmabygge så föreslår jag att läsa guider för freenas. Har en hel del information om både zfs och hur man ska tänka runt NAS tillförlitlighet.

Skickades från m.sweclockers.com

PS: Att expandera stora raid fält med nya diskar är att be om katastrof.