Massivt 204 TB NAS-system

Permalänk
Medlem

Massivt 204 TB NAS-system

Hej!

Jag vill mest lufta mina tankar och ideér med er.
På jobbet så har vi en central avdelning som erbjuder för dyr lagring och dessutom som månadskostnad.....
Jag vet att det är troligtvis bästa alternativet eftersom de använder Netapp-grejer etc etc.

Våran avdelning som är ca 250 personer och jag har suttit och tittat på alternativ som är tillräckligt bra utan att gå över den här superdyra gränsen där enterprise-företag hamnar och betalar multum....

Vi har genererat grovt räknat 30 TB under 3-4 år så vet ni ungefär hur mycket data som genereras. Vi måste spara data i 10 år, sedan kan vi tömma för att få tillbaka utrymme.

Vi har inget riktigt serverrum så att köpa t.ex Synologys rackmonterade alternativ vet jag inte om det är så smart utan att göra om något källarrum till ett server-rum med kyla etc........men jag funderar på om det kan vara värt att testa denna setup...antagligen så kommer det behövas 2st sådana här system när den första väl fylls:
#1 System 1 = 1x Synology DX3612xs (12 hårddiskarplatser) expanderat med 2st Synology DX2111. Det blir totalt 36 hårddiskplatser i NAS'en.
#2 System 2 = Är helt sonika fullständig kopia av System #1 och är en full avspegling av den första enheten med någon dags glapp...ifall någon har raderat data och vill ha tillbaka den...då finns det på system #2 men då inte på System #1.....

Båda systemen ska vara i Raid 6 för att få ut så mycket diskplats som möjligt.

Systemen står fysiskt på olika ställen för att minimera stöld+brandrisk och med strömskydd och UPS för clean shutdown.
Har tittat på Synologys operativsystem och det verkar finnas stor flexibilitet och potential i det så gillar det verkligen.

Har kommit in som IT-tekniker till ett företag där det är vilda västern och folk backar upp (eller inte backar up alls) tills externa USB-hårddiskar etc etc....och det är inte hållbart då jag redan efter någon månad hört 6 personer som blivit av med data.
Jag är medveten att denna idé inte är lika fullproof som netapp med snapshots

Nu undrar jag......är det någonstans i mina tankebanor där jag inte riktigt har "tänkt klart"?

Permalänk
Medlem

Administration av systemet?

Visa signatur

Det som flöt iland senast.

Permalänk
Medlem

Köp riktiga grejer som har 24/7 support osv.. Kontakta Dell t.ex. som har helhetslösningar.

Hade du tänkt att Synology ska serva er med tekniker 24/7 när grejerna rasar?

Permalänk
Medlem
Visa signatur

“There will be people that are burdened by only having the capacity to see what has always been instead of what can be.
But don’t you let that burden you.”

Permalänk
Medlem

Har du gjort en analys av vad era 30 TB är värda? Det handlar ju lika mycket om "asset management" som om det tekniska.

Permalänk
Medlem

Fördelen med Enterprise produkter är ju att det finns någon att ringa när systemet har brakat ihop och chefen flåsar en i nacken.
Är det backup, arkivering eller en fet filserver du är ute efter?
Backup "på stan" har blivit ganska billigt på sistone. Gissar att arkivering även har blivit det.

Permalänk
Medlem

Med så mkt disk och så mkt lagring så skulle jag nog begärt offert på vad ett san skulle kosta.
Det blir mkt mer flexibelt och är det relativt mkt last på det så kan ni sprida den lasten på flera servrar, nasen känns mer som en backuplösning att köra till.
T.ex med Backup Exec.

Visa signatur

WS: R7 5800X, 32GB, Suprim X 3080, Acer X38P+Acer XB271HU
FS: HPE ML110 Gen10 Xeon Silver, Qnap TS-h973AX ~100TB
NW: Fortigate, Ruckus, Zyxel XS1930HP 10Gb

Permalänk
Medlem
Skrivet av SmOOthy:

Administration av systemet?

Jag kommer att administrera systemet tillsammans med en till IT-tekniker. Vi kommer att köpa in extra hårdvara till NAS'arna ifall något skiter sig...de har t.ex bara 1 power supply, vilket är sådär...men vi har inte "mission critical" data som måste vara uppe 24/7 såsom många enterprise lagringsföretag säljer till stora kunder....och då för dyra pengar.

Permalänk
Medlem
Skrivet av stimy09:

Har du gjort en analys av vad era 30 TB är värda? Det handlar ju lika mycket om "asset management" som om det tekniska.

Det är statlig verksamhet (surprise surprise)....det går nog inte att göra en analys.....
Det har lite chargången (felstavning) att det gör inte så mycket om saker inte funkar som det ska, eller folk fikar ofta, eller vi inte backar upp eller eller.....tyvärr så funkar det såhär på ej vinstintresserade verksamheter (statligt, kommuner etc etc). Men allt ska helst vara så billigt som möjligt.
Jag som tekniker försöker rodda och göra något billigare än 50 öre per GB per månad.
Min uträkning+text på det som jag skrev på engelska för att gå med till "överhuvudet" är:
My solution: 204 TB is 222.000 SEK, a one-time cost (excluding replacing faulty hardware)
Central IT’s solution: 204 TB is 102.100 SEK per month = 1.225.200 SEK per year! (Including the snapshot data? In that case it is going to be several times higher sum)
You may ask yourself what extra do you get with central IT’s solution. The answer is that where they rent space, do have a diesel generator that keeps the storage network still running for several hours if an electricity blackout happens and the service to be able to restore far more previous versions of a file than my suggestion would. They also have an ability to expand their systems more flexible. But with my calculation, 1 or 2 of these system is good enough for 10 years for all groups in the department.
But is it worth ~1 Million SEK for year 1 and 1.2 Million SEK and counting each subsequent year to be able to have these features?

Permalänk
Medlem

Jag googlade faktiskt fram dessa artiklar också...och tyckte de var lite intressanta....funderar på om detta är ett alternativ själv (eller bygga helt eget chassi t.om), men då måste vi inreda minst 2 rum med kylning etc etc vilket jag inte riktigt vet hur mycket extra pengar det kommer att handla om.

Permalänk
Medlem
Skrivet av _niko_:

Med så mkt disk och så mkt lagring så skulle jag nog begärt offert på vad ett san skulle kosta.
Det blir mkt mer flexibelt och är det relativt mkt last på det så kan ni sprida den lasten på flera servrar, nasen känns mer som en backuplösning att köra till.
T.ex med Backup Exec.

Jo absolut, det gnager lite gran också och jag funderar på om alternativet funkar bra....tror dock det kan gå med den lasten vi har....

Permalänk
Medlem
Skrivet av henkiii:

Fördelen med Enterprise produkter är ju att det finns någon att ringa när systemet har brakat ihop och chefen flåsar en i nacken.
Är det backup, arkivering eller en fet filserver du är ute efter?
Backup "på stan" har blivit ganska billigt på sistone. Gissar att arkivering även har blivit det.

Jag såg precis att det går att "citera flera"...sorry grabbar och tjejer...har bara sovit 4 timmar inatt så är lite "efter".
Flåsa i nacken är det ingen som kommer att göra på samma sätt som om det vore privat företag.
Vi har egentligen behov av allt men jag hoppas att de centralt ska ta lite ansvar och fixa grejer...själv försöker jag bara få till en centralare backup/nätverksdisk så att folk kan ge fan att förlora data längre.

Permalänk
Medlem

Du borde väl skaffa ett SAN? En HP lefthand eller en Dell equallogic borde väll vara det du söker? Kolla med valfri ÅF som riktar sig mot företag så lär du ju få bra hälp. Typ Dustin,Atea, Misco osv.

Visa signatur

|Asrock X370 Pro Gaming| Ryzen 3800XT| 32GB Geil Super Luce 3400mhz ddr4| Hellhound 7900XT | Samsung 950 Pro 512gb & Seagate 600 480gb| Crosair RM1000| Deepcool Dukase| Siberia 840| Zowie EC1-A| Corsair RGB MX Blue| Samsung Odyssey G8 |

Permalänk
Medlem
Skrivet av Corniz:

Det är statlig verksamhet (surprise surprise)....det går nog inte att göra en analys.....
Det har lite chargången (felstavning) att det gör inte så mycket om saker inte funkar som det ska, eller folk fikar ofta, eller vi inte backar upp eller eller.....tyvärr så funkar det såhär på ej vinstintresserade verksamheter (statligt, kommuner etc etc). Men allt ska helst vara så billigt som möjligt.
Jag som tekniker försöker rodda och göra något billigare än 50 öre per GB per månad.
Min uträkning+text på det som jag skrev på engelska för att gå med till "överhuvudet" är:
My solution: 204 TB is 222.000 SEK, a one-time cost (excluding replacing faulty hardware)
Central IT’s solution: 204 TB is 102.100 SEK per month = 1.225.200 SEK per year! (Including the snapshot data? In that case it is going to be several times higher sum)
You may ask yourself what extra do you get with central IT’s solution. The answer is that where they rent space, do have a diesel generator that keeps the storage network still running for several hours if an electricity blackout happens and the service to be able to restore far more previous versions of a file than my suggestion would. They also have an ability to expand their systems more flexible. But with my calculation, 1 or 2 of these system is good enough for 10 years for all groups in the department.
But is it worth ~1 Million SEK for year 1 and 1.2 Million SEK and counting each subsequent year to be able to have these features?

Statlig verksamhet borde ju ha möjligheten att lägga ut driften för upphandling till systemintegratörer se (Cygate, Atea, Tieto, Logica Evry eller whatnot)
Ärligt talat så snackar du om att försöka göra en meksystem utan någon sorts av Disaster planning eller HA. De där pengarna det kostar att köpa in en tjänst för drift och underhåll lär betala av sig "NÄR" inte om olyckan är framme.

Dessa frågor är VIKTIGA för att kunna ha en driftsäker och pålitlig miljö när det gäller dessa volymer av data.

Har du även tänkt på off-site lagring av backup ifall byggnaden skulle rasa/brinna ner?
Vad händer ifall elnätet slås ut i området?
Vem gör vad när en incident uppstår?
Vem skall skapa RFC's för att göra diskbyten osv?
Vem bytar banden när veckobackupen behövs göras?
Vem kopplar över till reservkraften när strömmen går?
Vem ser till så att filerna har kvar sin integritet efter en blackout?
Redudans ifall

Vill ni inte köpa en tjänst så kan ni kolla in alternativ för Co-location.

Att drifta sin egen IT är inte alltid det mest säkraste sättet!

men du får vad du betalar för, Jag skulle bara inte vara den killen som implementerade denna idé och sedan står där när helvetet brakar loss och man måste hyra in konsulter från expertbolag för att läsa tillbaka all data på grund av att man "snålat" på driften

Visa signatur

Gammal men bra.

Permalänk
Medlem
Skrivet av Corniz:

Det är statlig verksamhet (surprise surprise)....det går nog inte att göra en analys.....
Det har lite chargången (felstavning) att det gör inte så mycket om saker inte funkar som det ska, eller folk fikar ofta, eller vi inte backar upp eller eller.....tyvärr så funkar det såhär på ej vinstintresserade verksamheter (statligt, kommuner etc etc). Men allt ska helst vara så billigt som möjligt.

Jodå det går. Jag arbetar för närvarande (bl.a) som CIO på ett medelstort (d.v.s omsättning över en miljard) kommunalägt bolag. Jag ÄR med på vad du skriver. Men, tror mig, genom att trycka på rätt knappar = skriva/säga rätta saker till de personer som sitter på ansvarsposter så får man oftast bra svar. Det är en konst, men bara man lär sig hur man ska göra så är det inga problem oavsett verksamhet.

Måste fråga. Har någon bett dig kika på detta, kanske göra ett beslutsunderlag? eller är det på eget initiativ?

Sen tänker jag att det med den nya infon du ger så blir det ännu viktigare att räkna på värdet av datat för att ha med det som en del av ditt förslag. Om någon av mina tekniker skulle komma med ett förslag på en lösning som var såpass mycket billigare som du beskriver så vill jag ju veta vilka nackdelar den föreslagna lösningen har. Sen vill jag veta om nackdelarna spelar någon roll eller inte.

Man vill ju då att beslutsunderlaget skall innehålla saker som: "Vi kommer med den förslagna lösningen inte kunna återställa versioner av data äldre än X och vi kommer också förlora de senaste 24 timmarnas data vid en diskkrasch, men som min analys visar så kan vi förlora upp till 48 timmar utan att det leder till extra kostnad eller störningar i verksamheten" Etc etc.

Att göra en seriös analys av datat ger dig också andra svar. Typ krav på tillgänglighet, pålitlighet, säkerhet. Även ansvar behöver redas ut. Vem förvaltar lösningen? Dessutom kanske dom 30TB:na som du skall lagra egentligen bara är 10TB efter en seriös analys.

Permalänk
Medlem
Skrivet av Corniz:

Hej!

Jag vill mest lufta mina tankar och ideér med er.
På jobbet så har vi en central avdelning som erbjuder för dyr lagring och dessutom som månadskostnad.....
Jag vet att det är troligtvis bästa alternativet eftersom de använder Netapp-grejer etc etc.

Våran avdelning som är ca 250 personer och jag har suttit och tittat på alternativ som är tillräckligt bra utan att gå över den här superdyra gränsen där enterprise-företag hamnar och betalar multum....

Vi har genererat grovt räknat 30 TB under 3-4 år så vet ni ungefär hur mycket data som genereras. Vi måste spara data i 10 år, sedan kan vi tömma för att få tillbaka utrymme.

Vi har inget riktigt serverrum så att köpa t.ex Synologys rackmonterade alternativ vet jag inte om det är så smart utan att göra om något källarrum till ett server-rum med kyla etc........men jag funderar på om det kan vara värt att testa denna setup...antagligen så kommer det behövas 2st sådana här system när den första väl fylls:
#1 System 1 = 1x Synology DX3612xs (12 hårddiskarplatser) expanderat med 2st Synology DX2111. Det blir totalt 36 hårddiskplatser i NAS'en.
#2 System 2 = Är helt sonika fullständig kopia av System #1 och är en full avspegling av den första enheten med någon dags glapp...ifall någon har raderat data och vill ha tillbaka den...då finns det på system #2 men då inte på System #1.....

Båda systemen ska vara i Raid 6 för att få ut så mycket diskplats som möjligt.

Systemen står fysiskt på olika ställen för att minimera stöld+brandrisk och med strömskydd och UPS för clean shutdown.
Har tittat på Synologys operativsystem och det verkar finnas stor flexibilitet och potential i det så gillar det verkligen.

Har kommit in som IT-tekniker till ett företag där det är vilda västern och folk backar upp (eller inte backar up alls) tills externa USB-hårddiskar etc etc....och det är inte hållbart då jag redan efter någon månad hört 6 personer som blivit av med data.
Jag är medveten att denna idé inte är lika fullproof som netapp med snapshots

Nu undrar jag......är det någonstans i mina tankebanor där jag inte riktigt har "tänkt klart"?

Kör ni inget AD?

Visa signatur

13900KS | 32GB 6400 DDR5 | 4090 FE | Samsung G8 Oled
ASUS ROG Strix Z790-F Gaming | Fractal Torrent White | Corsair HX1200

Permalänk
Medlem

Låter som en dyr historia.

Tänk på att alla dessa rack, som ni ska ha inne, behöver kylning, support och UPS:er till varje enhet.

På mitt jobb, tickar det kring 28K/kvartal för bara strömmen. Bara så du har det i åtanke

Ta kontakt med Dell/Dustin eller annan firma som är mer uppdaterad, så ska de nog kunna hjälpa dig.

Visa signatur

Moderkort:ASUS ROG Strix X670E-F Gaming WIFI | Processor: AMD 7800X3D | CPU-kylare: Lian Li Galahad II LCD 360 | Grafikkort:Asus ROG RTX 4090 Gaming OC White | RAM-Minnen: Kingston 32GB 6000MHz CL36 FURY Beast | SSD: Kingston Fury Renegade 2TB x2 | Nätagg: DeepCool PX1200G 1200W | Display: Samsung C49RG90 120 Hz | Mus: Glorious Gaming Model O Headphones/Speakers: Logitech Pro X/Roccat Syn Max Air| Keyboard:Asus ROG Strix Scope Deluxe TKL NX Red |

Permalänk
Medlem

Tänk till ett extra varv innan du börjar med din shadow-IT-lösning...
Jag har två stycken av din ovannämnda synology, och dom är INGET jag skulle vilja ha något av det minsta kritiska på ens!
Båda har säckat ihop helt i olika åtkommor, jag har det bara som stage area för mina backuper i DR-miljön.
svaret från synology supporten har varit, fritt översatt, "shit happens...", åtskilliga gånger har DSM säckat ihop och man kan inte ens logga in i den utan att behöva göra en hård po-po på den, inget roligt...
I helgen uppdaterade vi våra produktions SAN och stötte på lite problem, inget kritiskt bara klassat som "degraded", Supporten var på det fort som satan och löste det med oss.
Det är detta som är en av skillnaderna mellan konsument prylar och Enterprise prylar.
Visst en mille i drift är inga småpengar men å andra sidan är 200Tb ingen liten volym heller,
och då tar eran drift avdelning hand om migreringar och annat när det är dags för hårdvarubyte.
vilket det lär hända några gånger under dom tio åren ni skall ha kvar datan, bara patchning av systemen är värt en del...
Jag skulle snarare kolla på vad ni sparar ner och dela upp det i flera lager, lokal "fuldata" i en enklare lagring i källaren, och mer kritiska data på drift avdelningen, ni borde ju ha någon form av "bas arbetsplats" eller vad ni kallar det där det ingår en del redan.
Du kommer ju heller inte skaffa dig kompisar på driftavdelningen så ta ett möte med dom och kom överens om en lösning som är hållbar istället...

Permalänk
Medlem

Ta in företag som gör offert detta är inget man bör sköta själv när ni har krav på lagring. Nu förtiden så kan det lösa sig att ha lagring offsite hos annan part där dem har riktiga grejer för kunder som er.

Visa signatur

Chassi: Fractal R6, Intel 8700K, SSD 2 x 256GB , Asus Z370-F, MSI RTX 3080 Trio X , 16GB Vengeance ,Corsair HX 750w, G900, G35 & G19 & Acer XB271Hu.
Inet.se fraktfritt

Permalänk
Medlem
Skrivet av Corniz:

Jag såg precis att det går att "citera flera"...sorry grabbar och tjejer...har bara sovit 4 timmar inatt så är lite "efter".
Flåsa i nacken är det ingen som kommer att göra på samma sätt som om det vore privat företag.
Vi har egentligen behov av allt men jag hoppas att de centralt ska ta lite ansvar och fixa grejer...själv försöker jag bara få till en centralare backup/nätverksdisk så att folk kan ge fan att förlora data längre.

Jag förstår ditt problem, men jag menar att att 50öre låter ganska billigt i sammanhanget, speciellt om det ingår backup, ups m.m.
Det kostar en del mantimmar att hålla en sådan stor lagringlösning i liv, det är ju även en fördel om lösningen är anpassad till den workload som 250 användare skapar. Med så stora mängder data som du ska behålla i 10år(!) är ju dessutom backup ett måste.

Behöver du verkligen 200TB i inledningsskedet blir ju första funderingen?
Börja på 30TB (om det speglar din aktuella datamängd) och köp extra allt eftersom datan växer?

Permalänk
Inaktiv

För det första bör ni glömma allt som inte kör zfs! Sedan borde det vara raidz3 och flera vdevs för att det är livsfarligt att ha för många diskar i ett enda fält! Att ha två NASar är INTE samma som backup med versioning! Korrupt data kommer syncas mellan båda NASar. Därför är zfs det enda intelligenta alternativet om man bryr sig om sin data.

Om ni ska göra hemmabygge så föreslår jag att läsa guider för freenas. Har en hel del information om både zfs och hur man ska tänka runt NAS tillförlitlighet.

Skickades från m.sweclockers.com

PS: Att expandera stora raid fält med nya diskar är att be om katastrof.