Stor lagringsserver, tips på hårdvara.

Permalänk

Stor lagringsserver, tips på hårdvara.

Hej!

Skulle behöva sweclockers expertishjälp med att välja hårdvara samt mjukvara till min blivande server.

Min nuvarande kör ubuntu 11.10. Moderkortet är ett asus a8ne. 4 sata diskar och en IDE för system.
Har 10 som använder systemet som molntjänst, de kopplar upp via webdav
och hanterar sina filer så sätt. Funkar okej, men finns det andra, bättre alternativ?

Även en bra distro, med webgränssnitt som konfiguration. Synology har ju ett eget som verkar vara toppen.
Sett OpenMediaVault, finns det fler?

Behöver tips på chassi och all annan hårdvara. Planerar att ha mycket lagring.
30-50 tb. Gärna ett chassi med hotswap luckor.

Visa signatur
Permalänk
Medlem

Om du ska så mycket lagring så får du satsa på bra prylar.

https://www.mullet.se/product.html?product_id=334368&CNFid=Ji...

  • 1st BX80623E31230 Intel Xeon E3-1230 3.2GHz QuadCore HT, 8MB, 80W TDP

  • 4st KVR1333D3E9S/4G 4GB 1333MHz DDR3 ECC CL9 DIMM with Thermal Sensor

  • 1st 813M-LSI9260-BBU LSI MegaRAID SAS2 9260, 4-port RAID6 512MB cache BBU

  • 24st ST3000DM001 Barracuda 3TB, 7200rpm, 64MB, SATA 6Gb/s

Pris: 54 627,00 ex moms

Jag skulle köra Ubuntu Sevrer 12.04 LTS + KVM + libvirt
Då skapar du olika virtuella maskiner med olika tjänster.

så som

  • OwnCloud

  • FreeNAS

  • Tonido

Visa signatur

| Citera för svar! | Gilla bra inlägg! |

Permalänk
Medlem

Här har du 13x3TB disk för 27kkr. Lägg till strömadaptrar för diskarna och 5.25"-->3.5" adaptrar så är du good to go.

13*3TB i RAID 6 blir 33TB, behöver du mer utrymme är det bara att du köper en till burk och delar ut den med CIFS/Samba/NFS till den första. Blir inte mycket billigare per gb än det här.

http://www.inet.se/kundvagn/visa/1648915/13x3tb

Visa signatur

MBP: 13" - M1
Stationär: Win11 - Ryzen 5900X - 128GB - GTX 4080
Server: Ubuntu - i5 4670k - 32GB - 4x5TB Raid-Z
Server: Rpi4 8GB, 1TB USB SSD

Permalänk

Detta moderkorkortet har 10 sata II kontakter
http://www.gigabyte.se/products/product-page.aspx?pid=3158#sp
(http://www.prisjakt.nu/produkt.php?p=465507)

Då får jag 30 tb

sen ett pcie för sata III för ssd

kortet har även två 1000 ethernet som är nice för link aggregation.

eller är det helt fel?

Visa signatur
Permalänk
Medlem
Skrivet av fractaldesign:

Detta moderkorkortet har 10 sata II kontakter
http://www.gigabyte.se/products/product-page.aspx?pid=3158#sp
(http://www.prisjakt.nu/produkt.php?p=465507)

Då får jag 30 tb

sen ett pcie för sata III för ssd

kortet har även två 1000 ethernet som är nice för link aggregation.

eller är det helt fel?

1156 är ju lite förlegad nu. I övrigt så tror jag inte du nyttjar de dubbla nic'sen. Dels tror jag switchen måste stödja det, sedan har du väll bara 100mbit ut på internet och endast ett nic i datorn?

Tycker tifus paket verket helt ok.

Permalänk
Medlem

För en "hemmaserver" så är mitt förslag att köpa ett chassi med många externa 5,25" platser(sök på prisjakt), och poppa i http://mullet.se/product.html?product_id=78394 efter behov. Köper du tex ett Antec Nine Hundred som har 9x 5,25" platser kan du stoppa i 3st sånna hotswap rack, dvs 15st hotswap 3,5" diskar. 45TB med 3,5" disk. Eller varför inte Antec Twelve Hundred, 12x 5,25 = 20 diskar = 60TB..

För mer professionellt/semiprofessionellt bruk rekommenderar jag sådant som BrusE föreslog. Jag har själv byggt ihop en sån server fast med 36 diskars varianten, dubbla SAS expanders, Dubbla Xeon 5620, 24GB RAM, 30x2TB SAS2 diskar, 2x Intel E SLC SSD i en mirror som ZIL, Intel 510 MLC SSD som L2ARC. Den körde Nexentastor och därmed ZFS.

Permalänk

är S1200BTL ett bra moderkort?

men saknar pcie?

Visa signatur
Permalänk
Medlem

Allt handlar om vilken nivå och driftsäkerhet man vill ha.
Dock kan jag inte rekommendera så mycket lagring utan ett bra RAID kort med BBU.
Du behöver minst RAID 6, men jag skulle rekommendera RAID 10 för RAID kortet kommer att kasta diskar och det tar tid att bygga om RAID:en.
(30TB med ett bra RAID kort tar 3-4 dagar att bygga om)

Visa signatur

| Citera för svar! | Gilla bra inlägg! |

Permalänk
Medlem

fractaldesign: Jag har själv S1200BTS, det är ett trevligt moderkort. Dock tror jag att du ska börja med ett enklare eftersom Intel-kortet kräver lite mer av dig. Du ska bl.a ha rätt UDIMM ECC och tillhörande Xeon-CPU vilket kan få kostnaden på de produkterna att sticka iväg lite.
Och hur du kan missa att kortet saknar PCI Express förstår jag inte, det har fem sådana portar nämligen.

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Permalänk
Skrivet av BrusE:

Allt handlar om vilken nivå och driftsäkerhet man vill ha.
Dock kan jag inte rekommendera så mycket lagring utan ett bra RAID kort med BBU.
Du behöver minst RAID 6, men jag skulle rekommendera RAID 10 för RAID kortet kommer att kasta diskar och det tar tid att bygga om RAID:en.
(30TB med ett bra RAID kort tar 3-4 dagar att bygga om)

Bra inlägg

Skrivet av jocke92:

1156 är ju lite förlegad nu. I övrigt så tror jag inte du nyttjar de dubbla nic'sen. Dels tror jag switchen måste stödja det, sedan har du väll bara 100mbit ut på internet och endast ett nic i datorn?

Tycker tifus paket verket helt ok.

Dubbla nics är ju bra om man vill backa upp backuppen, off site.

Skrivet av taliz:

För en "hemmaserver" så är mitt förslag att köpa ett chassi med många externa 5,25" platser(sök på prisjakt), och poppa i http://mullet.se/product.html?product_id=78394 efter behov. Köper du tex ett Antec Nine Hundred som har 9x 5,25" platser kan du stoppa i 3st sånna hotswap rack, dvs 15st hotswap 3,5" diskar. 45TB med 3,5" disk. Eller varför inte Antec Twelve Hundred, 12x 5,25 = 20 diskar = 60TB..

För mer professionellt/semiprofessionellt bruk rekommenderar jag sådant som BrusE föreslog. Jag har själv byggt ihop en sån server fast med 36 diskars varianten, dubbla SAS expanders, Dubbla Xeon 5620, 24GB RAM, 30x2TB SAS2 diskar, 2x Intel E SLC SSD i en mirror som ZIL, Intel 510 MLC SSD som L2ARC. Den körde Nexentastor och därmed ZFS.

Bra förslag.

Skrivet av backspace:

fractaldesign: Jag har själv S1200BTS, det är ett trevligt moderkort. Dock tror jag att du ska börja med ett enklare eftersom Intel-kortet kräver lite mer av dig. Du ska bl.a ha rätt UDIMM ECC och tillhörande Xeon-CPU vilket kan få kostnaden på de produkterna att sticka iväg lite.
Och hur du kan missa att kortet saknar PCI Express förstår jag inte, det har fem sådana portar nämligen.

Jo jag såg att det hade pcie, men saknar x1?

skall man köra oset på ssd?
isf kan man ju välja ett billigare mobo och sen köpa ett eller två sata kontrollerkort för diskarna?
sen ett raid kontrollerkort?

Visa signatur
Permalänk
Medlem

Mitt förslag är att överhuvudtaget skippa raidkort och köra mjukvaruraid istället, även om du väljer Linux. Dels är det en dyr komponent, dels kan det gå sönder. Bättre att använda mjukvaruraid och använda billiga sata pcie kort istället(om mobot inte har tillräckligt). Kolla att de är kompatibla med det OS du väljer bara.
Känner du dig bekväm i *nix så föreslår jag antingen FreeBSD eller något Solaris-baserat som OS, så du kan köra ZFS. Vill du ha "appliance feel" så kanske Nexentastor kan vara ett alternativ.

Du har aldrig nämnt vad din budget är, eller hur mycket du vill kunna bygga ut. Så frågan är om du vill satsa på "hemmabygge" eller det mer professionella alternativet?

Om du väljer att bygga i ett supermicro chassi så kan du ju välja ett med inbyggda SAS expanders, och köpa ett mobo med tex en inbyggd LSI SAS adapter. Då behöver du bara koppla i en sladd från mobot till lådan så har du anslutit alla diskar + att du kan ansluta flera ytterligare externa lådor på samma expander. Det blir dyrare, tar mer plats och låter betydligt mer, men det är också betydligt enklare att bygga ut och underhålla.

Permalänk
Hedersmedlem

En gammal klassiker är ju annars Norco RPC-4220 som stödjer 20 diskar. RPC-4224 stödjer 24 diskar. Fyller du den med 3 TB-diskar får du cirka 72 TB råkapacitet. Sedan hur du väljer att köra arrays och liknande vet du nog bäst själv. Precis som andra föreslår i denna tråd skulle jag också rekommendera ZFS, oavsett om du kör det på en OpenSolaris-dist eller FreeBSD-variant.

Visa signatur

SWECLOCKERS.COM :: If Quake was done today ::
WS: Gigabyte Z690 UD DDR5 :: Core i5 12600K :: 32 GB RAM :: Geforce RTX 3060 Ti :: 10 GbE NIC :: AOC C32G1 32" :: Seagate FireCuda 530 1TB :: Deepcool Matrexx 55
NAS: SM X10-SLM-F :: Mellanox Connect2X SFP+ :: Intel XL710-QDA1 QSFP+

Permalänk
Skrivet av taliz:

Mitt förslag är att överhuvudtaget skippa raidkort och köra mjukvaruraid istället, även om du väljer Linux. Dels är det en dyr komponent, dels kan det gå sönder. Bättre att använda mjukvaruraid och använda billiga sata pcie kort istället(om mobot inte har tillräckligt). Kolla att de är kompatibla med det OS du väljer bara.
Känner du dig bekväm i *nix så föreslår jag antingen FreeBSD eller något Solaris-baserat som OS, så du kan köra ZFS. Vill du ha "appliance feel" så kanske Nexentastor kan vara ett alternativ.

Du har aldrig nämnt vad din budget är, eller hur mycket du vill kunna bygga ut. Så frågan är om du vill satsa på "hemmabygge" eller det mer professionella alternativet?

Om du väljer att bygga i ett supermicro chassi så kan du ju välja ett med inbyggda SAS expanders, och köpa ett mobo med tex en inbyggd LSI SAS adapter. Då behöver du bara koppla i en sladd från mobot till lådan så har du anslutit alla diskar + att du kan ansluta flera ytterligare externa lådor på samma expander. Det blir dyrare, tar mer plats och låter betydligt mer, men det är också betydligt enklare att bygga ut och underhålla.

Mjukvaruraid kör jag nu. Funkar kanon.15' utan diskar inledningsvis är tanken. Och det är väl mer professionelltbygge än hemmabygge. Fast jag är ju noob på hårdvara märker jag ju.
supermicro är rack, jag har inget rack.
Bra inlägg!

Skrivet av Kr^PacMan:

En gammal klassiker är ju annars Norco RPC-4220 som stödjer 20 diskar. RPC-4224 stödjer 24 diskar. Fyller du den med 3 TB-diskar får du cirka 72 TB råkapacitet. Sedan hur du väljer att köra arrays och liknande vet du nog bäst själv. Precis som andra föreslår i denna tråd skulle jag också rekommendera ZFS, oavsett om du kör det på en OpenSolaris-dist eller FreeBSD-variant.

Vad skall man ha för moderkort till en sån då? Tack för tipset

Visa signatur
Permalänk
Hedersmedlem
Skrivet av fractaldesign:

Vad skall man ha för moderkort till en sån då? Tack för tipset

Ptja, finns rätt mycket att välja på, väldigt beroende på budget samt dina krav.

Man kunna använda ett workstation-moderkort med två processorer, typ ett Intel S5520SC, två stycken Intel Xeon W3565-processorer, 32/64 GB minne (varje processor klarar av 32 GB om jag inte minns fel) samt kontrollerkort i stil med Adaptec 2805 eller LSI Logic SAS3081E-R. Har själv ingen praktisk erfarenhet av SAS-expanders, men det kan vara prisvärt vissa gånger. Sedan finns det ju även kontrollerkort med väldigt många portar, exempelvis LSI Logic 9280-24i4e (24-port).

Släng på ett Gold-nätagg som orkar lasten samt två SSD:s för OS:et så har du en rätt smutt lagringsserver. Dock krävs det ju en del arbete om du tänkt konfigurera och sätta upp allt själv, men det vet du nog redan antar jag.

Visa signatur

SWECLOCKERS.COM :: If Quake was done today ::
WS: Gigabyte Z690 UD DDR5 :: Core i5 12600K :: 32 GB RAM :: Geforce RTX 3060 Ti :: 10 GbE NIC :: AOC C32G1 32" :: Seagate FireCuda 530 1TB :: Deepcool Matrexx 55
NAS: SM X10-SLM-F :: Mellanox Connect2X SFP+ :: Intel XL710-QDA1 QSFP+

Permalänk
Medlem

Jag har själv ett RPC-4224. I den sitter det:
Supermicro X9-SCA-F
Intel Xeon E1240
LSI 9211, flashat till att enbart vara i HBA-mode, http://mullet.se/product.html?product_id=332434

Kör VMWare och har släppt LSI-kortet direkt till FreeNAS. Fyller ut en gbit-port utan problem, detta med 8 st 2TB-diskar (5400 rpm) i RAID-Z2.

Visa signatur

Jag är en optimist; det är aldrig så dåligt så att det inte kan bli sämre.

Permalänk

Ärligt talat så förstår jag inte hur en sas expander funkar.

Eller varför sas är bättre än sata.

Visa signatur
Permalänk
Medlem

Reviderar det jag skrev tidigare om S1200BTL, kollade precis igenom manualen till mitt S1200BTS och BT-moderkorten har stöd för Intel i3-2100-serien.

Angående S1200BTL:
1st PCI
3st PCI-E x8 (x4 throughput)
1st PCI-E x16 (x8 throughput)

Hämtat direkt från manualen. Bästa stället.

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Permalänk
Medlem

Måste bara fråga, om man har en raid 5 på 3 diskar, kan jag lägga till flera diskar i den raiden när den redan är konfigurerad?

Visa signatur

Intel Core i5 750 |Corsair Cooling Hydro H50 | Gigabyte GA-H55N-USB3 Mini-ITX |Corsair 4GB 1600MHz | XFX Radeon HD5850 1GB Black Edition | Corsair SSD Force Series 120GB | Silverstone Sugo SG07B | Win7 Professional 64bit |

Permalänk
Skrivet av coffe13:

Måste bara fråga, om man har en raid 5 på 3 diskar, kan jag lägga till flera diskar i den raiden när den redan är konfigurerad?

ja, http://allintech.info/2008/06/mdadm-growing-raid5-array-ubunt...

Visa signatur
Permalänk
Skrivet av Kr^PacMan:

Ptja, finns rätt mycket att välja på, väldigt beroende på budget samt dina krav.

Man kunna använda ett workstation-moderkort med två processorer, typ ett Intel S5520SC, två stycken Intel Xeon W3565-processorer, 32/64 GB minne (varje processor klarar av 32 GB om jag inte minns fel) samt kontrollerkort i stil med Adaptec 2805 eller LSI Logic SAS3081E-R. Har själv ingen praktisk erfarenhet av SAS-expanders, men det kan vara prisvärt vissa gånger. Sedan finns det ju även kontrollerkort med väldigt många portar, exempelvis LSI Logic 9280-24i4e (24-port).

Släng på ett Gold-nätagg som orkar lasten samt två SSD:s för OS:et så har du en rätt smutt lagringsserver. Dock krävs det ju en del arbete om du tänkt konfigurera och sätta upp allt själv, men det vet du nog redan antar jag.

Blir nog en sån lösning tror.

Men har svårt att hitta kontrollerkort som inte kostar en förmögenhet.

Visa signatur
Permalänk
Medlem

Ska du köra mjuk kanske detta kort vore lagom?
http://www.mullet.se/product.html?product_id=332865

Annars finns alltid eBay/Tradera/Blocket. Där kan man ibland göra fynd på sas-kort från gamla servrar (tänk dock på att kablage ofta inte ingår och en iPass SFF8087 till sata går på en tvåhundring cirkus).

Varningens finger på expanders dock - kolla med tillverkarna så ditt kort funkar med expandern, det är inte alltid så lätt.

Visa signatur

Whisky kan drickas på 3 sätt:
1. Utan vatten. 2. Med vatten. 3. Som vatten.

CR-10S Pro, CR-10S5, CR-10 Max

Permalänk
Hedersmedlem
Skrivet av fractaldesign:

Blir nog en sån lösning tror.

Men har svårt att hitta kontrollerkort som inte kostar en förmögenhet.

Om du kommer ha flera PCIe x16/8-platser lediga och kan lägga ner lite tid kan du fixa detta utan några större problem.

Jag köpte ett styck Intel SASUC8I-kontrollerkort som är ett PCIe x8-kort med 8 portar via två mSAS-anslutningar. Från fabrik kan man endast köra i RAID0/1, men flashar du kortet med en enkel IT-firmware från LSI (kontrollkretsen är därifrån) får du ett normalt kontrollerkort som fungerar super med ZFS exempelvis. Finns säkerligen flera kort du kan göra detta på.

Visa signatur

SWECLOCKERS.COM :: If Quake was done today ::
WS: Gigabyte Z690 UD DDR5 :: Core i5 12600K :: 32 GB RAM :: Geforce RTX 3060 Ti :: 10 GbE NIC :: AOC C32G1 32" :: Seagate FireCuda 530 1TB :: Deepcool Matrexx 55
NAS: SM X10-SLM-F :: Mellanox Connect2X SFP+ :: Intel XL710-QDA1 QSFP+

Permalänk
Skrivet av Kr^PacMan:

Om du kommer ha flera PCIe x16/8-platser lediga och kan lägga ner lite tid kan du fixa detta utan några större problem.

Jag köpte ett styck Intel SASUC8I-kontrollerkort som är ett PCIe x8-kort med 8 portar via två mSAS-anslutningar. Från fabrik kan man endast köra i RAID0/1, men flashar du kortet med en enkel IT-firmware från LSI (kontrollkretsen är därifrån) får du ett normalt kontrollerkort som fungerar super med ZFS exempelvis. Finns säkerligen flera kort du kan göra detta på.

Tack för tipset, men har ännu inte greppat sas riktigt.
Googlat som en dåre men hittar inte varför sas är bättre än sata?

Visa signatur
Permalänk
Permalänk
Medlem

Ett tips angående CSE-M35T, dvs de där hotswap-kassetterna, är att byta ut fläktarna.
Visst, är maskinen placerad på ett ställe där ljudnivå inte spelar någon roll gör det ju inget att de låter men ska man ha såna i ett hem där man bor och vistas så bör dessa bytas ut.
Har själv bytt ut fläktarna i de tre lådorna jag har och det är ganska stor skillnad jämfört med original.

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Permalänk
Medlem
Skrivet av fractaldesign:

Tack för tipset, men har ännu inte greppat sas riktigt.
Googlat som en dåre men hittar inte varför sas är bättre än sata?

Är ingen expert på området, mest researchat lite för egen del, och med expanders verkar man kUnna ansluta 60 disk till det där kortet
http://www.servethehome.com/intel-sasuc8i-lsi-lsi-sas3081er-l...
Intressant artikel i övrigt också.

Permalänk
Hedersmedlem
Skrivet av fractaldesign:

Tack för tipset, men har ännu inte greppat sas riktigt.
Googlat som en dåre men hittar inte varför sas är bättre än sata?

Trots att gränssnitten liknar varandra, finns det en del skillnader. Först och främst stödjer SAS-standarden många fler hårddiskar via ett kontrollerkort (diskarna identifieras av ett unikt WWN-nummer istället för att bara vara "unit 2" på kontrollerkortet) men protokollet som används är inte ATA utan snarare SCSI vilket ger fördelar i servermiljö främst.

En annan skillnad är att diskarna kör TCQ istället för NCQ som används på SATA-diskar. De första Raptor-diskarna hade TCQ vilket gjorde dem väldigt snabba på vissa saker, men slöare på annat. Både TCQ och NCQ har fördelar och nackdelar. SAS stödjer dessutom SATA-diskar, men det fungerar inte tvärtom. Du kan även köra två fysiska gränssnitt från disken, vilket kallas för Multipath, och kan vara smidigt om redudans är väldigt viktigt.

När det gäller kontrollerkort spelar det ingen roll vad du köper, det finns billiga SATA samt SAS. Men eftersom SAS stödjer både SAS och SATA-diskar kan det vara fördelaktigt. Jag använder exempelvis bara SATA-diskar med mitt SAS-kontrollerkort men åtnjuter smidigare kablar med mSAS-kablarna där du ansluter fyra diskar till en enda port på kontrollerkortet.

Visa signatur

SWECLOCKERS.COM :: If Quake was done today ::
WS: Gigabyte Z690 UD DDR5 :: Core i5 12600K :: 32 GB RAM :: Geforce RTX 3060 Ti :: 10 GbE NIC :: AOC C32G1 32" :: Seagate FireCuda 530 1TB :: Deepcool Matrexx 55
NAS: SM X10-SLM-F :: Mellanox Connect2X SFP+ :: Intel XL710-QDA1 QSFP+

Permalänk

Nån som kan hissa eller dissa?

Visa signatur
Permalänk
Medlem
Skrivet av fractaldesign:

Nån som kan hissa eller dissa?

Gick kravspecifikationen från 30-50TB ner till 18TB?
Hade nog inte valt ett Lian Li för en server om den inte ska stå framme och se snygg ut.
Skulle nog inte heller lägga sådana datavolymer på konsumentprylar.
Vill du hålla en låg budget hade jag gått på de tidigare förslagen från Kr^PacMan... RPC-4224, en passande xeon och mängder av minne om du ska köra ZFS. Utgående xeons borde man kunna hitta begagnat annars.

Permalänk
Skrivet av Xerbee:

Gick kravspecifikationen från 30-50TB ner till 18TB?
Hade nog inte valt ett Lian Li för en server om den inte ska stå framme och se snygg ut.
Skulle nog inte heller lägga sådana datavolymer på konsumentprylar.
Vill du hålla en låg budget hade jag gått på de tidigare förslagen från Kr^PacMan... RPC-4224, en passande xeon och mängder av minne om du ska köra ZFS. Utgående xeons borde man kunna hitta begagnat annars.

skall köra på den.

hittade denna http://www.sweclockers.com/galleri/5678-fler-semesterbilder, nice

Visa signatur