Hur bygger man en billig filserver med plats för +25 diskar utan att spräcka plånboken?

Permalänk
Medlem

Hur bygger man en billig filserver med plats för +25 diskar utan att spräcka plånboken?

Kollar efter att skaffa lagring av modell större, det jag kikat på är Storinators som tar 45-60 diskar men de kostar runt $6000 + moms/tull och jag kan tänka mig att det går att komma undan mycket billigare.

Prestandan i datorn spelar ingen roll, så länge det går att få in mycket lagring.
Är det SAS som gäller, eller går det att lösa med vanliga S-ATA diskar för en vettig peng?

Permalänk
Festpilot 2020, Antiallo
Skrivet av Lodisen:

Kollar efter att skaffa lagring av modell större, det jag kikat på är Storinators som tar 45-60 diskar men de kostar runt $6000 + moms/tull och jag kan tänka mig att det går att komma undan mycket billigare.

Prestandan i datorn spelar ingen roll, så länge det går att få in mycket lagring.
Är det SAS som gäller, eller går det att lösa med vanliga S-ATA diskar för en vettig peng?

Du bör nog satsa på SAS HBAs men vilka diskar du kör är nog av mindre intresse, SATA-diskar går att köra på SAS-kontrollers.
Chassi är väl det svåraste att lösa misstänker jag. Ett gäng Hårddiskhyllor och en dator med externa SAS-HBA-anslutningar kanske? Om du nu inte ska köpa en färdig fillagringsserver av äldre karaktär.

Permalänk
Medlem

Jag är ingen expert på området men 45-60 diskar är mycket mer än man brukar hantera med vanliga PC-prylar, så det är nog rätt stor risk för diverse strul om du försöker göra något hemmabygge.

6000$ låter som ett riktigt bra pris.

Permalänk
Medlem

Kika på LTT, de har ett avsnitt om hur de bygger en "rival" åt Storinator liknande för mycket mindre.
Billigt X79/X99 kort från Kina med en eller två CPU och HBA kort?
Men som sagts tidigare i tråden, bygga en egen lösning för den mängden lagring är kanske lite överkurs utan att jag vet ditt kunnande.

Lycka till och lägg gärna info senare i tråden vad det blev till slut för jag är nyfiken!

Permalänk
Medlem

Hej

Köp en begagnad Supermicro sc847 chassi, den har plats för 36st sata HDD.

mvh
Njanja

Permalänk
Medlem

Om prestanda är irrelevant, vad hindrar dig från att hugga några gamla chassin med plats för 7+ diskar och köra ett enklare moderkort i varje, sata-pci kort om platserna på moderkortet inte räcker. släng upp varje maskin som en share på nätverket.
Jag antar att något här inte blir tillräckligt bra eftersom du frågar men jag vet inte vad det fallet på

Permalänk
Medlem

Nu rabblar jag bara på här så du får själv läsa igenom och se om det finns något av värde i inlägget:

Är man lite halvt från vettet som privatperson kan man ju köra på en s.k. DAS-lösning d.v.s. köpa ett externt PCI-E HBA-kort (SAS) som man kopplar mot en begagnad DAS-låda, dessa kan vara rätt billiga på andrahandsmarknaden och du kan koppla in flera om du har anslutningar för det, en DAS är enbart ett chassi med strömtillförsel + SAS/SATA backplane som du ansluter via ditt externa SAS-kort för access.
Diskarna dyker upp som om de vore inkopplade direkt i systemet.
Dock är dessa avsedda för rack och inte direkt tystgående i något avseende. Men då du nämner "Storinator" så är detta något i den stilen.

Vill man bygga själv kan man givetvis göra så med ex. beg. serverhårdvara och vanliga konsument-komponenter.
Det mesta beror på om det är enbart för privat bruk eller om den skall serva mängder av användare, i något semi-professionellt syfte, ha redundans och upptid motsvarande SLA:er osv.

En relativt simpel lösning, som jag enbart skulle satsa på för privat bruk, vore t.ex:

  • Fulltower chassi (många 5,25" platser med utgångar i fronten)

  • Nätaggregat: c:a 600-850W såvida man inte har extrema krav (ej redundant lösning) viktigt att det har massor av PCI-E strömsladdar, alt komplettera med många spliters/adaptrar.

  • Något billigt moderkort med många PCI-E anslutningar 8X-16X

  • Någon billig CPU eller APU för att slippa externt grafikkort. Enbart CPU funkar givetvis också om man kör headless/remote för managering.

  • Billiga RAM-minnen, att enbart leverera filer kräver sällan mycket i sammahanget.

  • HBA kort för att expandera antalet SATA/SAS anslutningar via PCI-E + SATA breakout kablage

  • ICY DOCK burar för att få plats med massor av 2,5" hårddiskar i 5,25" platserna.

System är valfritt, men en tanke är givetvis Ubuntu Server då det är gratis, väl supportat, har support för ZFS, går att managera fullt ut via CLI och kan även konfas som en ISCSI-target om man så känner för den sortens lagringlösning.

Moderkort, ram, CPU är givetvis något man kan slänga ihop efter behov man kan t.ex. köra på det billigaste skräpet någonsin om det bara skall skyfflas filer, helt förutsättningslöst.
T.ex. något ATX/E-ATX moderkort från ex. SuperMicro med ECC ramminne om man känner att det är viktigt men för privat bruk får man helt avgöra det själv och sätta sig in i huruviva man vill chansa eller ej.

HBA-kort för att kunna koppla in en massa diskar, billigt och beprövat koncept såsom IBM ServeRaid M1015 omflashade med IT-firmware, baseras på LSI SAS9220-8i (2*SAS port, + breakout kablage = 8st SATA portar per kort) Finns klart värre kort som klarar 6*SAS portar men de är ännu rätt dyra.

För själva diskarna, skall du ha 25+ diskar gissar jag vilt på att du har någon plan för redundans, eller skall de bara accessas individuellt?
Jag antar att du inte tänker ha två eller fler liknande system för att lösa biffen om det inträffar något större fel, därmed bör man även tänka över om man verkligen vill lägga alla ägg i sama korg.

Många brukar, för att komma undan billigt, så kallat "Shucka" diskar, dvs, man köper mängder av externa hårddiskar för billigare pengar än vanliga interna diskar, hårddiskkvalitén säger vi inget om, och sedan monterar man ur dem ur sina hårddiskkabinetter:
https://www.howtogeek.com/324769/how-to-get-premium-hard-driv...

Blev även upplyst för ett tag sedan att priser för SAS-diskar numera inte skiljer sig så värst mycket från vanliga SATA diskar så har man möjlighet att välja SAS istället för SATA (förutsatt att man utrustat sin lagrinsserver med just SAS hårdvara) så då kan man med fördel välja SAS istället då det i många fall är ett överlägset interface för just saker som omfattar mer diskar än medelmåttan använder.

För att öka på densiteten med diskar kan man, som i ovan exempel, med fördel välja 2,5" varianter och sedan använda en sådan här historia i t.ex. ett full-tower chassi:
https://www.computersalg.se/i/1180371/icy-dock-tougharmor-mb9...
https://www.computersalg.se/i/3181274/icy-dock-expresscage-mb...
https://www.computersalg.se/i/1120096/icy-dock-expresscage-mb...

Dock kan ju dessa 2,5" diskar bli dyrare i längden om man behöver riktigt stora mängder utrymme, -så man får räkna på det helt enkelt och även ta med planen för om någon(några) disk(-ar) tackar för sig en dag.

Jag har som exempel provat på konceptet, fast med SSD's i företagsmiljö, då kan man ha enormt höga densiteter och mängder av utrymme, t.ex. 8-16TB SATA SSD*8st per 5,25" bay men där snackar vi nära på miljonen i utgifter med den sortens teknik, densitet och prisläget som det är idag.
Så det är givetvis helt otänkbart för en som vill komma undan billigt. -Men det går, även om det just idag drar mer åt dumhet än förnuft.

Permalänk
Medlem

Som OS så hade jag kikat på freenas. Enkelt att sätta upp och hantera samt gratis och har 100% stöd för ZFS. Linux (ubuntu) är inte fel heller men kolla på freenas, har för mig de bytt namn så de heter truenas nu, även gratisvarianten. unraid kan vara nått också har sett att det är många som använder det här inne men tror det kostar några hundringar.
Och SAS kontrollerkort är väl att rekommendera och om du ska använda ZFS så "måste" de vara IT-mode dvs ingen raid på dem utan bara kontroller för hdds. Annars fungerar inte ZFS som fullt ut som det är tänkt.

Ska det bara vara billigt för hemmabruk så är satadiskar det bästa. Ett tips där är att kolla på externa diskar som ibland är billigare för samma storlek som att köpa diskarna löst. Jag köpte själv 5 st 8 TB för samma pris som 4 st kostade annars genom att köpa externa diskar när det var rea.

Permalänk
Medlem

Konsument 2.5" SATA-diskar som finns att köpa i 1-5TB klassen är alla idag SMR-diskar från alla tillverkare (skall du chucka 2.5" diskar från 1-5 TB USB-diskar så är det bara Seagate att välja på de har behållit SATA-anslutningen på sina diskar medans diskar från WD och Toshiba är istället inlödda USB anslutningar och diskkontrollerkortet USB/SATA-konverter)

- tänker man köra på ZFS är det ingen bra alternativ - men ser det inte förrän du behöver byta disk och kör resilvering och kan plötligt stå med ej räddningsbart havereras ZFS-filsystem.

Skall man ha CMR-diskar i 2.5" format så är det dyra saker i 10 och 15 KRPM-klassen med dual-SAS anslutningar, kräver både 5 och 12 Volt för att fungera och små storlekar (1.2 TB är en _stor_ 2.5" disk i dessa sammanhang) - men å andra sidan är driftsäkerheten och dataflöde vid sökning, läsning och skrivning i helt annan klass än vanliga SATA-diskar och utan begränsning i hur mycket som kan skrivas.

BTRFS via madadm-RAID kan hantera SMR-diskar bättre men kan behöva skicka till kärna att stoppa och starta synkningen i perioder så diskar får vara ifred i 20 minuter period per 1-2 timmar synktid (man får prova sig fram). Det går betydligt fortare än om synkningen trycker på konstant och PMR-arean är smockfull till sista blocket hela tiden och man minimera risken för utsparkad disk ur RAID:en för att responstiden är över 8 sekunder för någon av diskarna går över gränsen i responstid (ibland kan det behöva skriva om många SMR-block innan det kan ta bort tillräckligt med sektorer i sin interna PMR-area i tillräcklig storlek för att släppa in ny data utifrån och då kan det bli långa responstider[1] - dvs. situationen är som att man har 99,99% fylld filsystem och så fort en sektor raderas så fylls den med en ny och sedan tycker att den är långsam i respons...).

Kör man native BTRFS-RAID så går det köra motsvarande kommandon (pausa 'balance') för att starta och stoppa diskintensiv synkning men det är inte så känsligt som många andra RAID-upplägg i och med att det skriver i hela 1GB-shunk sekventiellt.

om man siktar på chucka 3.5" diskar så får man sikta på storlekar 10TB och större som är CMR medans storlekarna under kan vara SMR.

det värsta man kan lägga på en SMR-disk är filsystemet NTFS då den sitter och modifierar samma 32 MB-strip sektorvis när den uppdaterar $MFT - disken inser att den kan inte göra read-modify-write-sekvens var gång så alla dessa småsektormodifieringar trycks ned i PMR-area på SMR-disken som en skrivkö av sektorer och hoppas på att det blir lugnt senare och sortera upp sektorerna på PMR-arean - detta gäller framförallt när det hanterar väldigt många småfiler (som c:/programfiles och programfiles(86), windows mfl. med hårda och mjuka länkar i hundratusental) och detta är att tänka på om man skall göra iSCSI-enheter som man sedan exporterar och klienten lägger NTFS-filsystemet på ISCSI-drivern - där kanske inte SMR-disk är bästa alternativet för sin DAS/SAN-lösning.

[1] SMR-diskar kan inte städa och tömma sin PRM-area och skriva och läsa filer parallellt (brist på RAM-minne) - det måste ha minst 2 sekunder icke-access för att påbörja processen och avbryts och skrotar pågående sessionen omedelbart om datorn börja läsa och skiva på disken igen och är det aldrig avbrott i dataflödet mot disken (som vid synkning av RAID) så kommer PMR-arean aldrig få chansen att tömmas och när den är smockfull så börja disken stjäla tid för nödstädning för att inte helt stalla och det blir då utifrån sett som disken inte svarar under en viss tid och beroende hur spritt data är i PMR-arean och hur många SMR-block som måste läsas in modifieras och skrivas tillbaka innan blocken i PMR-arean kan frigöras så kan tiden blir ganska lång och olika RAID-system hinner sparkar ut diskarna. - problemet är inte särskilt olik som man upplever på konsument SSD/NVMe med SLC-cache - det går jättefort innan SLC-cachen är full, därefter hemskt låg fart där hårddiskar kan köra piruetter runt SSD/NVMe i avseende kontinuerlig skrivhastighet...

Permalänk
Medlem

Tack för allas input.
Det är 3.5" diskar det är tal om, 20st Seagate Exos 16TB som jag tänkte expandera i framtiden.

Det jag skall göra är bara att ha diskarna snurrandes med data som är lätt att återskapa vid en eventuell krasch.
Ingen redundans krävs eller större krav på hastigheter heller för den sakens skull.

Såg att det fanns sådana här kort: https://www.webhallen.com/se/product/272069-Delock-PCI-Expres...
Så jag behöver egentligen bara hitta ett tomt chassi med massor av plats för diskar, som ett sådant här: https://www.xcase.co.uk/products/new-466d-superstore-up-to-21...

Kan verka dumt för er som håller på med system i enterprise-miljö, men för mig så kommer det fungera ypperliggt så länge PCI-kortet håller måttet och inte sporadiskt tappar diskar.

Permalänk
Medlem

kom upp ett sådant moderkort på nyheter här på swec med 32st sata portar.

Permalänk
Medlem

Här har du en begagnad HBA. En sas kontroller med kablar från china som ger dig 16 uttag. Tillkommer postmordsavgift + 25% moms. https://www.ebay.com/itm/254891958356?hash=item3b58bea054:g:9...

Här har du en ström adapter som omvandlar 1 molex till 5 hdd power. Belasta inte en molex anslutning med mer än 132 watt på 12v linan eller 55 watt på 5v linan... Utöver kontakten så påverkar även kabelns tjocklek hur mycket du kan belasta...
https://www.ebay.com/itm/265020981533?hash=item3db47b411d:g:8...

Vill du ha ännu mer uttag så kan du köpa fyra stycken expanders som du kopplar direkt in till din kontroller för att få 64-80 stycken uttag för hårddiskar. Den här expandern är bra dyr för att den har ett molex uttag. Som gör att den inte kräver en pcie slot för ström.
https://www.ebay.com/itm/132289770354?epid=10011373655&hash=i...

För att koppla din sas expander till en sas controller så behöver du en SFF-8087 kabel med hane i båda ändarna.
https://www.ebay.com/itm/373330946843?epid=11021012799&hash=i...

Det finns 8 gånger billigare expanders som drivs direkt av en pci-slot.
https://www.ebay.com/sch/i.html?_from=R40&_trksid=p2047675.m5...

Istället för att offra en pcie slot för power så brukar jag köpa en raiser adapter bara för att kunna driva den med molex eller sata power... en expander behöver ingen kontakt med moderkortet, bara med sas kontrollern.
https://www.ebay.com/itm/203378399218?hash=item2f5a4c17f2:g:O...

Vill du ha ännu mera uttag så kan du kedjekoppla expanders. Max 1024 stycken hårddiskar på en sas kontroller. Kontrollern jag länkade har 4GB/s till moderkortet tack vare PCIE 2.0 8x. En SFF-8087 kabel har 750x4 = 3GB/s bandbredd. Den stora frågan är hur många hårddiskar du vill använda samtidigt som ska dela på bandbredden.

Om du vill spendera mer pengar på en bättre HBA så rekommenderar jag att du köper en med minst PCIE 3.0 8x. Då får du 8GB/s istället för 4GB/s till moderkortet. Då kan du överföra från dubbelt så många hårddiskar samtidigt innan din sas kontrollern blir en bottleneck. De kontrollerna har bättre hårdvara och ger även mer IOPS för SSDer.

Mitt sista tips är att du försöker köpa så mycket som möjligt från en säljare på ebay. Du kan alltid söka igenom en säljares produkter på ebay för att se vad de har. Ännu bättre är om du köper från en säljare i EU. Allt så att du inte åker på många avgifter från postmord.

0
Permalänk
Medlem
Skrivet av fxfighter:

Här har du en begagnad kontroller med kablar från china som ger dig 16 uttag. Tillkommer postmordsavgift + 25% moms. https://www.ebay.com/itm/254891958356?hash=item3b58bea054:g:9...

Här har du en ström adapter som omvandlar 1 molex till 5 hdd power. Belasta inte en molex anslutning med mer än 132 watt på 12v linan eller 55 watt på 5v linan... Utöver kontakten så påverkar även kabelns tjocklek hur mycket du kan belasta...
https://www.ebay.com/itm/265020981533?hash=item3db47b411d:g:8...

Vill du ha ännu mer uttag så kan du köpa fyra stycken expanders som du kopplar direkt in till din HBA för att få 64 stycken uttag för hårddiskar. Den här är expandern är bra dyr för att den har ett molex uttag. Som gör att den inte kräver en pcie slot för ström.
https://www.ebay.com/itm/132289770354?epid=10011373655&hash=i...

Det finns 8 gånger billigare expanders som drivs direkt av en pci-slot.
https://www.ebay.com/sch/i.html?_from=R40&_trksid=p2047675.m5...

Istället för att offra en pcie slot för power så brukar jag köpa en raiser adapter bara för att kunna driva den med molex eller sata power... en expander behöver ingen kontakt med moderkortet, bara med sas kontrollern.
https://www.ebay.com/itm/203378399218?hash=item2f5a4c17f2:g:O...

Vill du ha ännu mera uttag så kan du kedjekoppla expanders. Kontrollern har 4GB/s till moderkortet tack vare PCIE 2.0 8x. En SFF-8087 kabel har 3GB/s bandbredd. Begränsningen är 1024 stycken hårddiskar på en kontroller.

Om du vill spendera mer pengar på en bättre HBA så rekommenderar jag att du köper en med minst PCIE 3.0 8x. Så att du får 8GB/s till moderkortet.

Det finns för i övrigt bra mycket billigare o dyrare HBA och expanders på Ebay.

https://i.ebayimg.com/images/g/9TwAAOSw2XJgQ1Km/s-l1600.jpg
https://i.ebayimg.com/images/g/8V0AAOSwzBNgWdam/s-l1600.jpg
https://i.ebayimg.com/images/g/h3IAAOSwM5RZiwuL/s-l1600.jpg
https://i.ebayimg.com/images/g/3I4AAOSwEC9dot-l/s-l1600.jpg
https://i.gyazo.com/51828ab656eb460a04d270c53699ffd3.png

Härligt inlägg, bra jobbat!