Bygga strömsnål NAS

Permalänk

Bygga strömsnål NAS

Jag är på väg att bygga en ny NAS, som ska vara så strömsnål som möjligt. Det kommer bli 8 TB tillgängligt utrymme och 2-3 redundansdiskar. Min gamla NAS drar för mycket ström (omkring 100-150 W) för att kännas bra att ha på 24/7. Jag hoppas på att det skulle kunna bli 25-35 W vid idle.

Det viktiga är att det drar lite ström vid idle. Om det drar mer ström vid hög belastning är ok.

Jag tar gärna emot tips och synpunkter. Största frågan just nu är vad man ska välja för moderkort och CPU?

OS
FreeNAS, om det inte finns någon bra anledning att välja något annat. ZFS är krav.

Moderkort / CPU
Krav är ECC-stöd och minst 8 SATA. Och IPMI verkar ju väldigt trevligt (men inte ett strikt krav om det finns bra prisvärt alternativ som saknar IPMI).

Längre ner nämner jag hotswap, men det är inget krav att moderkortet har stöd för det, om nu det är något som skiljer sig mellan olika moderkort. Det är ok med nertid för diskbyte.

CPU:n ska klara komprimering och kryptering i minst 100 MB/s (maxa nätverket).
Duger dual core C3338 till det?

Om man vill att det ska vara strömsnålt, finns det då några andra alternativ än moderkort med integrerad Atom?

ASRock C2x50D4I kändes ju perfekt med 12 SATA och IPMI, speciellt nu när man får C2550D4I för 1400 kr.
Den stora nackdelen är att man kanske får ett kort som har Intels C2000-bugg och kanske inte går att boota om några år. Enligt uppgift på ASRocks forum har de förlängt garantin till 4 år för dessa moderkort, så man kanske skulle kunna chansa, men det kan innebära besvär och eventuellt fraktavgift till Holland.
Dessutom kanske det börjar bli svårt att få tag på DDR3 ECC som passar?

RAM
16 GB ECC som passar moderkortet.
Om det bara finns två minnesplatser så kanske en modul, om det finns minst fyra minnesplatser så blir det troligen 2*8 GB.
Möjligen bara 8 GB till att börja med eftersom minnespriserna är så höga nu.

Bootdisk
Som bootenhet använder jag nog en gammal Kingston 120 GB SSD som inte har använts på länge, om ingen har bra argument som talar emot det. Onödigt stor, man att köpa t.ex. en 32 GB SSD kostar nog mer än den gamla är värd. Att den är mycket större än vad som behövs borde väl betyda att det är större yta för fördelning av slitaget?

Borde den vara speglad? Men i så fall behöver jag minst 9 SATA-platser, om jag kör med Raid-z3 för lagringen.

Lagringsdiskar
Jag kommer att köra med 2,5"-diskar pga låg strömförbrukning. 6 eller 7 st 2 TB i Raid-z2 eller Raid-z3. Det lutar åt 7 diskar och z3. Högst 2 diskar av samma modell och helst högst 2/3 från samma tillverkare (vid raid-z2/z3), för att minska risken att för många diskar går sönder samtidigt.

Jag har hittills köpt två interna HDD och två Seagate Game Drive for XBOX (USB3). Jag har öppnat den ena USB-disken, men lyckades inte öppna den utan att det blev märken i plasten och det sitter aluminiumtejp på disken som man måste ta bort, så jag antar att man sabbar garantin. Dessutom satt det en Seagate i och inte Samsung som någon annan hade fått. Så jag låter nog bli att öppna den andra och använder den som vanlig extern HDD för backup eller något.

Jag testade USB3-disken (ST2000LM007) lite och kom fram till att vid låg belastning (spela upp TV-inspelning) drar den ca 1,3 Watt och vid idle (fortfarande snurrande) drar den dryg 0,3 W. (Inkl USB3-SATA-kontrollern.)

De diskar jag har hittills som jag har för avsikt att använda i NAS:en:
2 st Seagate ST2000LM015
1 st Seagate ST2000LM007

Jag behöver alltså 4 diskar till, helst 2 olika fabrikat. Jag har inte jättebråttom, utan kollar om det dyker upp bra erbjudanden (och tar gärna emot tips) och testar de diskar jag har under tiden.

Chassi
Som chassi har jag nog tänkt mig någon liten kub med helst två 5,25" synliga platser (eller en 5,25" och en 3,5"). Vet dock inte om det finns. (I en 5,25"-plats kan man få in 6 * 2,5" hotswap och i en 3,5"-plats 2 st.)

I brist på bättre alternativ skulle man kunna nöja sig med en 5,25"-plats och sätta två diskar i interna platser. (Denna lösning, inkl 6 hotswap-platser, skulle jag nog kunna fixa för under 800 kr.)

Eller ett chassi som redan har hotswap-platser för 2,5", utan att vara för dyrt. (Liten låda, eller 1-2u rack.)

Eller så använder jag en 4u racklåda som jag har oanvänd, dock egentligen onödigt stor och jag har ingen jättebra plats att ställa den på. Och jag måste köpa till något för att sätta dit 8 st 2,5"-diskar.

Borde man ha någon slags gummiupphängning av diskarna för att minska vibrationer? Förslag på lösning?

Det där med kub är inte skrivet i sten. Men jag vill inte ha ett högt torn, då använder jag nog hellre ett rackchassi.

Nätagg
Jag har ett gammalt (men i stort sett oanvänt) Seventeam 300 W som jag eventuellt skulle kunna använda i början, tills jag fixat något bättre. Risken är dock att man kanske måste fixa någon dummy-belastning eftersom det inte är gjort för så låga strömmar som jag hoppas på nu.

Jag har egentligen tänkt mig att man ska kunna köra den på 12 V, så eventuellt picoPSU eller något sådant.

Jag tror att t.ex. moderkortet Supermicro A2SDi-2C-HLN4F kan matas med enbart 12 V?
Men hur stor ström klarar det att lämna till hårddiskarna?

Jag tror att hårddiskarna tillfälligt kan dra upp mot 1 A vid start, så bara hårddiskarna kräver 3,5 A med 7 A peak på 5 V.

Finns det "vanliga" nätagg, men med DC-ingång istället för 230 V? Var/hur hittar man det?

Om det finns något nättagg för 230 V med lågt pris och 90+% effektivitet som klarar nära 0 A last så kan jag vara intresserad. 100 W borde räcka och bli över.

Gamla NAS:en (mest om någon är nyfiken)
Den gamla NAS:en kommer jag ha kvar, för backup och sådant man inte behöver komma åt ofta. Den kommer oftast vara avstängd, speciellt när man inte har nytta av värmen.

Den har nu 6 * 2 TB 3,5" i Raid-z2. Om HDD-priserna går ner kommer jag eventuellt att byta till större diskar.

Jag har tidigare använt ett USB-minne som bootenhet, men nu när det har dött planerar jag att sätta in ett par gamla PATA-diskar (8 resp 10 GB) som en speglad bootenhet. (Det finns inga lediga SATA.)

Från början körde jag med en Sempron (som såldes som single core), men jag fick bara 30 MB/s när CPU:n låg på max. Jag testade att låsa upp den andra kärnan (via BIOS), men den funkade tyvärr inte. Jag bytte ganska snabbt till en 6-kärnig AMD FX och maxar nätverket (100 MB/s) utan att CPU:n är speciellt ansträngd.

Visa signatur

Huvuddator: Asus laptop 17", i7, 12 GB, Geforce 630M 2 GB

Permalänk
Medlem

Jag har liknande planer. Jag har idag ett gammalt Synology NAS som känns riktigt slött. Och jag behöver mer utrymme och gärna möjlighet att köra några VM och något att labba med.

Men jag funderar på en annorlunda väg. Lite mer budget. Ryzen APU-processor med max 35-45W TDP och m-ITX moderkort i en liten Fractal Design Node 304 (plats för 6 st 3,5") eller Node 804 (10 st 3,5") och ett lätt överdimensionerat 500W helt passivt Platinum PSU (har liggande). Sedan köra Ubuntu server mot metallen och använda VM/Containers för att tillhandahålla Node Red-, web-, databas-, moln-, streaming- och NAS-funktioner med mera.

Mjukvaruraid via LVM och en stor SSD-partition (450GB?) via snabbast möjliga M.2 som cache till mjukvaru-raiden med hjälp av bcache. Bootar och kör värd-OS från 50GB partition på samma M.2 SSD. Nöjer mig med EXT4 som filsystem överallt. Och ett separat SATA-kontrollerkort i PCIe för att kunna ansluta fler än 4 st 3,5" diskar. Extern backup via USB till stora lösa billiga SATA-lagringsdiskar. Kommer att köpa bara två nya 10-12TB NAS-diskar och sedan återanvända de fyra 6TB NAS-diskarna jag redan har i mitt NAS nu, iaf initialt. Ett 16GB-minne till att börja med, senare ytterligare ett. Jag har också tre gamla 3TB NAS-diskar liggande (uppgraderade mitt NAS när en lade av för gott).

Men jag är lite orolig för problem med instabila Ryzen APU med Linux just nu. Så jag kommer kanske att vänta på nästa generation Ryzen APU med lägre TDP, vid det laget kan det hela ha stabiliserats. Eller vänta på någon enstaka uppdatering av Linux.

På lite längre sikt vill jag använda bcachefs. Dedikerad SSD som cache. Uppgradera till 32GB. Eventuellt skaffa fler 10-12TB NAS-diskar och sätta tillbaka de gamla 6TB i det gamla Synology NASet och använda det som backup.

Visa signatur

Linux och Android

Permalänk

När jag byggde förra NAS:en så försökte jag göra det så billigt som möjligt och resultatet blev bra, bortsett från att det slutade med en NAS man inte vill ha på året runt eftersom den drar för mycket ström. Nu vill jag förstås också att det ska bli så billigt som möjligt, men har lite andra krav som måste vara uppfyllda.

Nu funderade jag även lite på möjligheten att använda en laptop som NAS. Då skulle man dessutom få inbyggd UPS. Man skulle behöva köra boot från USB, om det inte finns någon intern plats där man kan sätta en mini-SSD. Man skulle få in 3 lagringsdiskar. Laptopen ska ha 2 HDD-platser, vilket åtminstone en del 17" har, och dessutom optisk enhet som går att byta ut mot en HDD. Jag vet dock inte hur det är med ECC-stöd. Jag kom fram till att om man inte redan har en passande laptop över så blir det dyrare än att köpa moderkort etc. Dessutom vill jag kunna ha fler än 3 HDD.

När det gäller första inlägget kan jag lägga till att det inte spelar någon roll hur stort moderkortet är. Val av chassi får anpassa sig efter moderkortet.

Visa signatur

Huvuddator: Asus laptop 17", i7, 12 GB, Geforce 630M 2 GB

Permalänk

Låter som ett kul projekt som jag hoppas du kommer att skriva lite om även i fortsättningen

Tänkta bara flika in en kommentar, min nas drar just nu 87 w enligt UPS:en, då är den relativt obelastad, någon klient läser från den, ser ut som tjejjen kollar på en film från plattan :).

Men naset har 12 diskar (vilket om man litar på WD:s egna siffror borde innebära att ca 60w av den totala förbrukningen är enbart för diskarna), då är det en helt vanlig HP Proliant ML10 som har ett par år på nacken, visserligen med en lågpresterande CPU men med ett extra SAS-kort och ett extra 10gbe nic.

Så att komma ner i de siffrorna du siktar på borde inte vara så svårt med moderna prylar utan att krångla med 12v

& lycka till naturligtvis

Permalänk
Skrivet av hjälpsam:

& lycka till naturligtvis

Tack!

Angående 12 V så är det inte bara för strömsnålhet. (Skulle även kunna tänka mig 24 eller kanske 48 V.) Dels är det lite framtidssäkrat om man skulle vilja köra på sol/vindladdade batterier, och dels skulle man kunna köra via ett bilbatteri som ger många timmars drift vid elavbrott (antagligen ca 1 dygn om det bara är NAS:en som sitter på batteriet, men troligen skulle man även koppla router, switch och kanske annat till samma batteri).

Jag funderar på SuperMicro A2SDi-2C-HLN4F
https://www.prisjakt.nu/produkt.php?p=4458443
Moderkort med integrerad Atom C3338. 8 SATA och IPMI. 4 * Gbit känns överdrivet, men det skadar väl inte. Bara 2 DDR4-platser.

Ett problem är att man måste välja mellan SATA och expansionsplatser, om jag har förstått rätt. Det går alltså inte att utöka till mer än 8 SATA. Och om man använder alla 8 SATA (vilket jag kommer att göra) så antar jag att man inte kan sätta i ett 10 Gbit NIC. Inte aktuellt nu, men möjlighet till framtida uppgraderingar är ganska liten. Iofs vet jag inte om CPU:n skulle klara 1 GB/s och om inte skulle nyttan med 10 Gbit NIC minska.

Frågan är om C3338 (dualcore) räcker till komprimering och kryptering i 100 MB/S?

Skickades från m.sweclockers.com

Visa signatur

Huvuddator: Asus laptop 17", i7, 12 GB, Geforce 630M 2 GB

Permalänk
Medlem

Hade bara priserna på SSD's gått ner i den takt man önskat skulle ditt projekt ha varit klart enklare att lösa.
Tror du har valt rätt när det gäller att köra på 2,5'' diskar för strömkonsumtionen kontra prisnivån.

Kör själv med en lösning om 8st. 4TB 2,5'' Seagate Barracuda (ZFS - striped mirrored VDEV's) vilket fungerar ypperligt. Drar drygt 2 watt per disk som mest. Idle drygt 1W per disk.
https://www.dustinhome.se/product/5011001300/barracuda

Moderkortet/CPU:n som du letat upp får väl ses som hyfsat klent med dagens mått mätt, dock tror jag nog att det skall klara av 100MB/s med kryptering (-antar att du syftar på SCP/SFTP). Med det sagt beror det ju också lite på nät och vilka typer av filer man överför/strömmar.
Men du lär nog inte räkna med att kunna lägga så mycket mer last än så på den CPU:n.

Visa signatur

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 20.04 LTS
-Numera titulerad: "dator-hipster" då jag har en AMD GPU och dessutom kör Linux.

Permalänk

Rätt övertygad om att den cpu:n inte klarar att utnyttja 10gbe fullt ut, det gör inte min Men min orkar med drygt 5 just nu och det finns nog lite justeringsmöjligheter till för att få ut ytterligare.

Med de där Atom-cpu:erna så får man helt enkelt välja - de har inte alla saker samtidigt. Sen finns ju det kortet i flera varianter. Med 4C får du en M2 plats, och med 8C och uppåt får du fler sata och fler minnesplatser. Men då ryker å andra sidan din energi-budget.

Men åtta sata räcker långt, bootar du från usb, har du alla åtta till lagring och då borde du klara dig.

Sen vet jag inte om jag håller med riktigt i din tankegång om att välja en massa olika diskmärken/tillverkare/modeller. Min uppfattning är att istället välja ut den diskmodell som passar bäst in, dvs i ditt fall låg strömförbrukning (+ bra garantier) och sedan välja färre men större diskar.

En disk drar ungefär samma oavsett storlek så du sänker förbrukningen med större men färre diskar.

Med 4st 6tb och zfs mirror istället för 8st i z3 får du ut drygt 10tb mot 8tb med z3.

Permalänk
Skrivet av krigelkorren:

Moderkortet/CPU:n som du letat upp får väl ses som hyfsat klent med dagens mått mätt, dock tror jag nog att det skall klara av 100MB/s med kryptering (-antar att du syftar på SCP/SFTP).

Med kryptering (och komprimering) menar jag främst av diskarna. Framför allt för att man ska kunna utnyttja garantin om det skulle behövas. Man har ju hört talas om folk som fått ersättningsdiskar innehållande någon annans data. Dessutom kan man gömma bootdriven om man är bortrest, så går det inte att komma åt någon data.

Jag tror att den använder AES och det kanske finns inbyggt i CPU:n?

Skickades från m.sweclockers.com

Visa signatur

Huvuddator: Asus laptop 17", i7, 12 GB, Geforce 630M 2 GB

Permalänk
Medlem
Skrivet av Prylkillen:

Med kryptering (och komprimering) menar jag främst av diskarna. Framför allt för att man ska kunna utnyttja garantin om det skulle behövas. Man har ju hört talas om folk som fått ersättningsdiskar innehållande någon annans data. Dessutom kan man gömma bootdriven om man är bortrest, så går det inte att komma åt någon data.

Jag tror att den använder AES och det kanske finns inbyggt i CPU:n?

Skickades från m.sweclockers.com

Japp den CPU:n har AES.

https://ark.intel.com/products/97928/Intel-Atom-Processor-C3338-4M-Cache-up-to-2_20-GHz

Visa signatur

Tower: ace Battle IV | CPU AMD Phenom II X2 BE unlocked 4cores@3,2GHz | RAM 8GB DDR2@800MHz | MB ASUS M4A785-M | GFK AMD Radeon HD 6850 1GB | HDD Kingston SSD Now 60GB (/) Seagate 2TB(/home) | OS Ubuntu 20.04 LTS
-Numera titulerad: "dator-hipster" då jag har en AMD GPU och dessutom kör Linux.

Permalänk
Medlem

Snor tråden lite, typ, har också tänkt bygga strömsnålt med C3000-serien, vill köra ZFS med kryptering, deduplikering & komprimering, men vilka av dessa är multitrådade så det lönar sig att köpa en bräda med mer kärnor?

Visa signatur

Hur kan syltkakor överleva i det vilda utan ögon?

Permalänk

Jag är mellan internetoperatörer, så har inte varit så aktiv.

Skrivet av hjälpsam:

Sen vet jag inte om jag håller med riktigt i din tankegång om att välja en massa olika diskmärken/tillverkare/modeller. Min uppfattning är att istället välja ut den diskmodell som passar bäst in, dvs i ditt fall låg strömförbrukning (+ bra garantier) och sedan välja färre men större diskar.

Jag har varit med om att 2 diskar i en mirror gick sönder nästan samtiigt, så jag har erfarenhet av att hårddiskar av samma modell kan ha samma fel. Då gällde det IBM:s click of death. Så det känns tryggare att man klarar att alla hårddiskar av samma modell går sönder samtidigt.

Skrivet av hjälpsam:

En disk drar ungefär samma oavsett storlek så du sänker förbrukningen med större men färre diskar.

Med 4st 6tb och zfs mirror istället för 8st i z3 får du ut drygt 10tb mot 8tb med z3.

Antar att du menar 4 * 5 TB (jag hittar ingen större 2,5" HDD). Jo, du har en poäng, man kan få ner förbrukningen lite, men det skulle bli dyrare och då blir det nog bara Seagate. 4 * 4 TB skulle bli samma utrymme och kanske bli ungefär samma pris, men antagligen bara Seagate. Med 3 diskar färre (1 av de 8 är boot-SSD) skulle man kanske spara ca 3 W, men eftersom jag tycker det känns tryggare med 7 blandade diskar i raid-z3 är det inte värt det.

Om man har 4 diskar borde det väl vara säkrare med raid-z2 än striped mirror? I första fallet kan vilka 2 diskar som helst gå sönder, men i det andra fallet är det kört om fel kombination av 2 diskar går sönder?

Förydligande
Visa signatur

Huvuddator: Asus laptop 17", i7, 12 GB, Geforce 630M 2 GB

Permalänk
Skrivet av JesperA:

Snor tråden lite, typ, har också tänkt bygga strömsnålt med C3000-serien, vill köra ZFS med kryptering, deduplikering & komprimering, men vilka av dessa är multitrådade så det lönar sig att köpa en bräda med mer kärnor?

Om man ska använda deduplikering ska det vara ett väl genomtänkt beslut. Det tar mycket resurser. För min del har jag valt bort det och tänker mig istället att någon enstaka gång köra någon mjukvara som letar dubbletter genom att jämföra filer av samma storlek (hela filerna behöver inte läsas in, filerna jämförs bara tills någon skillnad hittas).

Jag tror att samba bara kör i en tråd, om det inte har ändrats de senaste åren.

Jag tror att krypteringen använder CPU:ns inbyggda AES, om det finns.

Lite off-topic, men viktigt: När det gäller kryptering är det förstås viktigt att ha backuper på inte bara inställningsdatabasen (och all data), utan även krypteringsnyckeln. Sedan tror jag att det även var något om att man bör ta backup av de krypterade nycklarna som ligger på varje enskild disk, vilket man måste göra manuellt på något sätt, om det inte har ändrats de senaste åren. (Vidare diskussioner om det bör nog tas i någon lämpligare tråd.)

Visa signatur

Huvuddator: Asus laptop 17", i7, 12 GB, Geforce 630M 2 GB

Permalänk
Medlem

Hur går det, har du beställt hem några komponenter? Beställde ett A2SDi-H-TF igår & fick hem det idag. Nu är ju denna moderkakan lite overkill för denna tråden men om det finns något test som är relevant för denna tråden så säg till, tex kanske kan testa köra FreeNAS på 2 kärnor & se vad den mäktar med för hastighet så det svarar på en av frågorna i originalinlägget iaf

Visa signatur

Hur kan syltkakor överleva i det vilda utan ögon?

Permalänk

Det går långsamt framåt. Jag har lyckats plocka ut konfiguration och krypteringsnyckel från den gamla NAS:ens trasiga boot-USB-minne och lagt in dessa i en ny installation på en PATA-HDD. (Jag har backup av dem någonstans, men frågan är var, och den är gammal.) Det funkade och jag kommer åt alla filer.

Jag har inte bestämt än vilket moderkort jag ska använda och därmed kan jag inte heller köpa chassi eller minne.

Jag såg att ASRock C2550D4I nu äntligen(?) är slut hos grossisten (även 2750 tror jag). Jag hoppas att det innebär att grossisten tar in nya, som förhoppningsvis är tillverkade efter februari 2017 (mtp Intels C2000-bugg). Men det finns väl också en risk att de aldrig kommer tillbaka igen.

Skrivet av JesperA:

Hur går det, har du beställt hem några komponenter? Beställde ett A2SDi-H-TF igår & fick hem det idag. Nu är ju denna moderkakan lite overkill för denna tråden men om det finns något test som är relevant för denna tråden så säg till, tex kanske kan testa köra FreeNAS på 2 kärnor & se vad den mäktar med för hastighet så det svarar på en av frågorna i originalinlägget iaf

Det skulle vara intressant att se vilken läs- respektive skrivhastighet du kommer upp i om du kan köra på två kärnor och använder komprimering + diskkryptering i raid-z (beroende på hur många diskar du har att testa med). Och hur belastad CPU:n är om du maxar nätverket.

Visa signatur

Huvuddator: Asus laptop 17", i7, 12 GB, Geforce 630M 2 GB

Permalänk
Medlem

Jag hade en ASRock med C2750 när den var helt ny. Den var ett instabilt elände, både ethernet och de extra SATA-kontakterna var oanvändbara. ASRock hamnade på sophögen och jag bytte till Supermicros motsvarande moderkort som fortfarande fungerar felfritt. Vi var många som hade problem med det kortet då, en skitprodukt. ASRock kanske har fixat det nu. Det här var långt innan problemen med C2750 upptäcktes.

Bortsett från de problemen så är C2750 en bra CPU, bra prestanda och finesser till ett rimligt pris. Ska du bara köra 1Gbps så behöver du inte bekymra dig, 100MB/s är väldigt lite.

Jag kör numera med 10Gbps och den gamla CPUn hänger med bra utan problem. Hastigheten är helt begränsad av de gamla snurrdiskarna, 6 WD Red i raid-z2.

Kryptering har jag inte provat, men C2550 har AES-NI och kan köra AES toksnabbt. Är det välintegrerat borde det fungera utan problem.

Permalänk
Medlem
Skrivet av Prylkillen:

Det skulle vara intressant att se vilken läs- respektive skrivhastighet du kommer upp i om du kan köra på två kärnor och använder komprimering + diskkryptering i raid-z (beroende på hur många diskar du har att testa med). Och hur belastad CPU:n är om du maxar nätverket.

Har fått hem alla komponenterna nu, skall börja bygga strax. Kan testa allt annat som nämnts i tråden men kan nog inte testa det understrykta, har ingen array som kan maxa en 10Gbit lina för tillfället, börjar bara med 5st WD RED diskar, kanske kan ta några andra diskar jag har liggandes också men tvivlar starkt på att arrayen ens kommer i närheten av ens 5Gbit.

Visa signatur

Hur kan syltkakor överleva i det vilda utan ögon?

Permalänk
Medlem

Jag har bestämt mig för att fuska lite, innan jag bygger mitt kombinerade hem-server labb / NAS.

En Odroid HC2 och en Seagate Ironwolf 12TB. Och så lägger jag nog på OpenMediaVault.

Skall bli intressant att kolla prestanda och strömförbrukning.

Visa signatur

Linux och Android

Permalänk
Medlem

Var tvungen att åka & köpa nya kablar, mina Cat6 kablar mäktade inte med 10Gbit, så nu petade jag in kablarna & började testa lite, man skall verkligen inte överskatta Atom processorer, tror ingen gör det iofs, alla vet nog att dom är lågpresterande low-power cores.

Gör första testet nu med alla 8 kärnor, har just nu bara 2 klienter uppkopplade, den gråa aktivitetshanteraren är på en MBP & laddar upp data till en lz4 dataset med deduplikering & en iMac (ljusa aktivitetshanteraren) till en lz4 dataset utan deduplikering, laddar upp i snitt 2Gbit/s just nu till NAS:en & går åt ganska mycket resurser (nej, det är inte deduplikeringen som snor resurserna nu):

Kolla bild i full upplösning

Så 2Gbit gör åt mellan 50-60% CPU, så krävs 4st kärnor för endast 2Gbit, med dom 2 kärniga moderkorten som diskuterats här verkar då nätt & jämt klara av 1Gbit på ett dataset med endast lz4 kompression.

Men såfort jag testat klart diskarna & konfigurerat NAS:en så bootar jag om den med 2 kärnor & verifierar hur mycket 100% CPU användning på kärnor klarar för hastighet.

Edit: Kastade på en till 1Gbit klient till lz4 datasetet, så 3st klienter som laddar upp i 3Gbit totalt & nu är CPU användningen 70%. Så, denna CPU:n verkar klara 4Gbit totalt. Skalar linjärt så 2 kärnor bör som sagt klara runt 1Gbit

RaidZ1 med 5 diskar förresten

Visa signatur

Hur kan syltkakor överleva i det vilda utan ögon?

Permalänk
Medlem
Skrivet av JesperA:

Har fått hem alla komponenterna nu, skall börja bygga strax. Kan testa allt annat som nämnts i tråden men kan nog inte testa det understrykta, har ingen array som kan maxa en 10Gbit lina för tillfället, börjar bara med 5st WD RED diskar, kanske kan ta några andra diskar jag har liggandes också men tvivlar starkt på att arrayen ens kommer i närheten av ens 5Gbit.

WD-RED som WD30EFRX är inte speciellt snabba - på 3TB jag har max 140 MB/s som snabbast och genomsnittlig från ytter till innersidan 112.9 MB/s, genomsnittlig söktid av 16 ms.

Seagate ST3000DM001 (jepp den berömda...) presterar inte alls dåligt med topp på dryga 202 MB/s, genomsnitt ytterända till innerända 169.4 MB/s, genomsnittlig söktid 15.6 ms - 7200 RPM-disk.

Seagate NAS 4TB ST4000VN000 toppar på 192 MB/s ytterända till innerända 153 MB/s genomsnittlig söktid 15.6 ms, troligen 5900 RPM-disk

HGST 4TB (HDN724040ALE640) toppar vid 171 MB/s ytterända till innerända 138.7 MB/s genomsnittlig söktid 15.1, 7200 RPM.

En ny 4TB Toshiba N300 som jag köpte på test (och lite support för att det fortfarande skall finnas 3 st HD-tillverkare kvar i världen)
så var topphastigheten vid ytterända på hela 210 MB/s och genomsnittlig hastighet från ytter till innersidan på 169.8 MB/s, genomsnittlig söktid 11.76 ms - den lägre söktiden hörs också i form av hårdare knäppningar när den söker i jämförelse med andra diskar ovan - i övrigt ljudmässigt bara lätt susande inte mycket högre än 3TB WD-RED trots 7200 RPM och exemplaret jag fick är helt vibrationsfri (dvs ingen källa till brum i chassie-detaljer)

Toshiba är för närvarande snabbaste mekaniska SATA-disken jag har även om 8TB seagate archivedisk inte ligger mycket efter i läshastighet (toppar runt 205 MB/s - men disktypen är ju snart 4 år gammal)

som jämförelse så provade jag också en WD-green från 2010:ish 2TB WD20EARS.
Den är inte rolig... 110 MB/s som topp, genomsnitt ytterkant - innerkant ligger på 85.8 MB/s och genomsnittlig söktid på 20.5 ms

En WD-black WD2002FAEX från ungefär samma tid - toppar 151 MB/s, genomsnitt ytterkant-innerkant 124,7 MB/s och genomsnittlig söktid 11.6 ms, WD-black är nog den ljudligaste av diskarna - främst pga. en lite obalans får diskdockan att brumma, medans Toshiban var helt tyst i det avseendet trots samma varvtal

en Seagate ST2000DL001 (5900 RPM) - också från ungefär samma tid - toppar ca 140 MB/s, genomsnitt ytterända till innerända 113.2 MB/s, genomsnittlig söktid 17.4 ms

Om man är ute efter snabba diskar så verkar varken WD eller HGST vara förstahandsvalet när man tittar på diskar i samma generation - Seagate är för det mesta snabbare (läs mer tätpackad data på skivan) - en modern Toshiba förvånande med söktid i samma område som WD-black. Skulle man köpa nya diskar för en ny RAID så vete fasen om det inte skulle baseras på Toshiba-diskar den här gången - framförallt för att sökhastigheten är snabbare än något annat i storleksklassen (4TB).

---

Skall man fylla en 10 GB NIC så får man nog inte ha för få och långsamma diskar i sin RAID då även väntan och administrationen kring när datat skall hämtas från diskarna låser CPU och process. Att SATA-diskar inte kan läsa och skriva data/kommandon samtidigt över SATA-bussen inför också spilltider som äter på CPU och frågan är hur stor del som ändå förbrukas pga. antalet IO och väntan där resp. växer med mängden överförd data.

Sedan kanske man också skall prova mellan olika RAID-system (HW-raid om man har sådan kort - RAM-minne på diskkontrollern är nog närmast nödvändig för att få prestanda samt mer val än RAID1/10) - mjukvaru-RAID som mdadm-RAID - och jag provade också BTRFS i RAID5 vilket inte skämdes för sig i hastighet och definitivt fortare än BTRFS-filsystem ovanpå en mdadm-RAID5.

har ingen uppfattning på ZFS då jag inte provat - men misstänker att dess 'trygghet' har sitt pris i avseende hastigheten.

Permalänk
Moderator
Festpilot 2020, Antiallo

@xxargs:
Seagate Ironwolf 10 TB - CrystalDiskMark sekventiell skriv/läs.

Visa signatur

 | PM:a Moderatorerna | Kontaktformuläret | Geeks Discord |
Testpilot, Skribent, Moderator & Geeks Gaming Huvudadmin

Permalänk
Medlem

@xxargs Japp, såklart är WD Red diskarna jag använder väldigt slöa men tvivlar ändå starkt på att dom har något att göra med nuvarande resursanvändning. Har WD Red i en annan NAS med en E3 4-kärnig propp som knappt anstränger sig vid samma hastighet. Den slöa Atom arkitekturen är den största boven i denna NAS:en, tillräcklig prestanda för mig så det är lugnt, men krävs 8 kärnor Atom för att få okej prestanda, 2 kärnig Atom (som typ denna tråden grundar sig på) hade inte varit så rolig för mig.

Iaf, skall slänga in en av mina 900P som lagringsdisk för att dubbelkolla CPU vs disk prestanda (gissar dock på att det går åt precis lika mycket CPU per gigabit som med diskarna) innan jag testar den som cache.

Visa signatur

Hur kan syltkakor överleva i det vilda utan ögon?

Permalänk

@JesperA Tack för testresultaten. Intressant att se. Har du testat med 2 kärnor?

Skrivet av xxargs:

En ny 4TB Toshiba N300 som jag köpte på test (och lite support för att det fortfarande skall finnas 3 st HD-tillverkare kvar i världen)

Instämmer helt i att det är bra att supporta Toshiba av den anledningen.

Lite uppdatering. Jag har fortfarande inte bestämt vilket moderkort/CPU jag ska använda. Öppen för förslag.

Jag har köpt:

https://www.amazon.de/TCG-2814X04-1-Anschlüsse-Luftfilter-Fro...
Fantec 2U rackchassi med 2 * 5,25" + 2 * 3,5" åtkomliga framifrån.
När jag beställde fanns det bara en kvar och jag fick den för 500 kr.
Som den här: http://www.fantec.de/produkte/serverprodukte/19-server-storag...
Men den jag köpte har 4 stående halvhöjds kortplatser (istället för 3 liggande fullhöjd som den ovan har).
Det som eventuellt kan vara dumt med den här lådan är att PSU-platsen är till vänster, d.v.s. längre avstånd till moderkortets ATX-kontakt och man måste tänka på hur fläkt/luftflöde blir när man väljer PSU.
Egentligen går inte ett fullstort ATX-moderkort in, men om man inte använder en vanlig ATX PSU, vilket jag nog inte kommer att göra, går det (men man kanske får borra ett par skruvhål), så storlek begränsar inte val av moderkort.

https://www.amazon.de/gp/product/B0036ZH806/
Fantec 1880 MR-25 D 1880 Hard Drive Case
2 * 2,5" hotswap i 1 * 3,5".
(OBS! Denna är ENDAST för 9,5 mm-diskar. Om man har lägre diskar funkar inte utmatningen, om man inte moddar något.)

https://www.webhallen.com/se/product/289243-Chieftec-CMR-625
Chieftec CMR-625
6 * 2,5" hotswap i 1 * 5,25".

Samt ytterligare 2 hårddiskar (Toshiba), och 2 st 8 cm fläktar (tänkte byta den ljudliga fläkten i racklådan och sätta in en till för att få bättre HDD kylning, då 3,5"-lådan inte har någon fläkt).

Har även beställt ett PCI-e-kort med 4 * SATA som jag tänkte använda i gamla NAS:en.
Om det funkar bra kan det vara ett alternativ att ha färre än 8 SATA på nya NAS:ens moderkort och köpa ett till SATA-kort.
https://www.amazon.de/gp/product/B00AZ9T3OU/
Syba SATA III 4 Port PCI-e x1 Controller Card with Low Profile Brackets

Visa signatur

Huvuddator: Asus laptop 17", i7, 12 GB, Geforce 630M 2 GB

Permalänk
Medlem

Mitt strömsnåla NAS är i drift.

Det är en Odroid HC2 med en Seagate IronWolf 12TB HDD och OpenMediaVault NAS-mjukvara.

Alltså en pytte-liten enkortsdator med stor kylfläns som också fungerar som chassi och låda.

Lillebror HC1 har nämnts här tidigare: https://www.sweclockers.com/forum/trad/1486389-odroid-hc1-hom...
HC1 och HC2 är nästan identiska men HC1 drivs med 5 volt 4 A och stödjer bara 2,5" HDD/SSD. HC2 har större kylfläns/chassi och drivs med 12 volt 2 A och stödjer både 3,5" och 2,5" HDD/SSD.

En HC2 drar strax under 4W idle. Ca 10-20W vid belastning. Detta med 4W idle är pinsamt mycket och är nog den främsta nackdelen med denna lösning. Om man bortser från priset...

Eftersom detta är i hemmamiljö spelar tillgänglighet inte så stor roll. Därför är en ensam HDD helt OK. Prestanda är helt OK, kan utan vidare mätta en port i en gigabitswitch. För att klara redundans/replikering kommer jag att använda en identisk HC2 och mitt gamla Synology 411j NAS (på annan plats) som backup med hjälp av automatiska rsync snapshots. Kapaciteten bygger jag ut genom att dra igång fler HC2 vid behov. Jag har fem stycken. En kommer jag att använda som mediaspelare och "centraldator" med en 500 GB 860 EVO SSD. Det hela blir något av ett kluster, hopkopplat i en gigabit-switch.

Jag har skaffat ett 12V 20A PSU (ca 240W) som räcker för att driva minst 8 HC2, switch, router och WiFi mesh-enhet när alla enheter drar max ström. Så det blir bara en enda sladd i väggen för att driva allt. (Men många kablar mellan delarna för att koppla samman.)

Inte en enda fläkt! Enda rörliga delarna är inne i HDD. Jag avser att montera allt lågt i en Billy-bokhylla med dörrar och sätta in ett ca 1500 x 100 mm ventilationsrör vertikalt bak genom hyllplanen för att ge kylning driven av självdrag/skorstenseffekt.

En HC2 är alltså redan i drift, fungerar utmärkt. Håller på att bygga resten. 5 noder. 40 processorkärnor. 24,5 TB HDD redan i drift eller väntar på driftsättning. Plats för ytterligare 2 HDD. 16 portars NETGEAR GS316 Gigabitswitch, ASUS Lyra WiFi-mesh. Blir totalt lite mer än ett halvt hyllplan i en Billy-bokhylla.

Använder EXT4 och NFS. Endast Linux och Android-klienter. För Android-enheter även SMB/CIFS.

Möjlig framtida utbyggnad: Fler noder. Ett blybatteri med styrning/laddning som UPS.

Visa signatur

Linux och Android

Permalänk
Moderator
Festpilot 2020, Antiallo
Skrivet av Adoby:

Mitt strömsnåla NAS är i drift.

Det är en Odroid HC2 med en Seagate IronWolf 12TB HDD och OpenMediaVault NAS-mjukvara.

Alltså en pytte-liten enkortsdator med stor kylfläns som också fungerar som chassi och låda.

Lillebror HC1 har nämnts här tidigare: https://www.sweclockers.com/forum/trad/1486389-odroid-hc1-hom...
HC1 och HC2 är nästan identiska men HC1 drivs med 5 volt 4 A och stödjer bara 2,5" HDD/SSD. HC2 har större kylfläns/chassi och drivs med 12 volt 2 A och stödjer både 3,5" och 2,5" HDD/SSD.

En HC2 drar strax under 4W idle. Ca 10-20W vid belastning. Detta med 4W idle är pinsamt mycket och är nog den främsta nackdelen med denna lösning. Om man bortser från priset...

Eftersom detta är i hemmamiljö spelar tillgänglighet inte så stor roll. Därför är en ensam HDD helt OK. Prestanda är helt OK, kan utan vidare mätta en port i en gigabitswitch. För att klara redundans/replikering kommer jag att använda en identisk HC2 och mitt gamla Synology 411j NAS (på annan plats) som backup med hjälp av automatiska rsync snapshots. Kapaciteten bygger jag ut genom att dra igång fler HC2 vid behov. Jag har fem stycken. En kommer jag att använda som mediaspelare och "centraldator" med en 500 GB 860 EVO SSD. Det hela blir något av ett kluster, hopkopplat i en gigabit-switch.

Jag har skaffat ett 12V 20A PSU (ca 240W) som räcker för att driva minst 8 HC2, switch, router och WiFi mesh-enhet när alla enheter drar max ström. Så det blir bara en enda sladd i väggen för att driva allt. (Men många kablar mellan delarna för att koppla samman.)

Inte en enda fläkt! Enda rörliga delarna är inne i HDD. Jag avser att montera allt lågt i en Billy-bokhylla med dörrar och sätta in ett ca 1500 x 100 mm ventilationsrör vertikalt bak genom hyllplanen för att ge kylning driven av självdrag/skorstenseffekt.

En HC2 är alltså redan i drift, fungerar utmärkt. Håller på att bygga resten. 5 noder. 40 processorkärnor. 24,5 TB HDD redan i drift eller väntar på driftsättning. Plats för ytterligare 2 HDD. 16 portars NETGEAR GS316 Gigabitswitch, ASUS Lyra WiFi-mesh. Blir totalt lite mer än ett halvt hyllplan i en Billy-bokhylla.

Använder EXT4 och NFS. Endast Linux och Android-klienter. För Android-enheter även SMB/CIFS.

Möjlig framtida utbyggnad: Fler noder. Ett blybatteri med styrning/laddning som UPS.

Om du kör flera HC2:or i samma miljö, varför inte titta på GlusterFS?
Då får du distribuerad lagring och kan styra eventuell önskad redundans. Även möjligt att synka till annan geografisk plats.

Visa signatur

 | PM:a Moderatorerna | Kontaktformuläret | Geeks Discord |
Testpilot, Skribent, Moderator & Geeks Gaming Huvudadmin

Permalänk

Jag beställde nyligen en Helios4, https://kobol.io/helios4/. Ska bli intressesant och se hur den presterar när den förhoppningsvis dyker upp här i oktober.

För stunden har 2st Ironwolf 8TB i en USB-C HDD-bur som är kopplad till en Inte NUC som agerar server med debian och en drös med docker containers. Har dock haft problem med att den vad jag tror är HDD-buren då ena hårdisken kopplas bort stundtals vilket ledar till att servern krachar ibland.

Tanken är då att ha Helios4:n med OpenMediaVault för att sköta NAS-delen och sen får NUC:n sköta det som kräver lite mer kraft. Då kan jag också utöka med fler hårdiskar, woop woop!

Visa signatur

"Where lightning strikes once, ninja strikes twice"

Permalänk
Medlem

Jag har tittat på GlusterFS och kom fram till att dokumentationen är mycket bristfällig om man inte är betalande kund hos Red Hat. Skulle nog funka bra annars. Men jag misstänker att OMV ger väldigt mycket högre prestanda. Men jag har två HC2 för experiment....

Fast för en "riktig" GlusterFS-installation skulle jag nog behöva tre noder med tre bricks vardera, två data och en arbitier. Och distribuerat runt i en ring. Men det känns mer än lite bökigt att hantera när en nod faller bort eller skall läggas till. Jag gissar att RH kan tillhandahålla verktyg om du betalar bra... Men de är inte Open Source...

Dessutom har jag egentligen ingen som helst nytta av distribuerad lagring. Backuper är mycket bättre för mina behov.

GlusterFS och olika former av RAID handlar typiskt om att kunna ha hög tillgänglighet. För kunder och för verksamhet som kostar om den stannar. Det är inte relevant för mig eftersom detta handlar om privat bruk i hemmiljö- Då har jag nytta av extra hårddiskar för backuper men i stort sett ingen nytta alls av redundant eller distribuerad lagring, det vore bara slöseri.

Visa signatur

Linux och Android

Permalänk
Medlem
Skrivet av Prylkillen:

@JesperA Tack för testresultaten. Intressant att se. Har du testat med 2 kärnor?

Japp, testade med 2 kärnor & blev i princip identiskt resultat till det jag nämnde tidigare. 2 kärnor klarar av runt 1Gbit med lz4 + deduplikering i Rz1 med 5 hårddiskar (testat med en singel SATA SSD också & ger ungefär samma resultat som Raid poolen). 1.5-2Gbit utan deduplikering men identisk i övrigt, går nog tweaka upp en aning också, har inte testat jumbo frames (mitt nätverk stödjer inte det) osv, dock med 2 kärnor & överföring med +1.5Gbit så var det ofta som SMB & AFP tjänsten slutade fungera av någon anledning, vet inte om det har med en FreeNAS bug att göra eller om resurserna tog slut eller att C3000 CPU:erna har alldeles för mycket att göra nu när den driver en massa I/O skit också för jag tappade ofta anslutningen till SMB & AFP vid belastning, något som inte sker med +4 kärnor.

Skall nog noteras att jag kör alla tester med 1Gbit klienter (så 4-5 klienter vid 4-5Gbit testerna) så varje klient-anslutning kan ju orsaka lite CPU overhead för NAS:en per anslutning så CPU användningen kan ju vara några % högre vid angiven hastighet än om jag hade kört 10Gbit -> 10Gbit istället för 1Gbit/1Gbit/1Gbit/1Gbit -> 10Gbit

Tycker dessa siffror är rätt låga, finns ju folk som kör NASister på rätt klena enkortsdatorer & får ut rätt okej prestanda. Visst, att man prestanda blir lidande vid deduplikering är ju självklart & förväntat men utan deduplikering tycker jag överföringen är snäppet för lågt.

Skrivet av Trisk3lion:

Jag beställde nyligen en Helios4, https://kobol.io/helios4/. Ska bli intressesant och se hur den presterar när den förhoppningsvis dyker upp här i oktober.

Det där ser intressant ut, gillar dock inte chassit så jag kommer beställa hem ett par moderkort & bygga eget chassi av en hot-swap modul istället (hatar att behöva skruva isär saker för att byta hårddisk), tex:

Visa signatur

Hur kan syltkakor överleva i det vilda utan ögon?