HPE ProLiant MicroServer Gen10

@Micke O: Nej, dessa modeller har inte redundant-PSU och heller inte jag i mina byggen. Jag kör med en bättre UPS och ser det som mycket osannolikt att jag inte skulle få reda på problem med PSU genom kontrollen av checksum på all data som läses.

En redundant PSU hjälper bara om man kan (helst automatiskt) identifiera problemet med en av PSU'erna så att man kan offlina den felande och byta till den andra. Redundant PSU är främst för att få uppetid och kunna köra med ström från två håll i en dubbelmatad anläggning.

Visa gärna i vilket felläge som redundant-PSU hjälper mot datakorrumption.

Det minskar risken för att det blir tvärstopp mitt i en skrivning, om man nu kör utan L2ARC men är tillräckligt paranoid för att ändå köra ZFS

OT: Det ska väl inte spela någon roll om ström försvinner på ZFS vid skrivning? Eftersom det i grunden är Copy-On-Write så kommer ett strömborfall inte att förstöra filsystemet. Filen som är under skrivning kommer såklart inte att bli korrekt. Men det löser inte en L2ARC heller, eftersom den inte ännu överlever en omstart utan nollas vid varje boot.

Jag trodde det var det som var vitsen med L2ARC - att det som ännu inte hunnit skrivas till disk lagras där?

OT: ARC och L2ARC är en läs-cache och lagrar bara senast använda och ofta använda block från filsystemet och överlever inte en omstart. Vanliga ARC (Adaptive Replacement Cache) lever i internminnet. L2ARC lever på en lagringsenhet och allt som oftast en SSD. På L2ARC hamnar det som tas bort från ARC.
Många blandar i hop L2ARC med ZIL (ZFS Intent Log). ZIL är inte en skriv-cache då den bara lagrar synkrona skrivningar som inte hunnits med ännu. Man kan precis som med ARC lägga ZIL på en SSD, då heter det en Separete Intent LOG (SLOG).

Eftersom jag gillar att filer jag arbetar med finns snabbt till hands så kör jag ZFS med minst 16 GB RAM. Då förstår ZFS om jag läser en fil och lägger snällt resten av den i RAM.

ZFS är alltid i ett stabilt tillstånd och man kan rycka pluggen på en ZFS burk när som. Om filerna man bad NASen skriva nyss har landat på disk så är även dessa en del av detta stabila tillstånd (sker som mest sällan var 5 sekund). Har de inte landat på disk är det som att de aldrig funnits.

Skickades från m.sweclockers.com

Så dör nätagget är det som ligger i skrivcachen väck och SPOF är ett faktum, eller?

Nej, det är i alla fall inte så som jag värderar hoten mot min lagrade information. Skadan av att information som inte nått disk försvinner är i mitt användningsområde mycket liten. Det är en informationsförlust, ja. Men det kan maximalt handla om 5-6 sekunder med data, eftersom som asynkrona skrivningar förbinds till disk minst var femte sekund. Är det mycket data så betyder det att det är en filkopiering och finns på disk hos klienten. Är det data som endast finns i RAM och som är på väg till disk kan jag nog leva utan eller återskapa.

Värre tycker jag det är om data som är skrivet till disk försvinner utan att jag vet det. Vilket är vad som uppstår när strömmen går på en vanlig RAID.

Det reella hotet mot min data är om hela eller delar av arrayen försvinner eftersom delar av filsystemet var under uppdatering samtidigt som mitt HW-raid eller MD-raid höll på att skriva filsystemets data. Då behöver man rekonstruera eller på annat sätt återskapa data och med det kommer alltid en viss osäkerhet.

Ja precis som du skriver de operationer som ligger i ZIL att göras klart när strömmen återkommer. I ZIL finns endast synkrona skrivningar. Dvs. sådant som är viktigt att det når disk när programmet som vad om att skriva det fått besked om att så skett. Har man ingen dedikerad SSD ZIL så har dessa skrivningar antingen inte ägt rum ännu eller så finns de redan i filsystemet. Det finns ingen mellanting.

Någonstans utom på någon disk måste det ju cachas vid skrivning? Annars lär du ha sjukt dålig prestanda.

Backup behövs ju oavsett så då måste man ju köra ett annat filsystem som skyddar mot bitröta och helst annat OS så att man inte torskar på eventuella fel där samtidigt.

För asynkrona skrivningar så används internminne som buffer precis som alltid annars. Om du förlorar ström innan buffern nått disk så finns de filerna som hunnit fram med i filsystemet på disk medan de som endast låg i bufferten går förlorade. Givet nog tid så kommer alla skrivningar i RAM att nå disk och från att systemet inte är begränsat av diskars bandbredd eller IOPS så kommer det att säkerställa att alla asynkrona skrivningar hamnar på disk minst var femte sekund. Men om bandbredd eller IOPS börjar begränsa hur mycket som kan skrivas igen så kommer bufferten att öka i storlek. När sedan systemet kommer i kapp så är det åter igen minst en tömning av cache till disk var femte sekund.

För synkrona skrivningar blir hastigheten lidande då det inte finns någon buffer. Då kan man ansluta en SSD att köra som SLOG för ZIL och på så sätt kan ZFS lägga synkrona skrivningar på en supersnabb SSD med massor med IOPS (viktigt att den har en inbyggd kondensatorbank) och om strömmen går så finns allt som rapporterats som skrevs till SLOG att skrivas till disk så fort det går.

Under allt detta är filsystemet alltid konsistent. Det finns ingen tidpunkt när ZFS behöver säga "stäng inte av nu för då måste jag köra fsck".

Jo, men om du kör ZFS även på din backup så kan du flytta filer med garanterat bitrötaskydd från det att du skrev de, samma cheksum som genererades när du skrev filerna kan verifieras trots att du kopierat filsystemet till flera andra datorer under tiden.

Scenario: Du har år 2010 byggt en ZFS NAS med Raid-Z2 och du har sedan dess alltid skickat snapshots av detta system till en identisk NAS hos en kompis. Du kan garantera att de data du hämtar från din kompis NAS idag är identiska med de du lagrade 2010. Om något har gått fel så hade antingen du eller din kompis fått besked om detta.

Förutsätter ju att det inte finns buggar i OS:et eller virus som angriper detsamma - jag skulle ha valt olika OS och helst olika filsystem.

Blir inte många drive bays över för lagringen i en microserver till ZIL, L2ARC och allt vad det heter

Bra att veta att FreeBSD är immunt mot buggar Men det är klart, det står ju var och en fritt att lägga alla ägg i samma korg, men jag gör det inte. Använder olika OS och filsystem för lagring och backup.

Ja, 6st 2,5" utspridda i en Microserver får säkert jättebra kylning. Fantastisk cirkulation längs väggarna...

Jag har läst om ZFS och FreeBSD tack. Jag har också meckat Microserver och tycker att det verkar konstigt att köra med dubbla hängslen och livremmar i ena änden (mjukvaran) och sedan klippa av dem halvt genom att knöka lådan full med disk. Varför inte använda ett vettigare chassie för ändamålet isf, t ex DAS? Vad har du för temperaturer på diskarna? Sen är ju inte 2,5" kända för sin lagringskapacitet heller.

Du vill ha idiotsäker lagring men kör ändå Release Candidates? Är inte det lite motsägelsefullt?

Du kan välja fritt mellan FreeBSD, GNU/Linux, Mac OS och Solaris (Illumos). Så i stort sett allt bortsett från Windows. Svårt att hitta argument för att en stabil lagrings-stack måste innehålla Windows.

Man behöver ingen extra SLOG/ZIL för normalt NAS användande, men en SLOG/ZIL löser ett problem du får med samtliga RAID system på HDD vid en viss typ av användande. Man behöver heller ingen dedikerad L2ARC för normalt användande det räcker med några extra GB med internminne istället för att slita ut en SSD. Din första kommentar ställde sig ju frågande till varför man behöver 16+ GB RAM i en NAS. Det hoppas jag att du förstår nu.

Med nya Gen10 kan man med fördel köra eventuell SSD som ett PCI-E kort.

Som sagt så behöver man inte några extra diskar. Om man väljer att köra med 6x2,5" HDD så skulle jag säga att man genererar mindre värme än med 4x3,5" bara genom att jämföra rent strömförbruk. Att man kan kyla 6x2.5" har jag inget tvivel om.

Man kan väl inte säga att det rakt av är motsägelsefullt att köra en RC av ett GUI? Du kör med binärpatchar på diverse kritiska drivrutiner på din ESXi. @anon246659 kör med en RC av ett GUI för att administrera ZFS.

Är man entusiast har man inga problem att husera vad som krävs - funktion före form

Pratar du disktemp eller CPU/chassietemp nu? DU påtalade att det fanns plats för 6st 2.5" och om man ska ha det utöver 4x3.5" så blir det längs sidoväggarna bl a - där tror jag inte luftflödet är lysande precis - särskilt inte på högersidan.

Du kanske såg att jag skrev att jag läst att någon lyckats med det och att det var lite osäkert? Jag vidhåller fortfarande att jag sett det men hittar inte länken. Något forum var det iaf. Eftersom vissa fått det att funka även med proppar som inte finns listade som supportade så hade det ju kunnat funka. Du som entusiast borde ju veta att det ibland går få icke-supportade saker att funka. Dock verkar det i detta fall vara en begräsning per sockel.

Trevlig nedvärderande ton du använder.

RAM är förvisso alltid snabbare än disk men att behöva så mycket läs-cache, ja ja, alla blir saliga på sitt vis

Ska man få in 6x2.5" blir det längs väggarna och på högersidan ser det inte ut att bli särskilt mycket luftflöde (inga lufthål framför). De 4 3.5" -bayerna har ju luftinsläpp och sitter i stort sett mitt i luftkanalen med fläkten bakom.

Uppdaterar dom bara GUIt? RC av ett GUI kan väl vara nog så illa om det inte utför de kommandon man gett eller visar korrekt information?

OFFTOPIC:

Hörrni pojkar...

Jag har tryckt in 4 st 2,5" extra i min Gen8.
2 st SSD och 2 st mekaniska 5400 rpm i ODD platsen.
Inga problem med värme eller ngt.
Upptid är på 500 dagar och fläkten ligger på 11 %.

Och ja Gen10 är en besvikelse.. trots att det är 6 sata på moderkortet..
Jag menar.. varför ens ta bort iLO?
Mina Gen8 står i källaren och remotar via iLO.. vilket inte finns i Gen10..

Kan det vara så att det är problem med AMD chipset och iLO? Finns det HPE AMD baserade servrar med iLO?

Internminne är förhållandevis billigt och när det först sitter i maskinen är det till för att användas.

Angående diskarna så kan man alltid justera luftflödet med en extra fläkt eller liknande om det går för varmt, det handlar ju först och främst om hur mycket åverkan man är beredd att göra för att få plats i en MicroServer låda.

FreeNAS är en distro och framförallt ett GUI för att administrera i första hand ZFS och i andra hand resten av en NAS. Men det finns ju inget som hindrar en bugg från att slå ut en hel pool. Som administratör måste man dock väga dessa risker mot varandra och vara bredd att kavla upp ärmarna om skiten träffar fläkten.