Snabb lagringsserver, ska jag köra vidare på Synology?

Permalänk
Medlem

Snabb lagringsserver, ska jag köra vidare på Synology?

Hej!

Jag har en Synology RS3617xs (med en expansion unit RX1217).
I dessa sitter 24st IronWolf 8TB 7.200rpm.

Detta är bra för det ger oss massa lagring, men när alla på firman jobbar som hårdast blir det rätt så segt.

Det jag funderar på nu är att bygga nytt med mindre men snabba diskar.
Tänker ett gäng 1,2TB 10.000rpm. Vad jag kan se så är dom på pappret dubbelt så snabba (1200MBps).

Tycker ni jag ska fortsätta köra på Synology system eller kan det finnas prestanda att tjäna på att byta?

Tack!
/Anders

Permalänk
Medlem

Varför inte SSDer som Läs/Skriv cache, borde ju flytta bort flaskhalsen från hårddiskarna oavsett vilken hastighet de har.

Och bara för att interfacet på en HDD är specificerat till en viss hastighet betyder det ju inte att de kan använda det över tid, utan det är ju bara cacheminnet på disken som kan utnyttjats till den hastigheten. Sedan så sätter den mekaniska delen stopp.

Permalänk
Medlem

Nu vet vi inte hur stora datamängder som körs över per gång - om det är läs eller skriv.

Om man ser hur bcache jobbar så bidrar det nästan inget alls vid stora filöverföringa utan specialiserar på att cacha få-sektorssökningar i stor mängd men bypassar långa sekventiella skrivningar/läsningar. Det har också göra att inte bränna ut en SSD på för kort tid om man inte tänker sig använda server-SSD som tål flera fulla skrivningar per dag och inte tappar fart efter 10-30 GB som dagens konsument-SSD/NVMe när SLC-cachen tar slut vid en stor överföring.

Själv har jag bränt mig som fasen med just bcache - tror inte att just bcache var problemet utan just använda SSD som sa upp sig efter ett tag med den användarmönster jag hade (deduplicering av hårddiskar) och har man write-back aktiv så förlorar man filsystemet till ej räddningsbart status när det sker - det är riktigt allvarligt!!

Skall man gå på SSD-cache, kolla noga med grymt jobbiga test-case innan och det värsta jag hittat hittills är deduplicering av rätt full BTRFS-filsystem med bunt ganska lika diskimages med 'bees' - har provar tre olika fabrikat SSD - ingen överlevt efter något dygn och det verkar vara deras interna TRIM-tabeller som trasslar ihop sig fullständigt att SSD till slut stannar helt (långa timeout att kärnan till slut kastar ut SSD)[2]

---

Utesluter här att nätverksportarna anses vara flaskhalsen - annars är det där det ofta flaskar och man behöver fler parallella portar eller att de går med högre bitrate (10 Gigabit Ethernet till en router/switch med dito ingång som sedan fördelar ut)

SAS-gränssnittet är 1200 MB/s vilket ger utrymme för flera diskar (via SAS-expandrar) innan kanalen blir full - dessutom kan SAS köra i duplex.

Om det är synology med expanderlåda med antal diskar i så gissar jag att SATA3 (600 MB/s) som förbinder mellan enheterna och är flaskhalsen kapacitetsmässigt och SATA kan heller inte köra i duplex [1]. Det räcker idag med 2 st 10 TB-diskar för att den bussen skall vara full och det blir reducerad fart om man skall hantera 4 eller 6 diskar parallellt i expander-burken som vid tex. resynkning av diskar.

Har man identifierat denna länk mot expander som den egentliga flaskhalsen kapacitetsmässigt så är förmodligen möjligheterna med Synology uttömda och det är dags att titta på riktig server som är byggd för driftsäkerhet och med diskkontrollerkort med strömavbrottskyddad RAM-cache som har dual-port SAS3 - och förstås dito diskar - dessa kan också länkas vidare till expander-burkar med en eller flera SAS3-länkar parallellt om det är diskplats som är det viktiga.

[1]
SATA har också 2 par men dessa är låsta för data i respektive riktning, SATA kan heller inte köra i duplex vilket innebär att läsning och skrivningar måste köas efter varandra medans SAS kan läs och skrivningar köras parallellt (full duplex) och i senare SAS-standard också använda båda paren dynamiskt för skrivning eller läsning med tillsammans dubbla farten (2400 MB/s) och med dualport nå 4800 MB/s i länken till tex en SAS-expander låda med diskar.

SAS har också default bättre dataskydd på sina överföringar än SATA och vi pratar om förbättring av 10000 lägre risk för oupptäckta överföringsfel gentemot SATA-bus. Och så fort man börja använda expandrar och därmed längre datakablar så ökar alltid risken för överföringsfel av olika slag.

[2]
SSD är otrolig långsamma och sega efter 'händelsen' och går knappt att skriva någon större mängd slumpmässig data innan de i princip stannar helt igen - för att de skall bli användbara igen måste man göra zerofill från första till sista sektorn - om möjlig köra blkdiscard (nästan som en security erase men skapar ingen ny nyckel) och i fallet med Samsung 830 har inget av det fungerat och håller på och hänger sig och ha sig även efteråt så sista försöket är att göra en security erase på denna, annars verkar den blivit brickad av bcache-testet.

Permalänk
Medlem

Det här var helt galet intressant, stort tack för genomgången!

Länken till expansion unit ser ut att vara SATA3 som du skriver. Och vi har en volym som bryggar över enheterna. Synology skriver faktiskt på sin webbsida ser jag nu:
"För att få bättre prestanda rekommenderar vi att skapa lagringsvolymer som finns på samma NAS eller utökningsenhet fysiskt, i stället för att skapa volymer som sträcker sig över din NAS och utökningsenhet."

Så SATA3 och att volymen är delad mellan enheterna är troligen två problem. När vi kopplade in expansion unit för ett år sedan så blev det segare att bläddra i mappar vill jag minnas.

Nätverket är 10GbE och linked aggregation mellan lagring och routers, så troligen ingen flaskhals.

Jag tror vi kommer göra en quickfix där vi lyfter bort all skrivning av loggfiler och massa python script som sourcas ganska frekvent till en egen server. Bara för att belasta den stora servern mindre.

Steg två får bli att bygga en ny lite mindre SAS server:
Nu vill jag inte peppra med för mycket frågor här...
men en HPE MSA 1060: https://www.dustin.se/product/5011201824/msa-1060-10gbase-t-i...
och 24st 1200GB SAS3: https://www.dustin.se/product/5010986253/dual-port-enterprise
63 995 kr + 215.880 kr

Det blir 14,4TB raidat SAS3 för runt 280.000kr.
Nu har vi 96TB raidat SATA för under 100.000kr men segt som sagt...

Låter det som en SNABB set-up och finns det andra leverantörer förutom HPE som jag borde kolla in?
Och tänker jag rätt?

Permalänk
Hedersmedlem
Skrivet av AndersNyman:

Det här var helt galet intressant, stort tack för genomgången!

Länken till expansion unit ser ut att vara SATA3 som du skriver. Och vi har en volym som bryggar över enheterna. Synology skriver faktiskt på sin webbsida ser jag nu:
"För att få bättre prestanda rekommenderar vi att skapa lagringsvolymer som finns på samma NAS eller utökningsenhet fysiskt, i stället för att skapa volymer som sträcker sig över din NAS och utökningsenhet."

Så SATA3 och att volymen är delad mellan enheterna är troligen två problem. När vi kopplade in expansion unit för ett år sedan så blev det segare att bläddra i mappar vill jag minnas.

Nätverket är 10GbE och linked aggregation mellan lagring och routers, så troligen ingen flaskhals.

Jag tror vi kommer göra en quickfix där vi lyfter bort all skrivning av loggfiler och massa python script som sourcas ganska frekvent till en egen server. Bara för att belasta den stora servern mindre.

Steg två får bli att bygga en ny lite mindre SAS server:
Nu vill jag inte peppra med för mycket frågor här...
men en HPE MSA 1060: https://www.dustin.se/product/5011201824/msa-1060-10gbase-t-i...
och 24st 1200GB SAS3: https://www.dustin.se/product/5010986253/dual-port-enterprise
63 995 kr + 215.880 kr

Det blir 14,4TB raidat SAS3 för runt 280.000kr.
Nu har vi 96TB raidat SATA för under 100.000kr men segt som sagt...

Låter det som en SNABB set-up och finns det andra leverantörer förutom HPE som jag borde kolla in?
Och tänker jag rätt?

Om du har en obegränsad budget är ovan en vettig lösning, men knappast prisvärd. Det finns NAS-enheter med både 10- och 40-gigabitsstöd där du kan proppa den full med skrivtåliga SSD:er i prosumerklassen och få ut bättre prestanda. Dock inte samma support och dokumentation. Kika på exempelvis Qnap och Synology. Om dataintegritet är viktigt skulle jag satsa på en ZFS-appliance, typ TrueNAS X-series: https://www.truenas.com/x-series/.

Permalänk
Medlem

Har en fråga och två alternativ:

Fråga: Kan Ni bygga och serva en egen lagringsserver? Om ja, kika i så fall på Supermicro och ZFS. Om nej, kolla med Martin på www.mullet.se. Har handlat utav dom flera gånger både som konsument och organisation där servrarna har gått iväg till våra kunder utan bekymmer.

Alternativ 1: Flera servrar, alltså olika servrar för olika filer för smeta ut belastningen.
Alternativ 2: Flera uppsättningar, alltså flera individuella RAID på samma lagringsserver för att smeta ut belastningen mot just lagringen.

Permalänk
Medlem

Vill du slå på ordentligt får du exempelvis 16 cores Epyc, 256GB RAM, 2*10GBe ethernet och 10*7.68TB proffs-NVMe diskar för 150 papp ex moms på mullet: https://mullet.se/product.html?product_id=349285

Släng på Linux eller FreeBSD, ZFS med zstd komprimering, installera Samba och vips, du har ~60TB toksnabb lagring. Då kan ni fortsätta vara "lata" och dumpa alla filtyper på samma ställe och fortfarande ha en snabb upplevelse.

Just att ni blandar logskrivning (massa små writes), stora filer (få stora reads) och ofta-sourcade python script (små reads ofta) på samma snurrande rost hintar att ni har lite gratis lågt hängande frukt att hämta bara på att dela upp lagringen också. Börja med en liten demo för en spottstyver i sammanhanget: köp en i3 NUC, 64GB RAM och en Samsung 980 pro (snabb nvme konsumentdisk). Installera linux/freebsd med ZFS. Slå på zstd komprimering. Släng över logskrivning och pythonscripten på den och njut av farten. För små filer och loggar behöver ni inte 10GBe eller en massa plats. Med 64GB RAM kommer de flesta filerna ni läser ofta att ligga i RAM (zfs ARC) så att en läsning inte ens behöver hoppa till SSDn utan kan servas direkt.

Speciellt för loggar har ni mycket att spara på automatisk komprimering som ZFS kan göra. zstd är det senaste coola på den fronten. Ett fint citat: "At zstd level 9 compression the 1.8MB sized cfcomp-access.log-20190101 Nginx access log was compressed to 72KB" https://community.centminmod.com/threads/compressed-log-files... Att loggar krymper så mycket med helt automatisk är ju gratis pengar.

Så summa sumarum: köp vad som helst med SSD. Ju mer pengar ni lägger destro mer och snabbare lagringsutrymme får ni och desto mindre behöver ni tänka på att dela upp saker.

Permalänk
Medlem
Skrivet av AndersNyman:

när alla på firman jobbar som hårdast blir det rätt så segt.

Kanske dags att ser över hur ni jobbar mot NAS'en? Själv arbetar jag mest lokalt mot en m.2 ssd och checkar in vid lunch och dagens slut till våra repos. Funkar även väldigt bra när man sitter ute i busken och slåss om bandbredd med övriga VPN-anslutna.

Sen kan det även gå till extremerna, inte heller bra. T.ex. CityCloud som för tillfället prioriterar låg latens över datahastighet vilket medför att en 600 GB SQL-backup till Acronis Cloud tar över ett dygn att utföra. "Vi har inte fått hem våra cache-SSD vi beställt".

Permalänk
Medlem
Skrivet av AndersNyman:

Hej!

Jag har en Synology RS3617xs (med en expansion unit RX1217).
I dessa sitter 24st IronWolf 8TB 7.200rpm.

Detta är bra för det ger oss massa lagring, men när alla på firman jobbar som hårdast blir det rätt så segt.

Det jag funderar på nu är att bygga nytt med mindre men snabba diskar.
Tänker ett gäng 1,2TB 10.000rpm. Vad jag kan se så är dom på pappret dubbelt så snabba (1200MBps).

Tycker ni jag ska fortsätta köra på Synology system eller kan det finnas prestanda att tjäna på att byta?

Tack!
/Anders

Skrivet av Veni:

Har en fråga och två alternativ:

Fråga: Kan Ni bygga och serva en egen lagringsserver? Om ja, kika i så fall på Supermicro och ZFS. Om nej, kolla med Martin på www.mullet.se. Har handlat utav dom flera gånger både som konsument och organisation där servrarna har gått iväg till våra kunder utan bekymmer.

Alternativ 1: Flera servrar, alltså olika servrar för olika filer för smeta ut belastningen.
Alternativ 2: Flera uppsättningar, alltså flera individuella RAID på samma lagringsserver för att smeta ut belastningen mot just lagringen.

Jag skulle säga som Veni, satsa på fler servrar istället. Antingen bara dela på diskarna och sätt in hälften i en likadan NAS (billigt) eller köp en likadan med ytterligare 24 diskar (och bidra till gnället av bristen på datorkomponenter!)

Permalänk
Medlem

Hej,
För att uppdatera tråden så blev det en mellanväg.

En RS3621xs+ med 12x16TB sata diskar. Tog även med extra kort med två m.2 diskar.

Även om det inte blev värsta flashiga lösningen så avgjorde följande:
* lite tid för underhåll och installation då vi är inkörda på Synology grejer.
* den gamla servern kommer avlasta den nya
* slipper sata3 strypningen till expansion unit som antagligen segat ner en del
* ssd cach ger kanske något extra
* bra pris!
* nackdelen att vi blir lite inlåsta och inte kan utöka volymen...

Snart uppe i petabyte på kontoret... joråsåatt... 😁