Går det föra över filer till min NAS snabbare än vad HDD klarar att skriva?

Permalänk
Medlem

Går det föra över filer till min NAS snabbare än vad HDD klarar att skriva?

Hej, dålig titel, svårt att förklara frågan i en kort mening.

Jag har en NAS (Ubuntu, ej NAS OS) som jag såklart för över filer till, och vill ju att det ska gå fort särskilt för stora filer. Just nu använder jag Filebrowser, och det kör på över 100MB/s med 1Gbit LAN, så allt är i sin ordning. Men 1Gbit råkar också vara ungefär så snabbt som en HDD 7200 RPM klarar av att skriva, så vad händer om jag ökar LAN till 2.5Gbit eller mer?

Om jag inte tänkt helt fel så bör jag bli bottleneckad av HDDns skrivhastighet. Så går det jobba runt detta på något sätt?

Permalänk
Rekordmedlem

Fler lagringsenheter som jobbar parallellt (raid)
Man kan också ha cacheminne som kan hantera småfiler så att de överföras snabbt men sedan skrivs långsammare men det ger ju naturligtvis inte en konstant ökad hastighet om man hanterar stora filer.

Visa signatur

R5 5600G, Asus ROG STRIX X470-F Gaming, WD SN850X 2TB, Seasonic Focus+ Gold 650W, Aerocool Graphite v3, Tittar på en Acer ET430Kbmiippx 43" 4K. Lyssnar på Behringer DCX2496, Truth B3031A, Truth B2092A. Har också oscilloskop, mätmikrofon och colorimeter.

Permalänk
Medlem
Skrivet av mrqaffe:

Fler lagringsenheter som jobbar parallellt (raid)
Man kan också ha cacheminne som kan hantera småfiler så att de överföras snabbt men sedan skrivs långsammare men det ger ju naturligtvis inte en konstant ökad hastighet om man hanterar stora filer.

Jag läste nånstans att RAID är typ 50% effektivt när det kommer till extra hastigheten. Vet inte vilken RAID det var, jag tänkte nog köra 10, så 50% redundans.

Men 10Gbit hade ju varit nice och jag tror inte ens 4x RAID kommer upp i den hastigheten. Då kanske man får kolla på cache eller dylikt som du var inne på. Har läst lite om det men har ingen aning vad man faktiskt gör, vilken mjukvara som behövs osv.

Jag har en NVM SSD för själva OS om det hjälper något.

Jag är öppen för rekommendationer!

Permalänk
Medlem
Skrivet av Cranzle:

Men 1Gbit råkar också vara ungefär så snabbt som en HDD 7200 RPM klarar av att skriva

Nja. Hastigheten på en hårddisk beror inte bara på rotationshastigheten, var på disken samt skivornas densitet spelar roll.
Och moderna diskar kan mycket väl vara uppe och nosa på över 250 MB/s i yttersta spåren men det avtar ju närmare mitten man kommer. 100MB/s är väl vad den klarar som lägst.

I alla fall så skulle du säkert kunna få bättre hastighet med snabbare nätverk, men det gäller ju att hela nätverket mellan datorn och NASen stödjer hastigheten du är ute efter.

Permalänk
Medlem
Skrivet av loefet:

Nja. Hastigheten på en hårddisk beror inte bara på rotationshastigheten, var på disken samt skivornas densitet spelar roll.
Och moderna diskar kan mycket väl vara uppe och nosa på över 250 MB/s i yttersta spåren men det avtar ju närmare mitten man kommer. 100MB/s är väl vad den klarar som lägst.

I alla fall så skulle du säkert kunna få bättre hastighet med snabbare nätverk, men det gäller ju att hela nätverket mellan datorn och NASen stödjer hastigheten du är ute efter.

Ja jag har redan kollat på switch och nätverkskort med 10Gbit som jag kan köpa. Och 4 HDDer med RAID 10 kommer nog inte i närheten av 1250MB/s, jag gillar att vara framtidssäker så jag vill att min lösning ska vara byggd att kunna skala upp till 10Gbit.

Kan det vara värt att föra över filerna till min (OS) NVMe, och sen ha ett CRON job som körs typ varje minut som för över alla filer direkt till mina HDDs?

Permalänk
Medlem
Skrivet av Cranzle:

Ja jag har redan kollat på switch och nätverkskort med 10Gbit som jag kan köpa. Och 4 HDDer med RAID 10 kommer nog inte i närheten av 1250MB/s, jag gillar att vara framtidssäker så jag vill att min lösning ska vara byggd att kunna skala upp till 10Gbit.

Kan det vara värt att föra över filerna till min (OS) NVMe, och sen ha ett CRON job som körs typ varje minut som för över alla filer direkt till mina HDDs?

Har du övervägt att använda TrueNAS Scale (TrueNAS Core är på väg bort) med ZFS och en SSD-cache? Då behöver du inte hålla på med den där typen av fulhack och får samtidigt en robustare lagringslösning.

Visa signatur

Antec P280 | FSP Hydro Ti Pro 1000W | MSI X670E Carbon | Ryzen 7 9800X3D | Kingston Fury Beast 6000MT/s CL30 2x32GB | Nvidia RTX 4090 FE | 2x Samsung 990 Pro 4TB | Kingston KC3000 4TB | Samsung 970 Pro 1TB | 2x Samsung PM863a 3.84TB | 2x ASUS PG279Q

Permalänk
Hedersmedlem
Skrivet av blunden:

Har du övervägt att använda TrueNAS Scale (TrueNAS Core är på väg bort) med ZFS och en SSD-cache? Då behöver du inte hålla på med den där typen av fulhack och får samtidigt en robustare lagringslösning.

Rätta mig om jag har fel, men jag tror inte ZFS har stöd för skrivcache med SSD på det vis som TS eftersöker? SLOG-enheter funkar väl på annat vis, och L2ARC-enheter är väl bara läs-cache.

Håller dock med om grundtanken att köra ZFS, gick över till det helt för några år (efter att ha börjat leka med det 2009!) sen och är väldigt nöjd.

Visa signatur

Asus ROG STRIX B550-F / Ryzen 5800X3D / 48 GB 3200 MHz CL14 / Asus TUF 3080 OC / WD SN850 1 TB, Kingston NV1 2 TB + NAS / Corsair RM650x V3 / Acer XB271HU (1440p165) / LG C1 55"
NAS: 6700K/16GB/Debian+ZFS | Backup (offsite): 9600K/16GB/Debian+ZFS

Permalänk
Medlem

Har inte koll på det ni snackar om gällande ZFS, SLOG, L2ARC men jag kan i alla fall säga att Ubuntu kommer stanna. Det är mer av en hemma server som hostar mycket mer än bara lagring, och jag är bekväm med Ubuntu. Så det stannar som OS.

Permalänk
Hedersmedlem
Skrivet av Cranzle:

Har inte koll på det ni snackar om gällande ZFS, SLOG, L2ARC men jag kan i alla fall säga att Ubuntu kommer stanna. Det är mer av en hemma server som hostar mycket mer än bara lagring, och jag är bekväm med Ubuntu. Så det stannar som OS.

ZFS kan man använda i Ubuntu också, så det är inget hinder för den biten.

Den stora fördelen mot de klassiska filsystem är framför allt ökad datasäkerhet. Checksummor lagras för all data (inkl metadata) vid skrivning, och vid läsning verifieras den checksumman, så att datan som du läser tillbaka är bekräftad att vara samma som den som skrevs.
Om den skulle ha ändrats av bit rot eller något annat och du har redundans (spegel, RAIDZ osv) så reparerar den automatiskt den trasiga datan på disken och ger tillbaka rätt data.

Visa signatur

Asus ROG STRIX B550-F / Ryzen 5800X3D / 48 GB 3200 MHz CL14 / Asus TUF 3080 OC / WD SN850 1 TB, Kingston NV1 2 TB + NAS / Corsair RM650x V3 / Acer XB271HU (1440p165) / LG C1 55"
NAS: 6700K/16GB/Debian+ZFS | Backup (offsite): 9600K/16GB/Debian+ZFS

Permalänk
Medlem
Skrivet av Thomas:

Rätta mig om jag har fel, men jag tror inte ZFS har stöd för skrivcache med SSD på det vis som TS eftersöker? SLOG-enheter funkar väl på annat vis, och L2ARC-enheter är väl bara läs-cache.

Håller dock med om grundtanken att köra ZFS, gick över till det helt för några år (efter att ha börjat leka med det 2009!) sen och är väldigt nöjd.

Jag fick för mig att ZIL (ZFS Intent Log) ska funka som en skriv-cache och kunna läggas på RAM eller en SSD. Har visserligen aldrig testat, så kanske finns någon detalj som jag missat.

Visa signatur

Antec P280 | FSP Hydro Ti Pro 1000W | MSI X670E Carbon | Ryzen 7 9800X3D | Kingston Fury Beast 6000MT/s CL30 2x32GB | Nvidia RTX 4090 FE | 2x Samsung 990 Pro 4TB | Kingston KC3000 4TB | Samsung 970 Pro 1TB | 2x Samsung PM863a 3.84TB | 2x ASUS PG279Q

Permalänk
Medlem
Skrivet av blunden:

Jag fick för mig att ZIL (ZFS Intent Log) ska funka som en skriv-cache och kunna läggas på RAM eller en SSD. Har visserligen aldrig testat, så kanske finns någon detalj som jag missat.

Nej. Normalt funkar skrivningar till ZFS så att allting buffras upp i minnet i 5 sekunder innan det skrivs till disk. Det görs för att samla ihop data lite grann så de kan skrivas mer linjärt och för att minska mängden metadata som måste skrivas (ZFS är ju copy-on-write och har stöd för snapshots osv så metadata är ganska komplicerat). Men ett fåtal program, typexempel är databaser och operativsystem i virtuella maskiner eller kanske när man trycker "Save" i ett GUI, begär ibland att ZFS ska vänta tills data är färdigskrivet till disk innan programmet fortsätter (i händelse av strömavbrott och liknande). Då skriver ZFS de här data på ett tillfälligt ställe ("ZIL") i väntan på att det ska skrivas till sitt slutgiltiga ställe ett par sekunder senare. Man skriver alltså samma data två gånger, och halverar throughput!

Genom att använda en SLOG (Secondary Log Device) kan de här redundanta skrivningarna ske till en annan enhet istället för till den huvudsakliga lagringsytan. Om man dessutom använder en SSD med låg svarstid kan ZFS snabbare meddela programmet att allt är sparat, och programmet kan fortsätta. Det kan innebära många gånger fler transaktioner per sekund för en databas jämfört med att vänta på en långsam hårddisk t ex. Men throughput för stora skrivningar kommer "bara" dubbleras (dvs throughput kommer inte längre halveras!).

Att kopiera massa filer över nätverket kommer knappast resultera i den här speciella typen av skrivningar, så en SLOG gör troligtvis ingen som helst skillnad i det fallet.

Permalänk
Medlem
Skrivet av trudelutt:

Nej. Normalt funkar skrivningar till ZFS så att allting buffras upp i minnet i 5 sekunder innan det skrivs till disk. Det görs för att samla ihop data lite grann så de kan skrivas mer linjärt och för att minska mängden metadata som måste skrivas (ZFS är ju copy-on-write och har stöd för snapshots osv så metadata är ganska komplicerat). Men ett fåtal program, typexempel är databaser och operativsystem i virtuella maskiner eller kanske när man trycker "Save" i ett GUI, begär ibland att ZFS ska vänta tills data är färdigskrivet till disk innan programmet fortsätter (i händelse av strömavbrott och liknande). Då skriver ZFS de här data på ett tillfälligt ställe ("ZIL") i väntan på att det ska skrivas till sitt slutgiltiga ställe ett par sekunder senare. Man skriver alltså samma data två gånger, och halverar throughput!

Genom att använda en SLOG (Secondary Log Device) kan de här redundanta skrivningarna ske till en annan enhet istället för till den huvudsakliga lagringsytan. Om man dessutom använder en SSD med låg svarstid kan ZFS snabbare meddela programmet att allt är sparat, och programmet kan fortsätta. Det kan innebära många gånger fler transaktioner per sekund för en databas jämfört med att vänta på en långsam hårddisk t ex. Men throughput för stora skrivningar kommer "bara" dubbleras (dvs throughput kommer inte längre halveras!).

Att kopiera massa filer över nätverket kommer knappast resultera i den här speciella typen av skrivningar, så en SLOG gör troligtvis ingen som helst skillnad i det fallet.

Tack för den utförliga förklaringen.

Visa signatur

Antec P280 | FSP Hydro Ti Pro 1000W | MSI X670E Carbon | Ryzen 7 9800X3D | Kingston Fury Beast 6000MT/s CL30 2x32GB | Nvidia RTX 4090 FE | 2x Samsung 990 Pro 4TB | Kingston KC3000 4TB | Samsung 970 Pro 1TB | 2x Samsung PM863a 3.84TB | 2x ASUS PG279Q