Överföringshastighet mellan två WD Red Hårddiskar?

Permalänk
Medlem

1: - använd helst inte NTFS och speciellt inte i samband med torrent-nedtankningar, men betyder i de flesta fallen att man inte kan använda windows som OS. Ärligt sagt har MS inget bra alternativ i filsystemväg om man inte vill och kan titta på ReFS.

2: att flytta filerna från en torrentfragmenterad mediafilarkiv till en ny disk är förmodligen den bästa defragmenteringsåtgärden man kan göra - även om måldisken som filerna kopieras till fortfarande är NTFS... - Det finns ingen genväg, tar det tid för att filerna är häftigt fragmenterade så får det ta den tiden som behövs för att röja upp i sörjan när det flyttas till ny disk.

3: om man skall bygga NAS/PLEX-server så bör man titta på alternativ på annan OS än windows, mycket för att man skall få fatt på bättre fungerande filsystem än NTFS - ext4 i linux är närmast skräddasydd (med lärdom av vad NTFS inte lyckas med) för att klara lastfall som torrentklienterna ger när man tankar filer.

Permalänk
Medlem

Jag upplever dessutom att robocopy är snabbare än drag-släpp-kopiering i GUI:t. Vet inte varför, men det är en känsla jag har. Nu har jag inte kopierat mängder av TB mellan mekaniska diskar i samma burk, bara över nätverk, och ena gången var det nätverkståten som var flaskhalsen, i andra fallet var det en nas som kontrollerade integriteten på en nyskapad volym som var flaskhalsen. Skrivningen till volymen gick inte jättefort kan jag ju konstatera så här i efterhand.

Visa signatur

WS: R7 2700x | RTX 2070S | Corsair AX860W | Lian Li PC-O11 Dynamic
Unraid: R7-2700X | GTX1050 | 3U chassi med 20 diskplatser
Servrar: 3x NUC 10 i5 ESX-kluster

Permalänk
Medlem

drag-släpp-kopiering i GUI:t är förmodligen inte det bästa...

provat totalcommander eller liknande program? - en del går att krana i hur stora buffrar, disksynkningsvilkor mm. för att försöka få upp hastigheten lite till.

Dock ligger man fortfarande i windows subsystem och är filerna kraftigt fragmenterade så är dom det och det tar sin tid oavsett vad man försöker göra.

Permalänk
Medlem
Skrivet av xxargs:

Phat^Trance:

då vet du varför - NTFS på diskarna är förmodligen dom stora flaskhalsarna - speciellt om den ena (den du tömmer ifrån) är välanvänd och används nära full under långa tiden och eventuellt låtit torrent-nedladdningar lägga filerna på disken direkt.

Har du möjlighet att hålla i disken så känner du troligen rörelserna och darr från läshuvudet som hoppar runt över diskytan som ett skållat troll... - då känner du med handen rent fysiskt hur uselt NTFS fungerar i verkligheten!!

Gissar att du menar SMR - - detta gäller bara när man skriver och skriver massiva mängder med data (> 25 GB med småfiler som skrivs på olika ställen på diskytan i konstant flöde) som inte kan skrivas sekventiellt. Sådana diskar återhämtar sig om den får lugn och ro en halvtimme strömsatt så att den får tömma sin tillfälliga cache där den har lagrat alla småskrivningar som inte kunde göras direkt i hela stora block på en gång (faktum är att en del billigare SSD-diskar gör på samma sätt, några GB i burst-skrivning går snabbt, sedan går det trögt om man fortsätter att skriva vidare, och här, till skillnad från SMR-diskar, spelar det ingen roll om det är slumpmässigt skrivet eller är sekventiellt skrivet - det går långsamt i alla fallen). Det har heller ingen betydelse om filsystemet (tex NTFS) är full eller tomt.

När det gäller läsning så är SMR-diskar lika snabba som PMR-diskar, sedan skulle jag säga att det är rätt sällsynt att en snurrdisk läser långsammare för att data på skivorna blivit svårlästa och hela tiden kräver omläsning - fläckvis möjligen ja på någon spår/sektorgrupp - men inte över hela diskytan...

Däremot när det gäller SSD så är det snarare regel än undantag att äldre data (typ några månader i flash-minne) läses ut långsammare för att de behöver gå flertal varv i Viterbi/LDC innan de blir godkända av den efterföljande ECC (i regel Reed-Solomo) och läses ut...

Dock fungerar inte NTFS och SMR-diskar speciellt bra ihop vid massiva skrivningar med småfiler eftersom NTFS hela tiden skriver i småduttar i $MFT när den lägger in filer och det är inte blockavgränsat utan som byte-ström på många positioner utspridda på disken eftersom den lägger småfiler direkt i $MFT och inte på block ute i disken.

Man ser negativa effekter vid användning av SMR-diskar tillsammans med NTFS som nästan aldrig syns i någon annan filsystem som i tex Linux-miljö.

---

alltså - NTFS är en jävla skit-filsystem som kostar massor av resurser som inte behöver kosta någon om man tänker lite smart - och som jag tidigare hävdat - det är tack vare SSD som gjort att NTFS överlever lång efter sin bäst före datum (som var typ 1990-talet...) eftersom SSD maskar dom nackdelar som NTFS har i sin design redan från börja tack vara SSD söksnabbhet av sektorpositioner.

Jupp syftade på SMR, billigaste lagringsdiskarna man kan få tag på i dags läget.

Visa signatur

CPU: 5600x
GPU: 3080
RAM: 32GB

Sluta gömma din identitet, skaffa en till istället

Permalänk
Medlem

Kopierar jag en mapp på 18GB (innehållande mkv-filer på runt 2,5GB/st div textfiler och nån jpeg) från en av mina WD Red 4TB till en annan WD Red 4TB ligger farten på runt 130 MB/sek.

Visa signatur

HTPC: Silverstone Sugo SG05W Vit, Asus H110I-Plus, G4560, Corsair Vengeance LPX 2133 MHz 2x4GB, Samsung 870 EVO 500GB, Toshiba N300 2x10TB, MSI GeForce GT 1030 Passive OC 2GB, (& 16 enkortsdatorer med div användningsområden). Har ett "par" andra stationära datorer åxå. LG OLED 65CX. Shield 2019 Pro.

Permalänk
Avstängd

jepp exakt

Permalänk
Hedersmedlem
Skrivet av MarcusHuddinge:

Det är inte så att filerna är jättefragmenterade pga torrenting eller något?
Testa defragmentera eller flytta över hela rubbet till andra disken och sen tillbaks igen så varje fil har all sin data på samma ställe? Vet inte om det skulle hjälpa

Kollade nyss och windows säger att hårddisken är 0% defragmenterad.
Om jag ska köra en defrag på hårddisken skulle det ta flera dagar

Permalänk
Hedersmedlem
Skrivet av xxargs:

1: - använd helst inte NTFS och speciellt inte i samband med torrent-nedtankningar, men betyder i de flesta fallen att man inte kan använda windows som OS. Ärligt sagt har MS inget bra alternativ i filsystemväg om man inte vill och kan titta på ReFS.

Vad ska jag isåfall använda? NTFS måste man väl ha om man vill köra på större filer än 15GB?

Permalänk
Rekordmedlem
Skrivet av Phat^Trance:

Vad ska jag isåfall använda? NTFS måste man väl ha om man vill köra på större filer än 15GB?

Du bör läsa det "använd helst inte windows"

Visa signatur

R5 5600G, Asus ROG STRIX X470-F Gaming, WD SN850X 2TB, Seasonic Focus+ Gold 650W, Aerocool Graphite v3, Tittar på en Acer ET430Kbmiippx 43" 4K. Lyssnar på Behringer DCX2496, Truth B3031A, Truth B2092A. Har också oscilloskop, mätmikrofon och colorimeter.

Permalänk
Medlem
Skrivet av Phat^Trance:

Kollade nyss och windows säger att hårddisken är 0% defragmenterad.
Om jag ska köra en defrag på hårddisken skulle det ta flera dagar

Det är av samma orsak som gör att flyttningen av filer från 4TB disken till 8TB-disken går så långsamt.

Det är bara att välja vilken pina du vill ha - att kopiera filerna från 4TB disken till 8 TB disken och det kanske tar hela dygn - eller att först defragmentera filerna under flera dygn och sedan kopiera filerna snabbare till 8TB disken betydligt snabbare (under ett dygn) - tid kommer att spenderas oavsett för att filerna är hårt fragmenterade....

Filerna som skrivs till 8 TB-disken blir dock hyffsat kontinuerliga (sammanhängande) med låg nivå av defragmentering.

---

Om jag skulle behålla 4TB disken med NTFS för senare användning så skulle jag efter flytt av _alla_ filer, formatera om 4TB disken med en nyskapad NTFS igen för att vara säker på att alla fragmenteringsbitar verkligen är borta (främst filerna som har legat i $MFT som inte säkert städats bort fast man tagit bort alla filer på disken då någon liten dold systemfil kan hålla kvar den sönderfragmenterade $MFT...

Om du efter detta provar att flytta tillbaka filerna från 8TB disken till 4 TB disken igen så kommer den överföringen med största sannolikhet att gå mycket fortare än tidigare och kanske nå runt 130 MB/s och högre.

Permalänk
Medlem
Skrivet av Phat^Trance:

Vad ska jag isåfall använda? NTFS måste man väl ha om man vill köra på större filer än 15GB?

I windows??

Har man server/enterprise version av Windows kanske man kan prova 'ReFS' - dock av någon anledning har denna dragits tillbaka av MS från de mer konsumentinriktade windows-versionerna (win8 Pro??) och finns bara i serverversioner och uppåt vilket innebär stödet för att läsa filsystemet blir i stort sett endast server-version av windows och det går inte att läsa av någon annan OS-miljö eller av home och Pro-versionerna av Windows.

mao. svårt med supporten den dagen när det skiter sig och ingen i Linux-världen kan hjälpa heller, då ingen spenderar tid på reverse enginering av en filsystem som ingen använder (ännu)...

---

Riktigt stora lagringssystem och SAN använder inte ens filsystem som vi är vana med utan det är key-value storage i en databas-liknande lagring och i en antal sådana poster tillsammans kan innehålla en hel iSCSI-volym som i sin tur är inkopplad till en OS med valfri filsystem. Tänk Amazon S3 och liknande...

Även moderna filsystem som btrfs och zfs (som körs i linux) arbetar med key-value storage i sin interna struktur mot shunks eller stripes på några hundra MB styck och lite av det såg man innan även på ext2 .. ext4 där man i volymen gjorde ett mycket stort antal 'minivolymer' (läs små partitioner) där varje öppnad fil fick sin egen 'minivolym' att skriva på och kunna allokera hela denna helt för sig själv under skrivningen vilket gjorde att vid många parallella filhämtningar som en torrentnedladdning så skrevs inte filbitarna efter varandra från sista föregående skrivna stället på disken från de olika pågående hämtningarna som i NTFS - utan varje fil fick sin egen 'minivolym' att härja fritt på och räckte den inte till i storlek så - kopplades en ytterligare 'minivolym' in och på så sätt minimerar man fragmenteringen av även stora filer när olika delar av filen hämtades ned i slumpmässig ordning som just sker med torrent-nedladdning.

kom ihåg att ext2 .. ext4 designades med lärdomar på vad NTFS gjorde dålig och rent av väldigt fel effektivitetsmässigt...

Filerna blir förvisso inte helt sammanhängande men kanske bara i tiotal stora stycken istället i kanske tiotusentals småbitar inflätade med andra småbitar av hämtningar på olika ställen som med NTFS.