Permalänk
Medlem

Linux, rtorrent och ntfs

Hallihallå, efter att ha tröttnat nåt så enormt på µtorrent (och vill hellre köra någon linux dist på den burken, istället för windows server) så vill jag gå över till rtorrent igen. Tidigare när jag körde linux och ntfs så var det ett rent helvete och överföringshastigheterna var löjliga. Vi pratar typ 1-3 MB/s.

Så innan jag ger mig på in på detta så undrar jag hur stödet är idag. Kan jag få full läs- och skrivhastighet med ntfs? Kommer det gå bra med rtorrent?

Anledningen till att jag behöver ha stöd för ntfs är för att jag kör 2 externa diskar som jag vill kunna flytta till andra datorer med windows. De interna diskarna kommer inte va ntfs.

Med full läs och skrivhastighet räcker ju visserligen ca 35 MB/s eftersom usb2 inte får ut mycket mer än så!

Tack!

Visa signatur

#1: Z370N ITX | i7 8700k | GTX 1080 | 32GiB
#2: P8Z77-M pro | i7 3770k | GTX 1050ti | 16GiB

Server: Z370-G | i5 8600T | 64GiB | UnRAID 6.9.2 | 130TB
Smartphone: Samsung Z Flip 5 | Android 13 | Shure SE535

Permalänk
Medlem

Jag har ingen koll på NTFS + Linux, men ett alternativ vore att ladda ner till en intern disk och säga åt rtorrent att flytta nerladdade filer till en extern disk när de är klara (se här).

Permalänk
Medlem

Igen aning hur NTFS presterar men EXT4 fungerar ju bra med rtorrent. EXT4 stödjer allokering av hela filer i förväg och program som är skrivna för att nyttja detta, tex rtorrent innebär att hela filen eller filerna kan allokeras linjärt på disken direkt då filstorleken är är känd redan från början så detta innebär lite till igen fragmentering på EXT4. Min 2TB WD green gick i flera år som exklusiv torrent disk och den hade typ 4 små 50Mb filer med minimal fragmentering så obetydligt.

Hade helt klart stävat efter nåt annat filsystem för rtorrent tex EXT4.

EXT4 är totalt överlägset NTFS för torrenting och liknande applikationer pga mer avancerade funktioner som undviker fragmentering och reducerar slumpmässig läs och skrivning som annars hade dödat prestandan med mekaniska diskar.

Kan du komma ifrån NTFS istället så är det det bästa.

Permalänk
Medlem

NTFS i Linux är fortfarande inte så särskilt bra. Det är framför allt skrivningar som är CPU-tunga. Men med en vettig processor så kan man få skapliga hastigheter.
Och försök inte laga skador på filsystemet, eller något annat lite mer avancerat, från Linux. Gör sånt i Windows.

Överväg andra lösningar eller andra filsystem. Exempelvis exFAT skulle jag tro är ett bättre filsystem, som har bättre stöd bland moderna operativsystem.

Permalänk
Medlem

Det låter som du inte aktiverat DMA om du fått så låga hastigheter.

Linux som system går vad jag vet inte att installera på NTFS-filsystem. Nåväl, jag håller inte med om att det är dåligt skrivstöd för NTFS sedan paketet NTFS-3G släpptes vilket var några år sedan.

Vad är det för burk vi pratar om? Jag upplevde inte att det var några problem på min gamla Pentium 3 500 MHz att skriva till NTFS-diskar pga av långsam processor, det var snarare hårddiskarnas egna mekaniska begränsningar som satte stopp för högre skrivhastigheter.

Dock så är det enklast att tanka hem dina torrents och lagra de på ett EXT4-filsystem och sedan kopiera över till din NTFS-disk. Antar att syftet är att komma åt dina filer från en Windowsburk eller att du förmodligen har DualBoot?

Det kanske är enklare att komma åt EXT4-filsystemet från din Windowsburk istället? Det går det med med t ex ext2fsd.

Jag har goda erfarenheter av båda metoderna.

Frågan är om du behöver NTFS överhuvudtaget om du ska ha din dator som server, för över filerna från din server till din dator som du sitter vid via SSH via t ex WinSCP så slipper du massa krångel. Du lär ju ändå ha en SSH-server igång för att fjärrstyra din server menar jag.

Visa signatur

AMD 3700x, 1700 GB SSD, 18 TB HDD, 32 GB RAM, MSI RTX3070, Dubbla Blueray brännare.

Permalänk
Medlem

Går även att överföra filer till windows-datorer med samba.

Var ett tag sedan jag körde NTFS från Linux men har för mig det gick komma upp i 25-30 MB/s skrivhastighet. Men håller med övriga att det kan vara lämpligt att köra torrents mot EXT4 och sedan ha något script som flyttar över filerna till externa diskarna när de är färdiga.

Enligt nedanstående länkar kan man testa montera NTFS med big_writes:
http://askubuntu.com/questions/237130/speeding-up-copying-bet...
http://archlinuxarm.org/forum/viewtopic.php?f=18&t=5001

Permalänk
Medlem

Jag personligen har en VWware maskin med en ubuntu server + rtorrent + webgui som lägger nerladdningarna i windows 2003 server (file server). Min nerladdning ligger på 6-7 MB/s (mega byte inte bit) som läggs direkt på windows servern.

Windows lagringen har jag boota genom fstab i ubuntu servern under sökvägen: /media/folder/

Har satt i rtorrent settings:
download to: /media/folder/
move to when finish: /media/folder/

Sedan har jag inte gjort något annat.
Jag streamar filerna från Windows servern till alla datorer och TV:n och har inte känt av några begränsningar pga ntfs överföringen.

Dock går de självklart snabbare till en EXT4 men inget som jag märkt som hemma användare.

Kan ge mer detaljer när jag kommer hem.

Visa signatur

Смерть -это решение всех проблем. Нет человека - нет проблемы
Comp1: Ubuntu 16.04 Comp2: Arch Linux
Comp3: Ubuntu Server 16.04 Comp4: Centos 6.5
Comp5: Linux mint 16 Comp6: Raspberry pi (olika OS hela tiden)
Phone: Motorola Google Nexus 6

Permalänk
Medlem

@perost Jag har tänkt på det med men eftersom jag inte har så gott om pengar så måste jag ha alla diskar för lagring, även de interna.

@pa1983 Jag kanske får göra ett försök till att ta mig ifrån NTFS helt enkelt. Jag har ju trots allt inte flyttat de externa diskarna på över 18 månader.

@Genesis Processorn jag hade tidigare var en core 2 duo T7200 på 2GHz, blir en passivt kyld J1900 nu istället, även den ligger på 2GHz om jag inte missminner mig.

@stoffe_83 Jag minns inte när det var jag försökte göra detta senast, men det var ett par år sedan i alla fall. Datorn jag körde med då var en core 2 duo T7200 på 2GHz med 2 GB ddr2 ram.
Anledningen till att jag vill köra NTFS på dessa två externa diskar är för att ha möjligheten till att kunna ta med dem på resor eller liknande och då kunna stoppa in dem i vilken windows maskin som helst och att det bara funkar, och att det är lite jobbigt att kopiera över 5TB data för att sedan flytta över det igen när jag formaterat EXT4 på dem
Linux installationen kommer jag köra på en mindre SSD.

@ronnylov Det är inte nedladdningen som är problemet, jag har bara 8/1 adsl. Det är snarare när jag ska köra backup på diskarna mot en windows filserver som det blir lite småjobbigt om det går i 1-3 MB/s.
Jag är inte så Linux kunnig så jag vet inte riktigt vad big_writes är, men om jag förstod rätt så handlar det om varje del som ska skrivas till disken är större? (lite halvtaskigt formulerat heh)

@Mejan Lyckas du hämta filerna direkt till en nätverksplats då? När jag har försökt göra det med µtorrent tidigare i mitt liv har det misslyckats och µtorrent har sedan inte kunnat hitta filen.

Jag kan ju försöka beskriva hur jag har det "organiserat" här hemma.

Jag hämtar filer via torrent till en (just nu) windows burk som står på 24/7.
Då och då kopierar jag manuellt över nya filer till en av två windows filservrar som står uppe på vinden, det var den här överföringen som som tog en jäkla tid förr. Filerna är ofta på omkring 20-40GB. Just för överföring mot filserver gjorde det ju inte mycket att det gick långsamt. Men om jag planerat dåligt och ska åka iväg någonstans och har bråttom, så blir det jobbigt!

Ursäkta om jag skriver knasigt, när jag skriver mycket text blir jag lite förvirrad av mig själv och saker kan bli fel hehe.

Visa signatur

#1: Z370N ITX | i7 8700k | GTX 1080 | 32GiB
#2: P8Z77-M pro | i7 3770k | GTX 1050ti | 16GiB

Server: Z370-G | i5 8600T | 64GiB | UnRAID 6.9.2 | 130TB
Smartphone: Samsung Z Flip 5 | Android 13 | Shure SE535

Permalänk
Medlem

@LudvigLindell big_writes ser ut att vara en option som man kan ställa in när disken monteras i filsystemet. Ja det är troligen så att skrivning då sker i större klumpar vilket gör att det blir mindre "småprat" i kommunikationen. Man får då större sekventiell skrivhastighet på bekostnad av att det går långsammare om man bara ska ändra något litet inuti en fil. Men jag tänker att om du bara flyttar eller kopierar dit hela filer som förmodligen också är relativt stora så kanske du kan tjäna prestanda med big_writes. Däremot om du kör dina torrents direkt mot NTFS-disken så är det nog en sämre idé för då kan det väl bli många små skrivningar lite då och då istället.

Jag kör inte mycket NTFS från Linux. Har väl någon dator med dual boot där jag monterat lagringspartitioner från windows även i Linux men det är sällan jag använder dessa partitioner ifrån Linux så jag har inte tänkt på om prestandan är dålig. Så jag har inte testat med big_writes själv vad jag kan minnas.

Permalänk
Medlem
Skrivet av LudvigLindell:

@Mejan Lyckas du hämta filerna direkt till en nätverksplats då? När jag har försökt göra det med µtorrent tidigare i mitt liv har det misslyckats och µtorrent har sedan inte kunnat hitta filen.

Ja, jag ändra defualt nerladdnings mappen till min /media/networkDriveXX/ som jag följande rätteheter:

drwxr-xr-x 2 myUsr myUsr 0 May 22 2015 diskName

och min fstab:

//ipToFileServer/shradeFolderName /media/diskName cifs credentials=/home/myUsr/.smbcredentials,uid=1000,gid=1000 0 0

Och i rtorrent har jag bara satt att alla nerladdning till: /media/diskName

Antar att det är det du menar? och så fall ja.

Visa signatur

Смерть -это решение всех проблем. Нет человека - нет проблемы
Comp1: Ubuntu 16.04 Comp2: Arch Linux
Comp3: Ubuntu Server 16.04 Comp4: Centos 6.5
Comp5: Linux mint 16 Comp6: Raspberry pi (olika OS hela tiden)
Phone: Motorola Google Nexus 6

Permalänk
Medlem

@ronnylov
Tack för förklaringen Jag får helt enkelt prova och se om det funkar för mina behov. Annars får jag formatera ext4 på de externa!

@Mejan
Ska kika på det när den är up and running! Tack!

Visa signatur

#1: Z370N ITX | i7 8700k | GTX 1080 | 32GiB
#2: P8Z77-M pro | i7 3770k | GTX 1050ti | 16GiB

Server: Z370-G | i5 8600T | 64GiB | UnRAID 6.9.2 | 130TB
Smartphone: Samsung Z Flip 5 | Android 13 | Shure SE535

Permalänk
Medlem

Alright har kopplat in ntfs diskarna i linux burken och verkar kunna läsa och skriva i full hastighet det återstår att se hur rtorrent hanterar filsystemet

Visa signatur

#1: Z370N ITX | i7 8700k | GTX 1080 | 32GiB
#2: P8Z77-M pro | i7 3770k | GTX 1050ti | 16GiB

Server: Z370-G | i5 8600T | 64GiB | UnRAID 6.9.2 | 130TB
Smartphone: Samsung Z Flip 5 | Android 13 | Shure SE535

Permalänk
Medlem

Jag hade konfigurerat rtorrent att tanka ner på en EXT4 partition och sedan flyttat filerna när du nåt 100% och seedar då från en NTFS partition. Bör gå snabbare.

Jag tankar ner till en dir sedan flyttar rtorrent filerna till en annan dir. Mest för att kunna skilja på färdiga och icke färdiga torrents.

Permalänk
Medlem

@pa1983: jag tror det blir så att jag formaterar dem ändå nu. Såg vilken jäkla oordning jag har på dem! Gör om gör rätt antar jag

Visa signatur

#1: Z370N ITX | i7 8700k | GTX 1080 | 32GiB
#2: P8Z77-M pro | i7 3770k | GTX 1050ti | 16GiB

Server: Z370-G | i5 8600T | 64GiB | UnRAID 6.9.2 | 130TB
Smartphone: Samsung Z Flip 5 | Android 13 | Shure SE535

Permalänk
Medlem
Skrivet av pa1983:

Jag hade konfigurerat rtorrent att tanka ner på en EXT4 partition och sedan flyttat filerna när du nåt 100% och seedar då från en NTFS partition. Bör gå snabbare.

Jag tankar ner till en dir sedan flyttar rtorrent filerna till en annan dir. Mest för att kunna skilja på färdiga och icke färdiga torrents.

Ja, om hen har en 1 Gbit lina och maxar så kommer det eventuellt gå snabbare beroende på disk hastigheten på ext4 jämfört med ntfs men om vi tar vad ronnylov sa (se nedan), så går det lika snabbt även om hen kör direkt till ntfs disken direkt om det är en 100Mbit/s lina vilket jag tror mer på. ty många som har 1 Gbit/s når det bara inom stadsnätet.

Skrivet av ronnylov:

Går även att överföra filer till windows-datorer med samba.

Var ett tag sedan jag körde NTFS från Linux men har för mig det gick komma upp i 25-30 MB/s skrivhastighet. Men håller med övriga att det kan vara lämpligt att köra torrents mot EXT4 och sedan ha något script som flyttar över filerna till externa diskarna när de är färdiga.

Enligt nedanstående länkar kan man testa montera NTFS med big_writes:
http://askubuntu.com/questions/237130/speeding-up-copying-bet...
http://archlinuxarm.org/forum/viewtopic.php?f=18&t=5001

Visa signatur

Смерть -это решение всех проблем. Нет человека - нет проблемы
Comp1: Ubuntu 16.04 Comp2: Arch Linux
Comp3: Ubuntu Server 16.04 Comp4: Centos 6.5
Comp5: Linux mint 16 Comp6: Raspberry pi (olika OS hela tiden)
Phone: Motorola Google Nexus 6