Flytta filer på server snabbt

Permalänk
Medlem

Flytta filer på server snabbt

Tjena!

Jag har en "headless" serverdator som kör Ubuntu Server som jag lagrar stora filer på.

Mitt problem är när det kommer till att sortera filer som är på ~5gb mellan olika usbdiskar i servern från en annan dator.

För när jag loggar in via SMB och flytter mellan olika diskar så går sjukt segt, kan det bero på att det går igenom klienten?
Samma sak gäller om jag på min laptop loggar in via SSH med Nautilus.

Min enda nödlösning nu har varit att flytta alla filer till en map i mappen och sedan
SSHa in och köra "mv" till en temp mapp på disken filerna ska till.

Det måsta bara finnas ett bra sätt.

Men hur?

Visa signatur

Nämns inget annat så menar jag denna maskinen:
ASUS G53SW - Intel i7-2630QM @ 2.00Ghz - 12GB RAM - Nvidia GeForce GTX460M 1.5GB
Intel 510 SSD 128GB - Seagate Momentus XT SSHD 500GB - Windows 7 x64 Ultimate SP1
Chrome v38/latest, Chrome Canary och Firefox for development / debug

Permalänk
Medlem

beror på vad du menar med 'sjukt segt' men det kan ju vara usb interface som slöar allt, testat att montera dom internt?

Visa signatur

Fractal design R2 | Asus p5q deluxe | Intel Core 2 Quad 9650 @ 4ghz | 4x 2gb Corsair 1066mhz ddr2 | Gigabyte gtx 560ti SoC | raid0 - 2x Intel X-25 M G2 80gb

Permalänk
Medlem
Skrivet av cccm:

beror på vad du menar med 'sjukt segt' men det kan ju vara usb interface som slöar allt, testat att montera dom internt?

250kbits

Montera internt?
Tänker inte skruva isär min diskar i alla fall

Visa signatur

Nämns inget annat så menar jag denna maskinen:
ASUS G53SW - Intel i7-2630QM @ 2.00Ghz - 12GB RAM - Nvidia GeForce GTX460M 1.5GB
Intel 510 SSD 128GB - Seagate Momentus XT SSHD 500GB - Windows 7 x64 Ultimate SP1
Chrome v38/latest, Chrome Canary och Firefox for development / debug

Permalänk
Medlem

Har för mej att allt du gör går via klienten du sitter på. Går det att logga in ~remmote desktop ?

Visa signatur

Fractal Define 7 | ASUS ROG Strix X670E-F Gaming WIFI | AMD Ryzen 7 9800X3D | Noctua NH-D15 G2 | Kingston 2x32GB DDR5 6000MHz CL36 FURY Beast | Asus RTX 5090 ROG Astral OC | Corsair RM1000X ATX 3.1 1000W | Kingston Fury Renegade M. 2 Gen 4 1+4TB + Samsung 860 EVO 1TB + 870 EVO 4TB | Samsung Odyssey G8 G80SD | APC
Back-UPS Pro Gaming UPS 2200VA 1320W | Synology DS 411j

Permalänk
Medlem
Skrivet av mr_sQuinty:

Har för mej att allt du gör går via klienten du sitter på. Går det att logga in ~remmote desktop ?

Har ingen grafisk miljö.

Visa signatur

Nämns inget annat så menar jag denna maskinen:
ASUS G53SW - Intel i7-2630QM @ 2.00Ghz - 12GB RAM - Nvidia GeForce GTX460M 1.5GB
Intel 510 SSD 128GB - Seagate Momentus XT SSHD 500GB - Windows 7 x64 Ultimate SP1
Chrome v38/latest, Chrome Canary och Firefox for development / debug

Permalänk
Medlem

varför använder du inte ssh? fins ssh clienter till windows med.
Sedan vet jag inte om man kan köra grafiskt via SSH tilll windows men hypotetiskt borde det gå. Men annars duger mc alltså midnigt comander. Inte grafiskt men det det går att köra med mus annars är det bara tabba sig fram går snabbt ändå och snabbknappar är Fn tangenterna och så. Kör ssh + mc själv när jag soretar på servrarna. Mäst för det är enklare än en klumpig grafisk filhanterare och snabbare än att skriva i consolen tycker jag helt enkelt.

Permalänk
Medlem

ssh/puty kan du ju ansluta med väl?

Visa signatur

Fractal design R2 | Asus p5q deluxe | Intel Core 2 Quad 9650 @ 4ghz | 4x 2gb Corsair 1066mhz ddr2 | Gigabyte gtx 560ti SoC | raid0 - 2x Intel X-25 M G2 80gb

Permalänk
Medlem
Skrivet av pa1983:

varför använder du inte ssh? fins ssh clienter till windows med.
Sedan vet jag inte om man kan köra grafiskt via SSH tilll windows men hypotetiskt borde det gå. Men annars duger mc alltså midnigt comander. Inte grafiskt men det det går att köra med mus annars är det bara tabba sig fram går snabbt ändå och snabbknappar är Fn tangenterna och så. Kör ssh + mc själv när jag soretar på servrarna. Mäst för det är enklare än en klumpig grafisk filhanterare och snabbare än att skriva i consolen tycker jag helt enkelt.

Jag håller med dig. Gör detta själv om jag behöver flytta filer snabbt och enkelt på min filserver.

Jag antar att du (TS) tankar en massa torrenter och att det är detta som skall sorteras. Kan du inte bara skriva ett enkelt skript som sorterar baserat på om det är MP3or, XVID, x264 osv? Då kan du ju väldigt snabbt sortera ut allt som du ska stoppa i olika mappar, även lätt att sortera i bokstavsordning om du behöver det. När du gjort scriptet så kör du bara det en gång om dagen, eller något.

Permalänk
Medlem
Skrivet av RasmusB:

Jag håller med dig. Gör detta själv om jag behöver flytta filer snabbt och enkelt på min filserver.

Jag antar att du (TS) tankar en massa torrenter och att det är detta som skall sorteras. Kan du inte bara skriva ett enkelt skript som sorterar baserat på om det är MP3or, XVID, x265 osv? Då kan du ju väldigt snabbt sortera ut allt som du ska stoppa i olika mappar, även lätt att sortera i bokstavsordning om du behöver det. När du gjort scriptet så kör du bara det en gång om dagen, eller något.

Det är mycket mer involverat i min sortering än vad som går att automatisera, försökte det förut men det fungerade inget vidare.

Problemet med SSH + Midnight är att det inte bara är jag som ska sortera filerna, alla är inte så bekväma med varken SSH eller Midnight.

Visa signatur

Nämns inget annat så menar jag denna maskinen:
ASUS G53SW - Intel i7-2630QM @ 2.00Ghz - 12GB RAM - Nvidia GeForce GTX460M 1.5GB
Intel 510 SSD 128GB - Seagate Momentus XT SSHD 500GB - Windows 7 x64 Ultimate SP1
Chrome v38/latest, Chrome Canary och Firefox for development / debug

Permalänk
Medlem

Lade dock nu märke till att det går snabbt som fan att flytta filer om de ligger på samma disk på servern.

Vad kan det bero på?

Visa signatur

Nämns inget annat så menar jag denna maskinen:
ASUS G53SW - Intel i7-2630QM @ 2.00Ghz - 12GB RAM - Nvidia GeForce GTX460M 1.5GB
Intel 510 SSD 128GB - Seagate Momentus XT SSHD 500GB - Windows 7 x64 Ultimate SP1
Chrome v38/latest, Chrome Canary och Firefox for development / debug

Permalänk
Medlem
Skrivet av Josasp:

Lade dock nu märke till att det går snabbt som fan att flytta filer om de ligger på samma disk på servern.

Vad kan det bero på?

Så är det ju på alla datorer, filen ligger ju kvar på samma ställe, bara pekaren till den som flyttas så att säga, den behöver ju itne läsa hela filen till ett nytt ställe.

Visa signatur

WS1: | Gigabyte X670 G AX | Ryzen 9 7950x3D | 32GB G.Skill Trident Z5 NeoRGB | Sapphire RX 7800XT Pure | Corsair RM650i | FD North XL | EK Nucleus CR360 | WS2: | Asus RoG Strix X470-F | Ryzen 7 5600x | 16gb G.skill Trident Z Neo 3600mhz | Asus RoG Strix 3070 | Lian-Li Lancool 205 | ESX Srvr1 | MSI B450-A Pro Max | Ryzen 7 3700x | 64GB Corsair Vengence | Jonsbo UMX4 | Srvr2 MacMini | ClearOS

Permalänk
Medlem

Jo men hur kan klienten veta det om all överföring går genom klienten?

Visa signatur

Nämns inget annat så menar jag denna maskinen:
ASUS G53SW - Intel i7-2630QM @ 2.00Ghz - 12GB RAM - Nvidia GeForce GTX460M 1.5GB
Intel 510 SSD 128GB - Seagate Momentus XT SSHD 500GB - Windows 7 x64 Ultimate SP1
Chrome v38/latest, Chrome Canary och Firefox for development / debug

Permalänk
Medlem
Skrivet av Josasp:

Jo men hur kan klienten veta det om all överföring går genom klienten?

I det fallet så går uppenbarligen inte överföringen genom klienten.

Permalänk
Medlem
Skrivet av nystan:

I det fallet så går uppenbarligen inte överföringen genom klienten.

Borde då inte finnas någon funktion i smb som får allt att gå genom serverm?

Visa signatur

Nämns inget annat så menar jag denna maskinen:
ASUS G53SW - Intel i7-2630QM @ 2.00Ghz - 12GB RAM - Nvidia GeForce GTX460M 1.5GB
Intel 510 SSD 128GB - Seagate Momentus XT SSHD 500GB - Windows 7 x64 Ultimate SP1
Chrome v38/latest, Chrome Canary och Firefox for development / debug

Permalänk
Medlem

installera en grafisk filhanterare på server och logga in vi ssh -X och starta filhanteraren.

Permalänk
Medlem
Skrivet av Josasp:

Borde då inte finnas någon funktion i smb som får allt att gå genom serverm?

Om du har mappat smb i windows, tex "Semester filmer" på E: och "Backup filmer" på F: och sen flyttar en film från e: till f: så kommer windows först att kopiera filen till din client från e: och på sammagång skriva det till f: .
Du kommer med andra ord vara begränsad av ditt nätverk. Om dessutom använder trådlöst så kommer du garanterat få usel hastighet.

Om du flyttar en fil på samma share som är mappat på samma enhet tex e: så ber den bara smb servern att ändra hänvisningen på filsystemet vart filerna ska vara. Inget kopieras.

Loggar du in på servern och använder mv så använder du inte smb. Det blir bara en lokal kopiering.

*edit: råkade visst svara på en 14år gammal tråd. Haha

Visa signatur

You think you know. What's to come. What you are. You haven't even begun.

Permalänk
Medlem
Skrivet av craft:

Om du har mappat smb i windows, tex "Semester filmer" på E: och "Backup filmer" på F: och sen flyttar en film från e: till f: så kommer windows först att kopiera filen till din client från e: och på sammagång skriva det till f: .
Du kommer med andra ord vara begränsad av ditt nätverk. Om dessutom använder trådlöst så kommer du garanterat få usel hastighet.

Om du flyttar en fil på samma share som är mappat på samma enhet tex e: så ber den bara smb servern att ändra hänvisningen på filsystemet vart filerna ska vara. Inget kopieras.

Loggar du in på servern och använder mv så använder du inte smb. Det blir bara en lokal kopiering.

*edit: råkade visst svara på en 14år gammal tråd. Haha

Snyggt 😉

Så om jag ska försöka komma ihåg ett problem jag hade för 14år sen, så var problemet att jag monterade en SMB share och flyttade runt filer på den, men filerna tog ändå en vända via klienten verkade det som.

Det som var skumt och som jag ännu inte har en bra förklaring till var varför det gick fort att flytta till en subfolder, så det skedde server side.

Men varför när jag flyttade till en annan disk på servern (i samma share) det verkade som att överföringen på något sätt gick genom klienten.

Jag kunde då inte riktigt förstå hur min klient visste skillnad på olika diskar via samma share, då det ena gick fort och det andra inte. Kanske var så att det inte alls gick genom min klient utan bara SAMBA var kasst på den tiden och på något sätt flyttade filer väldigt ineffektivt mellan diskar. De var säkert NTFS diskar med och hade någon kass FUSE driver för filsystemet.

I vilket fall har jag släppt det problemet för länge sen 😉

Skulle jag ha det problemet i dag skulle jag nog bara gräva mig ner i varför det blir så, men det kunde jag inte då. Kanske hitta att jag gjorde något annat fel eller liknande som fick den effekten.

Visa signatur

Nämns inget annat så menar jag denna maskinen:
ASUS G53SW - Intel i7-2630QM @ 2.00Ghz - 12GB RAM - Nvidia GeForce GTX460M 1.5GB
Intel 510 SSD 128GB - Seagate Momentus XT SSHD 500GB - Windows 7 x64 Ultimate SP1
Chrome v38/latest, Chrome Canary och Firefox for development / debug

Permalänk
Skrivet av Josasp:

Borde då inte finnas någon funktion i smb som får allt att gå genom serverm?

Generellt när man "flyttar" data på samma lagringsenhet så brukar inte datan flyttas på lagringsenheten utan får bara en ny adress som pekar till samma cluster som filerna redan ligger på.

Visa signatur

ASUS B550-f-Gaming, R9 5800X3D, HyperX 3200Mhz cl16 128Gb ram, rtx 3070ti.
[Lista] De bästa gratisprogrammen för Windows
[Diskussion] De bästa gratisprogrammen för Windows

Permalänk
Medlem

Har hänt en del på 14 år

Visa signatur

//Dixon

Permalänk
Skrivet av Dixon:

Har hänt en del på 14 år

ahh. kollade inte ursprungsdatumet alls...

ja troligen har TS redan löst det vid detta laget...

hur fasen hittar folk dessa gamla reliker måste ju legat på typ sida 1000 eller nått vid detta laget innan necrobumpen...

Visa signatur

ASUS B550-f-Gaming, R9 5800X3D, HyperX 3200Mhz cl16 128Gb ram, rtx 3070ti.
[Lista] De bästa gratisprogrammen för Windows
[Diskussion] De bästa gratisprogrammen för Windows