Säkerhetskopiera ntfs till ext4

Permalänk

Säkerhetskopiera ntfs till ext4

Jag har en 6TB hårddisk med ntfs filer som jag vill säkerhetskopiera till ext4.
Hur gör jag det bäst?
Jag har använt Lucky backup för att skapa den som nu innehåller backup på hela Hem.

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk
Medlem

luckybackup är ett backupprogram, inte en filsynkarprogram

det du vill ha är filsynkningsprogram mellan mappar.

har redan gett förslag med 'rsync' om man är bekväm med kommandorader i en terminalfönster. - 'rsync' är arbetshästen i linux/unix-världen när det gäller att hantera och synka mappar i olika backupprocesser inklusive att hämta/lämna filer via 'ssh' mot andra datorer över nätverk.

för typ ubuntu fins GUI-skal för rsync som kallas 'grsync' och kan installeras med "sudo apt install grsync" i en terminalfönster
jag själv har inte provat den då jag kör rsync i terminalförnster, men i princip väljer man en källa och sedan en destination och så kör den kopia på alla filer rekursivt som finns i den utpekade källmappen till mål-mappen och ser till att de är lika.

Permalänk
Skrivet av xxargs:

luckybackup är ett backupprogram, inte en filsynkarprogram

det du vill ha är filsynkningsprogram mellan mappar.

har redan gett förslag med 'rsync' om man är bekväm med kommandorader i en terminalfönster. - 'rsync' är arbetshästen i linux/unix-världen när det gäller att hantera och synka mappar i olika backupprocesser inklusive att hämta/lämna filer via 'ssh' mot andra datorer över nätverk.

för typ ubuntu fins GUI-skal för rsync som kallas 'grsync' och kan installeras med "sudo apt install grsync" i en terminalfönster
jag själv har inte provat den då jag kör rsync i terminalförnster, men i princip väljer man en källa och sedan en destination och så kör den kopia på alla filer rekursivt som finns i den utpekade källmappen till mål-mappen och ser till att de är lika.

<Uppladdad bildlänk>

Det ska jag prova!
Tack!

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk

Jag har installerat grsync och under dagen ska min nya hårddisk komma så jag testar senare idag.

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk

Jag kör en backup nu med grsync från den externa hårddisken till den nya disken och den jobbar väldigt länge med .cache/mozilla/......
Eftersom jag inte ska ha bacupen som katastrofåterställning kan jag väl plocka bort sådana mappar och filer, eller?

Info
Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk

Nu efter att den jibbat hela natten är den fortfarande på ....../Backup/.cache/mozilla/furefox/......
Är det rimligt?
Tiden som är kvar har ökat men procentandelen som är klar har ökat.

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk

Den har kopierat 75% på 17 timmar vilket kan vara rimligt.
Jag låter den gå färdigt men, kan jag kolla sen om allting har kommit med?
Jag tänkte att jag kan kolla på egenskaper om backupen och originalet är lika stora.
Tänker jag rätt?

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk
Medlem

.cache-katalogen är lite ångest att kopiera då den innehåller massa småfiler, vilket tar en jäkla tid. rsync har stöd för att exkludera kataloger vid synk, så förmodar att du kan göra det under avancerade alternativ i det grafiska gränssnittet.

Visa signatur

Intel i7 10700KF (Noctua NH-D15) | Asus RADEON RX 7900 XTX TUF | 32 GB DDR4 HyperX Fury | Corsair RM1000X | Zalman Z9 Iceberg MS | Arch Linux, Win11

Permalänk

Ok.
Ska jag avbryta och göra ett nytt försök och undanta vissa filer?
Vilka filer rekommenderar Ni att man undantar?

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk
Medlem

(g)rsync kan du stoppa och starta igen - den kopierar inte över redan kopierade filer (bara nyare modifierade filer eller filer som ändrat storlek) utan efter lite sökningar i filträden först så fortsätter den där det slutade.

det som du troligen stött på är att din köpta disk är en SMR-disk (alla externa USB-snurrdiskar är SMR-diskar upp till 8, 10 och kanske 12 TB storlek - gränsen flyttas upp hela tiden) och även med ext4 som filsystem kan den köra i väggen och blir väldigt långsam - dock klarar den oftast typ 10 ggr mer småfiler innan det blir långsam gentemot om du hade kört NTFS.

BTRFS som filsystem fungerar rätt bra mot SMR-diskar och det är väldigt sällan att man kör så att den börja går i väggen.

När det händer och disken blir långsam - pausa eller avbryt kopieringen (rsync återtar ganska snabbt till platsen där den slutade sist när den har avbrutits) och låt disken får sköta sig själv minst en halvtimme - lite ytterligare tid om läshuvudrörelserna fortfarande pågår.

Permalänk

Jag stoppade eftersom den räknar ner till 0 och sen hoppar den upp till typ 15 minuter
Det står att den är Färdig med fel, vad innebär det?
Jag har startat om den och den säger nu att det är 10 minuter kvar.
Hur kan jag kolla att kopian är likadan som originalet?

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk

Hur utesluter man vissa filer?
Jag tänker på cash-filer.

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk

Jag har hittat denna men jag fattar ändå inte.

https://askubuntu.com/questions/860574/what-are-suggested-set...

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk
Hedersmedlem
Skrivet av Krassegrand:

Det sista svaret har det du behöver. Alltså detta:
https://askubuntu.com/a/977484

Det är bara att kopiera de raderna med --exclude och lägga in i i stora textrutan, "Additional options". Förslagsvis allt på samma rad, vet inte om programmet läser alla annars eller inte.
Ett exempel:

--exclude .cache --exclude annan_mapp_att_exkludera

Visa signatur

Asus ROG STRIX B550-F / Ryzen 5800X3D / 48 GB 3200 MHz CL14 / Asus TUF 3080 OC / WD SN850 1 TB, Kingston NV1 2 TB + NAS / Corsair RM650x V3 / Acer XB271HU (1440p165) / LG C1 55"
NAS: 6600K/16GB/Debian+ZFS | Backup (offsite): 9600K/16GB/Debian+ZFS

Permalänk

Jag lade in --exclude=/. i Additional options men den visar fortfarande att den jobbar med dolda filer.

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk
Hedersmedlem
Skrivet av Krassegrand:

Jag lade in --exclude=/. i Additional options men den visar fortfarande att den jobbar med dolda filer.

<Uppladdad bildlänk>

För att exkludera dolda filer vill du ha:

--exclude='.*'

Det tar dock bort ALLA filer och mappar som börjar med . vilket kanske innefattar filer du vill ha med (saker som ~/.local och ~/.config kanske är bra att ha t ex). Men --exclude='.Trash*' är kanske en bra idé åtminstone. Det går även att ta bort alla punkt-filer utom vissa, men för backups är det i mina ögon bäst att ta med så mycket som möjligt och bara exkludera det man vet är oviktigt.

Du kan nog också lägga till --dry-run i additional options för att låta den visa vad som skulle kopieras utan att faktiskt göra det, så kan du nog få snabbare svar på om det kommer bli som du vill (under "Utdata från rsync"). När det väl ser bra ut tar du bort --dry-run igen för att faktiskt kopiera över filerna.

Visa signatur

Asus ROG STRIX B550-F / Ryzen 5800X3D / 48 GB 3200 MHz CL14 / Asus TUF 3080 OC / WD SN850 1 TB, Kingston NV1 2 TB + NAS / Corsair RM650x V3 / Acer XB271HU (1440p165) / LG C1 55"
NAS: 6600K/16GB/Debian+ZFS | Backup (offsite): 9600K/16GB/Debian+ZFS

Permalänk

Jag testar med --exclude='.*'
Jag ska inte använda den som backup utan för att spara allt som jag sparat på och från den gamla datorn.

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk

Jag försökte installera grsync på den nya datorn men.....

j-rgen-knuth-nielsen@j-rgen-knuth-nielsen-HP-Pavilion-Gaming-Desktop-TG01-1xxx:~$ sudo apt install grsync
[sudo] lösenord för j-rgen-knuth-nielsen:
Läser paketlistor… Färdig
Bygger beroendeträd… Färdig
Läser tillståndsinformation… Färdig
Du bör köra ”apt --fix-broken install” för att korrigera dessa.
Följande paket har beroenden som inte kan tillfredsställas:
brscan-skey : Beroende av: curl men det kommer inte att installeras
Beroende av: libsane (>= 1.0.11-3) men det kan inte installeras
E: Otillfredsställda beroenden. Prova med ”apt --fix-broken install” utan paket (eller ange en lösning).
j-rgen-knuth-nielsen@j-rgen-knuth-nielsen-HP-Pavilion-Gaming-Desktop-TG01-1xxx:~$ apt --fix-broken install
E: Kunde inte öppna låsfilen /var/lib/dpkg/lock-frontend - open (13: Åtkomst nekas)
E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), are you root?
j-rgen-knuth-nielsen@j-rgen-knuth-nielsen-HP-Pavilion-Gaming-Desktop-TG01-1xxx:~$

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk

Kopieringen (med den gamla datorn håller på men verkar bli klar snart.

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk
Skrivet av Krassegrand:

Jag försökte installera grsync på den nya datorn men.....

j-rgen-knuth-nielsen@j-rgen-knuth-nielsen-HP-Pavilion-Gaming-Desktop-TG01-1xxx:~$ sudo apt install grsync
[sudo] lösenord för j-rgen-knuth-nielsen:
Läser paketlistor… Färdig
Bygger beroendeträd… Färdig
Läser tillståndsinformation… Färdig
Du bör köra ”apt --fix-broken install” för att korrigera dessa.
Följande paket har beroenden som inte kan tillfredsställas:
brscan-skey : Beroende av: curl men det kommer inte att installeras
Beroende av: libsane (>= 1.0.11-3) men det kan inte installeras
E: Otillfredsställda beroenden. Prova med ”apt --fix-broken install” utan paket (eller ange en lösning).
j-rgen-knuth-nielsen@j-rgen-knuth-nielsen-HP-Pavilion-Gaming-Desktop-TG01-1xxx:~$ apt --fix-broken install
E: Kunde inte öppna låsfilen /var/lib/dpkg/lock-frontend - open (13: Åtkomst nekas)
E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), are you root?
j-rgen-knuth-nielsen@j-rgen-knuth-nielsen-HP-Pavilion-Gaming-Desktop-TG01-1xxx:~$

Jag löste det

host host
bara att följa instruktionerna.

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk
Medlem

Vill man flytta filerna (dvs. ta bort filen från källan när kopieringen har kvitterats klar) så kan man använda "--remove-source-files" i optionsraden. med parametern '-s' så gör den om stora och luftiga image-filer till sparse-filer (dvs. alla sektorblock helt fyllda med bara '0' noteras i filens metadata men tar inte upp någon fysisk diskyta - och vid läsning av filen återgenereras dessa nollor av filsystemet.

En sparsefil och en normal fil av samma fil har exakt samma hash-värde om man skulle prova att kolla det.

det fins ytterligare funktioner som att den läser filer från källmapp, jämför mot en referensmapp och av filerna i källmappen som det inte fins också i referensmappen - skrivs till en 3' mapp.

vill man verkligen kolla filer mellan mappar för tex. ta bort duplikat så kan man titta på 'rmlint' och den kan referar mot en 'master' mapp vars innehåll inte rörs i körningen.

rmlint tar inte bort några filer utan skapas en shellscript som gör jobbet när den senare startas separat och skriptet är smart nog att kolla om referensfilen fins kvar innan det tar bort dublett-filer - annars blir den kvar.

Permalänk

Den externa hårddisken som jag kopierar från använder 1,8TB men kopian på den nya hårddisken är på 3TB och den slutar inte kopiera.
Det kan väl ändå inte vara rätt?

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk

Denna första gång jag använder den nya disken tänkte jag att det vore bra att göra det enkelt.
Kopiera ntfs till ntfs. Hade det varit bättre om jag ändrst den mottagande disken till ext4?

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk
Medlem

Bättre att börja med ext4 direkt.

Det har ingen betydelse vad det är för filsystem på de olika enheterna när man kopierar och ska du ändå använda ext4 i slutändan spar du tid med att hoppa över ntfs>ntfs.

Permalänk
Skrivet av anthra:

Bättre att börja med ext4 direkt.

Det har ingen betydelse vad det är för filsystem på de olika enheterna när man kopierar och ska du ändå använda ext4 i slutändan spar du tid med att hoppa över ntfs>ntfs.

Jag gör ett nytt försök när jag hinner.

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk
Medlem

Att det tar mer plats på din externa lagring än källan är förmodligen att NTFS på din stora disk troligen har större minsta datablock, vilket gör att även varje liten fil drar mer plats.

Det andra som du troligen åker på om det är systemdisken du kopierar ifrån är att windows är en stor användare av hårda länkar och om man inte har rätt flagga så kopieras detta som unika filer och därmed tar mer plats, full utrymme för var kopia.

för att undvika det och de hårdlänkade filerna i källan också bli hårdlänkade i målsidan så behöver du markera ett par bockar till.

se bild:

jag la också till '--sparse' som argument då det pressar 'luften' ur tex. diskimagefiler med stora områden med bara '0' i sig då områderna med bara '0' bara noteras i metadatat (och dessa '0' återgenereras senare vid läsning) utan att ta upp fysisk diskplats.

Sedan skulle jag verkligen rekommendera att använda BTRFS istället för ext4 på den nya lagringsdisken - finns några saker som inte går att vara utan när man väl har lärt sig....

1: komprimerande filsystem (aktiveras genom att skriva i terminal kommandot 'chattr +c mappnamn' på en mapp i BTRFS-filsystemet - alla filer som läggs i mappen och alla undermappar som sedan skapas kommer att komprimeras automatiskt i filsystemet (multicore-kompression) och utan att det syns (det går att välja komprimeringsalgoritm också - men är överkurs här)

2: att kunna göra nya kompletta kopior av subvolymer inom BTRFS-filsystemet med snapshot

dvs. en komplett kopia av en mappträd (som är en subvolym) utan att det tar upp mer plats på hårddisken - och det går på 1-2 sekunder även om mappträdet rymmer 10TB med data - och det kan sättas som read-only om man vill - dvs. inget i mappträdet kan ändras med vanliga filhanteringskommandon - inte ens tidsstämplar uppdateras inom trädet.

det görs i terminal med:

'btrfs su snap mapp1 mapp2' och mapp2 blir exakt lika som mapp1

subvolymerna som skapas är helt oberoende av varandra och som kan modifieras fritt sinsemellan och man kan ta nya snapshot ifrån dessa och även radera subvolymer i valfri ordning utan några beroende mellan dessa (till skillnad från zfs som är strikt hierarkisk), dock tar alla modifikationer som görs inom de olika subvolymer ny diskutrymme.

vill man göra det skrivskyddat:

'btrfs su snap -r mapp1 mapp2' och i mapp 2 fins inget som kan ändras - mappen själv går heller inte att radera utan att använda sig av btrfs-kommando.

Det är en utmärkt sätt att göra en kopia av sin gamla backup innan den synkas på nytt med tex. grsync - gör man bort sig eller filerna som kopieras över är krypterad av malware - så har du förra backuppgenerationens filer kvar oskadda i din skrivskyddade subvolym-kopia!!

"oj - jag har redan kopierat in en massa filer på volymen och ingen subvolym är skapad och jag kan inte göra en snapshot"

inga problem - ställ dig i roten på BTRFS-filsystemet, därefter

'btrfs su snap . mapp3'

mapp3 kommer bli en exakt kopia av hela disken/filsystemet _utom_ innehållet i andra redan existerade subvolymer (blir då tomma mappar i mappträdet)

och som redan sagt - en snapshot-kopia av en subvolym tar ingen extra diskplats (mer än typ 50 kByte eller så)

och som sista ordet för denna inlägg är att BTRFS fungerar väldigt bra tillsammans med SMR-diskar som typiskt de flesta externa USB-snurddiskar är.

Permalänk

Nu har jag nog gjort någon dumt.
Jag startade en formatering till ext4 på "fel" disk och stoppade den efter några minuter och därför körde jag sen sen reparera och sen, eftersom disken var tom körde jag formateringen på nytt, det tog bara 10 sekunder för 5,45TB men när jag vill öppna den så krävs Auktorisering och när jag vill ändra rättigheterna får jag detta meddelande.

Nu tar jag kvällen. Återkommer imorgon.

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk

På disken finns det en liten partitionering med lite windows/Seagate grejer.
Kan jag ta bort den för att få en 6TB parttionering?

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.

Permalänk
Medlem
Skrivet av Krassegrand:

På disken finns det en liten partitionering med lite windows/Seagate grejer.
Kan jag ta bort den för att få en 6TB parttionering?<Uppladdad bildlänk>

Om du ska rensa disken så ska det vara säkert att ta bort även den där windows partitionen.

Hoppas du inte använder den för att boota med bara.

Jag skulle rekommendera att du kopplar ur disken helt och bootar datorn som vanligt. Om allting fungerar som det ska så är det bara att rensa bort den där partitionen. Om det inte fungerar att boota så ligger lite boot-filer på den där partitionen och du borde lösa det först

Visa signatur

5700x3D | RTX 2060 Super | 2 TB M.2 | 32 GB RAM | Gigabyte DS3H| 750 WATT

Permalänk

Njaä.
Det fungerar ju inte riktigt som det ska. Datorn kräver auktorisering för att skriva till disken.
Jag skrev om det i ett tidigare inlägg.

Visa signatur

Född -55 grått hår och begynnande flint men fortfarande barnsligt teknikintresserad.