Forum Mjukvara Linux och övriga operativsystem Tråd Inlägg

Bitröta, finns det linuxprogram för att rädda foton osv.?

1 2
Skriv svar
Permalänk
Inaktiv
●

Bitröta, finns det linuxprogram för att rädda foton osv.?

Hejsan på er

Då jag försöker bli 100% fri från windowslösningar och enbart köra med Linux(debian) så undrar jag om ni vet om några program som kanske kan reparera skadade filer som råkat ut för Bitröta.
Nu är det lite foton o bakgrundsbilder jag upptäckt är skadade.. Ja jag har backup på fotona, så det är inga problem egentligen och bakgrundsbilderna är från nätet, så de går ju hitta igen..
Men ur utvecklingsvinkel i Linux vill jag hitta program för att lösa olika saker... Nästa gång kanske det är någon annan fil som det gäller.. dokument, pdf eller annat som jag kanske inte har en backup på.

Har ni några förslag?
//Marie

Edit
Ja jag vet att program inte kan lista ut saknad data, men ibland kan det vara datan som identifierar filens format osv som är skadad och den datan borde i vissa fall gå att förutspå så att säga.

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Vet inte hur det står sig nu, men jag hade framgång med https://www.cgsecurity.org/wiki/PhotoRec när jag hade liknande problem för ett par år sedan.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av anon309108:

några program som kanske kan reparera skadade filer som råkat ut för Bitröta.

Gå till inlägget

Har inte tips på det du frågar om, på rak arm, men kan säga att mina servrar kör ZFS bland annat för att bitröta inte ska bli ett problem för mig. Det finns två varianter för detta:
På en server kan man använda ZFS för att sätta upp RAID över flera diskar, där spegeln eller pariteten tillsammans med checksummor låter ZFS avgöra vilken version av datat som stämmer med vad som skrevs.
På en arbetsstation eller laptop med begränsat utrymme för fysiska diskar kan man istället säga att givna filsystem ("kataloger") ska ha n grader av säkerhet, vilket innebär att filer man skriver dit skrivs i flera exemplar. Det eliminerar inte riskerna vid totalt diskhaveri, men skyddar mot bitröta eftersom det ändå finns flera kopior att jämföra mot checksummorna.

Dessutom har ZFS bra egenskaper som man annars mest ser på större SAN, som blockbaserade snapshots, sändning av deltasnapshots till andra filsystem (inklusive på andra datorer), etc.
Vad du INTE får med ZFS är ett vänligt GUI utan vassa kanter, tyvärr - men har du väl satt upp det så du är nöjd behöver du troligen inte pilla på det särskilt ofta.

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av Aene:

Vet inte hur det står sig nu, men jag hade framgång med https://www.cgsecurity.org/wiki/PhotoRec när jag hade liknande problem för ett par år sedan.

Gå till inlägget

Jo jag satt o kika lite på photorec men --help sa inte så mycket. *hihi* Tackar för länken, jag hade slarvat bort den, då jag snubbla på den i samband med Testdisk.. trist bara att photorec/testdisk inte har en guis

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av Det Otroliga Åbäket:

Har inte tips på det du frågar om, på rak arm, men kan säga att mina servrar kör ZFS bland annat för att bitröta inte ska bli ett problem för mig. Det finns två varianter för detta:
På en server kan man använda ZFS för att sätta upp RAID över flera diskar, där spegeln eller pariteten tillsammans med checksummor låter ZFS avgöra vilken version av datat som stämmer med vad som skrevs.
På en arbetsstation eller laptop med begränsat utrymme för fysiska diskar kan man istället säga att givna filsystem ("kataloger") ska ha n grader av säkerhet, vilket innebär att filer man skriver dit skrivs i flera exemplar. Det eliminerar inte riskerna vid totalt diskhaveri, men skyddar mot bitröta eftersom det ändå finns flera kopior att jämföra mot checksummorna.

Dessutom har ZFS bra egenskaper som man annars mest ser på större SAN, som blockbaserade snapshots, sändning av deltasnapshots till andra filsystem (inklusive på andra datorer), etc.
Vad du INTE får med ZFS är ett vänligt GUI utan vassa kanter, tyvärr - men har du väl satt upp det så du är nöjd behöver du troligen inte pilla på det särskilt ofta.

Gå till inlägget

ZFS har jag haft i baktanken inför kommande OS byte på min server som jag kör 2008R2 på just nu(frågan är om inte du o jag diskuterat det i en annan tråd för ett bra tag sedan)
Den enda nackdelen jag ser med ZFS är om man inte har UPS och det blir strömavbrott när den skriver checksumman som kan vara lite segt på mekaniska diskar med ZFSraid.. Jag har hört att vissa löst det med att använda en ssd för checksumman för att snabbare skriva datan och snabba upp raiden.
och då IBM sabba centOS livscykel så stannade tankarna upp på OSbyte i väntan på att Rocky linux ska mogna till lite.

Jag har inte hållt mig uppdaterad något, men hur har openZFS utvecklat sig? jag hörde något i förbifarten för några år sedan om att det var inte riktigt moget ännu.

Jag kör backup, backup och backup samt en backup på all min viktiga data.. Så denna tråden är mer nyfikenhet för att se... Kan man fixa skadade filer. Och nu har jag fem filer som är sabbade, så de är perfekta att labba med.
Samt tråden kanske kan gynna någon stackare som inte har backuper.

Redigera
Citera flera Citera
Permalänk
Inaktiv
●

För en som vet exakt hur förödande bitröta är kan jag inte annat säga än att lycka till med räddningsuppdraget!

DVD-filmer, CD-skivor, filer, ja you name it har gått förlorat genom åren.

För att skydda mig mot korrupta filer och bitröta har jag skaffat mig backuper, på backuper, på backuper, på backuper med SHA1, MD5 och CRC32 på allt som är viktigt för mig att bevara.

Just nu känner jag mig säker, men det är man aldrig.

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av anon338571:

För en som vet exakt hur förödande bitröta är kan jag inte annat säga än att lycka till med räddningsuppdraget!

DVD-filmer, CD-skivor, filer, ja you name it har gått förlorat genom åren.

För att skydda mig mot korrupta filer och bitröta har jag skaffat mig backuper, på backuper, på backuper, på backuper med SHA1, MD5 och CRC32 på allt som är viktigt för mig att bevara.

Just nu känner jag mig säker, men det är man aldrig.

Gå till inlägget

Tackar tackar för lycka till önskandet. Nu är det inte skarpt läge som tur är.
japp... jag känner igen mig i det du säger Det var just den erfarenheten som fick mig att börja ha backup, på backup, på backup och en extra backup ovanpå det.. för 25år sedan.
Dock har jag aldrig hittat ett smidigt program med gui för smidig indexering med checksumma av alla filer.. samt återställning vid upptäckt skadad fil.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av anon309108:

ZFS har jag haft i baktanken inför kommande OS byte på min server som jag kör 2008R2 på just nu(frågan är om inte du o jag diskuterat det i en annan tråd för ett bra tag sedan)
Den enda nackdelen jag ser med ZFS är om man inte har UPS och det blir strömavbrott när den skriver checksumman som kan vara lite segt på mekaniska diskar med ZFSraid.. Jag har hört att vissa löst det med att använda en ssd för checksumman för att snabbare skriva datan och snabba upp raiden.
och då IBM sabba centOS livscykel så stannade tankarna upp på OSbyte i väntan på att Rocky linux ska mogna till lite.

Jag har inte hållt mig uppdaterad något, men hur har openZFS utvecklat sig? jag hörde något i förbifarten för några år sedan om att det var inte riktigt moget ännu.

Jag kör backup, backup och backup samt en backup på all min viktiga data.. Så denna tråden är mer nyfikenhet för att se... Kan man fixa skadade filer. Och nu har jag fem filer som är sabbade, så de är perfekta att labba med.
Samt tråden kanske kan gynna någon stackare som inte har backuper.

Gå till inlägget

Jo, vi har nog pratat ZFS tidigare.
ZFS på Linux är definitivt inte omoget längre, sedan rätt många år. Det vidareutvecklas aktivt och används av några av världens mest dataintensiva forskningsanläggningar. Det filsystem man fortfarande ska vara (riktigt!) försiktig med i annat än enkeldiskkonfigurationer om man inte är säker på att man har tungan i rätt mun är BTRFS.

En av sidoeffekterna av hur ZFS fungerar är att plötsliga strömavbrott just inte är något stort problem: Data räknas inte som skriven förrän den är färdigskriven, och filsystemet arbetar enligt Copy-on-Write-principen (CoW), så man riskerar aldrig att stå där med en halvskriven fil oavsett när strömmen bryts.
Priset för detta är naturligtvis lite diskprestanda - men frågan är om du märker något av det i verkligheten. Jag mättar i princip mitt gigabitnätverk hemma när jag skriver sekventiellt till mekanisk disk på filservern hemma. Mina virtuella servrar kör jag huvudsakligen från SSD, och i kombination med typen av last de kör innebär det att jag inte upplever några hastighetsproblem.
Jag gjorde bedömningen att det inte är värt den ekonomiska kostnaden att köpa en högkvalitets, skrivintensiv SSD att använda som skrivcache (SLOG) för mina behov, och för läsning är det nästan under alla omständigheter bättre att ha ett par GB extra minne än en läscacheenhet (L2ARC).

(Ironiskt nog är nog Ubuntu det enklaste att köra ZFS på idag, om vi pratar distributioner. Filsystemet är ju inte GPL-licensierat, så RedHat-derivat brukar vara lite skeptiska till att hjälpa till, även om det naturligtvis går där också.)

Men ja: Jag håller fullständigt med dig om backuper - så länge man upptäcker om något gått snett innan det försvunnit ur ens retention.

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av Det Otroliga Åbäket:

Jo, vi har nog pratat ZFS tidigare.
ZFS på Linux är definitivt inte omoget längre, sedan rätt många år. Det vidareutvecklas aktivt och används av några av världens mest dataintensiva forskningsanläggningar. Det filsystem man fortfarande ska vara (riktigt!) försiktig med i annat än enkeldiskkonfigurationer om man inte är säker på att man har tungan i rätt mun är BTRFS.

En av sidoeffekterna av hur ZFS fungerar är att plötsliga strömavbrott just inte är något stort problem: Data räknas inte som skriven förrän den är färdigskriven, och filsystemet arbetar enligt Copy-on-Write-principen (CoW), så man riskerar aldrig att stå där med en halvskriven fil oavsett när strömmen bryts.
Priset för detta är naturligtvis lite diskprestanda - men frågan är om du märker något av det i verkligheten. Jag mättar i princip mitt gigabitnätverk hemma när jag skriver sekventiellt till mekanisk disk på filservern hemma. Mina virtuella servrar kör jag huvudsakligen från SSD, och i kombination med typen av last de kör innebär det att jag inte upplever några hastighetsproblem.
Jag gjorde bedömningen att det inte är värt den ekonomiska kostnaden att köpa en högkvalitets, skrivintensiv SSD att använda som skrivcache (SLOG) för mina behov, och för läsning är det nästan under alla omständigheter bättre att ha ett par GB extra minne än en läscacheenhet (L2ARC).

(Ironiskt nog är nog Ubuntu det enklaste att köra ZFS på idag, om vi pratar distributioner. Filsystemet är ju inte GPL-licensierat, så RedHat-derivat brukar vara lite skeptiska till att hjälpa till, även om det naturligtvis går där också.)

Men ja: Jag håller fullständigt med dig om backuper - så länge man upptäcker om något gått snett innan det försvunnit ur ens retention.

Gå till inlägget

Men min server får fortsätta gå med R2 tills jag känner mig mer mogen med Linux, så det inte tar en vecka eller tre att sätta upp servern. *hihi*
Men kör inte de solaris och oraclesZFS på sådana anläggningar?
BTRFS snegla jag lite åt... tills jag såg alla kommandon man behövde kunna o att det var lite bökigt att hantera.. så jag gav upp den tanken lika fort som det tog mig att läsa en A4sida med all info. hahahaha
Det kanske var från osäker källa jag hörde om att openZFS inte var lika mogen som OraclesZFS.. Det är typish 3år sedan jag hörde någon prata om det.. och jag lyssna med halvt öra då jag precis klivit in i linuxvärlden då.
Men jag vet ju sedan SUN serverstiden att ZFS var säkraste filsystemet.. dock labbade jag aldrig med filsystemet och OSet på SUNservern.. så jag har noll minuters erfarenhet av ZFS.. Men erfarenheten börjar ju med första andetaget när jag väl kommer dit så att säga.

Okej... Det låter ju lovande... Min UPS har tackat för sig och kilat vidare till datahimlen.. så jag står utan till servern just nu.. så den är aldrig på dygnet runt längre.. Även om systemet egentligen klarar ett strömavbrott, så finns ju alltid en risk att en skrivning av fel filer vid fel tillfälle kan krascha/skada ett system.. Sannolikheten är ju inte stor, men den är inte noll..
Men det låter ju bra att höra om det. Jag får grotta ner i det lite mera innan det är dax... Diskprestandan bryr jag mig inte om direkt, så bråttom i livet har jag inte.. Det är sällan jag flyttar större mängder data till/från servern.. och flaskhalsen ligger i mina vanliga datorers mekaniska diskar.. så även om servern sackar lite om jag byter från hårdvaru raid till raidz så tror jag med ren logiktänk att det inte blir märkbart.. servern har 6sas diskar medans mina laptops och desktops kör sataHDD
Jag såg nu att jag kan lägga till openzfs via min pakethanterare.. Så det blir att undersöka på labbdatorn framöver helt klart... lite vintersvordomars projekt...
Någon gång måste jag ju ta steget o lära mig om jag ska slippa microsoft.

neee.. usch.. säg inte så..*ryser* Ubuntu.... *ryser lite till* ... Jag har sådant trauma efter min mardrömsresa när jag testade ubuntu, lubuntu och xubuntu 2018.. så även om det är enklaste distron för zfs, så kör jag nog hellre windows 95 första utgåvan innan jag tänker tanken på ubuntu igen. *hahaha*

Inget illa menat om ubuntu nu till alla er som läser.. det är bara mina personliga flashbacks till 2018 som spökar.

Jag är väldigt nöjd med Debian.. ren, stabil och inte en massa extra flashiga saker... nackdelen är att det bara är 5års livscykel för att köra det på server.. rocky linux sägs ska få 10år som centOS hade, så det är det som lockar mest... installera och glömma bort ett årtionde lixom.

Det var dagens sannaste ord. Citat: så länge man upptäcker om något gått snett innan det försvunnit ur ens retention
Det är oftast det som är problemet att man inte märker när bittröta slår till, föräns man ska ha filen några år senare.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av anon309108:

Tackar för länken, jag hade slarvat bort den, då jag snubbla på den i samband med Testdisk.. trist bara att photorec/testdisk inte har en guis

Gå till inlägget

QPhotoRec har GUI och finns till GNU/Linux:

https://pkgs.org/download/qphotorec
https://www.cgsecurity.org/wiki/TestDisk_Download

Väldigt sällan som jag inte lyckas återskapa allt jag behöver med QPhotoRec, men det beror självklart även på filformat och filsystem.

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av walkir:

QPhotoRec har GUI och finns till GNU/Linux:

https://www.videohelp.com/softwareimages/photorec_1785.jpg

https://pkgs.org/download/qphotorec
https://www.cgsecurity.org/wiki/TestDisk_Download

Väldigt sällan som jag inte lyckas återskapa allt jag behöver med QPhotoRec, men det beror självklart även på filformat och filsystem.

Gå till inlägget

Tackar för tipset.
Jag hade inte en susning om att den fanns som Gui. Den måste jag ju kika på bara för att.
Testdisk har jag använt mig mycket utav när jag räddat diskar som folk lyckats sabba partitioneringen på... photorec har jag dock aldrig använt..... ännu.

edit.. såg nu att den inte finns som deb.. så det får jag gräva vidare i.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

ZFS...

Jag skulle dock inte använda ZFS som filsystem på externa USB-diskar - använd hellre BTRFS för detta och absolut _inte_ NTFS om man inte gillar att köra rysk roulette med sina data - speciellt inte med gamla WD-book externa USB-kabinetter med buggiga USB/SATA-chip...

Motivationen är följande:

ZFS tål bara max 8 sekunder i svarstidsrespons från lagring - över detta så kickas disken! - det är gammal HW-RAID timeout standard passande för serverdiskar och Enterprise-diskar men blir helt fel med de flesta lagringar som man har i desktop och konsument-nivå. Tyvärr är denna tiden hårdkodad och kan inte ställas om för längre tid. De flesta andra filsystem accepterar minst 30 sekunder timeout innan den anser disken otillgänglig.

Den ena riskfaktor som talar emot ZFS för extern lagring heter SMR-disk och dess risk att när den nödstädar i sin PMR-area för att den är smockfull efter ogynnsam skrivmönster har en svarstid ibland uppemot 30 sekunder och i stort sett alla externa USB-diskar som är mindre än 8 och 10 TB är idag med några få undantag och beroende på batch, just SMR-diskar i de externa USB-kabinetten och samtliga 2.5" diskar då det finns inga 2.5" diskar utan SMR idag såvida de inte också behöver 12V matningsspänning för att fungera (läs Enterprise 10 - 15k rpm dual-port SAS HD).

Den andra faran heter externa diskkabinett och extern diskdocka som stänger av diskens spindelmotor efter en tids inaktivitet - tiden är problematiskt lång och nära och ibland förbi 8 sekunder i svartidsdelay när de spinner upp motorn och innan disken är klar (skall temperaturkalibrera mm.) och det behöver inte vara SMR-diskar för att det skall bli trubbel med dem i ZFS-baserade filsystem.

Har en kamrat som fick gå "all in" i problemlösandet med en uppsättning WD-book diskar (med WD-green PMR-diskar - alltså inte SMR-diskar) som backup där 2 diskar hela tiden aldrig 'godkändes' när Vdev skulle sättas ihop igen och fick rådfråga ZFS-gurus och massa terminalkommandon innan alla diskar i RAID-setet till slut kunde monteras i Vdev för att kunna hämta ut sin backupdata och var ganska upprörd efter detta (och uppenbarligen besviken på ZFS då han har lagt ned mycket förtroende på det innan och så ramlar det på rena skitsaker som en kort timeout som hotade hela hans backup som han behövde _nu_ och det går inte att göra något åt detta!) då strulet typ kostat hela helgen för något som bara skulle ta några minuter - han rekommenderar _inte_ ZFS för extern lagring på USB-disk efter detta och ännu mindre om man försöker med någon form av RAID-struktur på dessa och nu kör han alla sina USB extern-disk backupper på BTRFS istället även om själva server är fortfarande på ZFS.

Man måste vara noga att använda diskar och även HBA och moderkort har en anständig servernära kvalitet (där svarstiden är alltid under 8 sekunder i alla lägen - dvs. alltid NAS eller serverdiskar som alltid svarar inom 8 sekunder och därmed också alltid har spindelmotorn igång - precis som man har i servrar) och helst också ECC-minne innan man helhjärtat kan rekommendera ZFS - den är inte för vem som helst okunnig som 'generisk filsystem' och man bör ha en backupstrategi som fungerar redan innan då när ZFS-filsystem går sönder så går den sönder ordentligt och inte mycket att rädda efteråt.

---

Jag har själv efter mycket provande och testande, använt BTRFS väldigt länge - inte av ovanstående orsaker - utan för att jag föredrar BTRFS snapshot-filosofi baserad på subvolymer och dessa kan sedan hanteras, modifieras och raderas i valfri ordning utan hierarki medans jag gillar inte ZFS hierakiska snapshot-filosofi som mer liknar en TAR-backup med inkrementella backupper gjort som ett filsystem och där man inte kan ta bort huvudbackuppen (ursprungliga datasetet) och bara behålla valfri session (inkrementell session) och slänga resten och den vägen få tillbaka diskutrymme för filer som inte är aktuella längre. i ZFS måste man skrota hela datasetet innan diskutrymme frigörs och vill man behålla senaste sessionen så måste det kopieras över till en ny dataset vilket innebär en massa kopierande och att det tar upp till dubbla diskplatsen innan den gamla dataseten raderats [1]...

---

[1] Jo det finns inline deduplikation i ZFS - men ingen med sunda vätskor och mer normal HW aktiverar den då det kostar både RAM och prestanda - och sedan måste all data ändå läsas igenom orginal datasetet man kopierar ifrån även om deduplikationen hindrar att det mesta av skrivningarna och länkar till redan existerande sektorer, ja förutom metadata som nyskrivs i den nya datasetet.

Varför har inte BSD/opensource ZFS implementerat BTRFS "reflink" ännu - det har funnits i Solaris-versionen av ZFS efter att det blev sluten kod redan för över 10 år sedan. - vid reflink så skapas ny metadata (nya inoder) men alla refererar till samma datadel som orginalfilerna och därmed behöver man inte kopiera filernas datadel - givetvis så förutsätter det att filsystemet hanterar det och inte tar bort orginaldata-blocken när orginal datasetet som skapade det, raderas.

Till och med XFS har implementerat 'reflink' för lättviktskopior av filer och ZFS skulle verkligen behöva det för att skapa 'snapshot' av dataset som inte har någon beroende mellan varandra och är snabba (men inte lika snabba som BTRF snapshot) att göra!.

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av xxargs:

ZFS...

Jag skulle dock inte använda ZFS som filsystem på externa USB-diskar - använd hellre BTRFS för detta och absolut _inte_ NTFS om man inte gillar att köra rysk roulette med sina data - speciellt inte med gamla WD-book externa USB-kabinetter med buggiga USB/SATA-chip...

Motivationen är följande:

ZFS tål bara max 8 sekunder i svarstidsrespons från lagring - över detta så kickas disken! - det är gammal HW-RAID timeout standard passande för serverdiskar och Enterprise-diskar men blir helt fel med de flesta lagringar som man har i desktop och konsument-nivå. Tyvärr är denna tiden hårdkodad och kan inte ställas om för längre tid. De flesta andra filsystem accepterar minst 30 sekunder timeout innan den anser disken otillgänglig.

Den ena riskfaktor som talar emot ZFS för extern lagring heter SMR-disk och dess risk att när den nödstädar i sin PMR-area för att den är smockfull efter ogynnsam skrivmönster har en svarstid ibland uppemot 30 sekunder och i stort sett alla externa USB-diskar som är mindre än 8 och 10 TB är idag med några få undantag och beroende på batch, just SMR-diskar i de externa USB-kabinetten och samtliga 2.5" diskar då det finns inga 2.5" diskar utan SMR idag såvida de inte också behöver 12V matningsspänning för att fungera (läs Enterprise 10 - 15k rpm dual-port SAS HD).

Den andra faran heter externa diskkabinett och extern diskdocka som stänger av diskens spindelmotor efter en tids inaktivitet - tiden är problematiskt lång och nära och ibland förbi 8 sekunder i svartidsdelay när de spinner upp motorn och innan disken är klar (skall temperaturkalibrera mm.) och det behöver inte vara SMR-diskar för att det skall bli trubbel med dem i ZFS-baserade filsystem.

Har en kamrat som fick gå "all in" i problemlösandet med en uppsättning WD-book diskar (med WD-green PMR-diskar - alltså inte SMR-diskar) som backup där 2 diskar hela tiden aldrig 'godkändes' när Vdev skulle sättas ihop igen och fick rådfråga ZFS-gurus och massa terminalkommandon innan alla diskar i RAID-setet till slut kunde monteras i Vdev för att kunna hämta ut sin backupdata och var ganska upprörd efter detta (och uppenbarligen besviken på ZFS då han har lagt ned mycket förtroende på det innan och så ramlar det på rena skitsaker som en kort timeout som hotade hela hans backup som han behövde _nu_ och det går inte att göra något åt detta!) då strulet typ kostat hela helgen för något som bara skulle ta några minuter - han rekommenderar _inte_ ZFS för extern lagring på USB-disk efter detta och ännu mindre om man försöker med någon form av RAID-struktur på dessa och nu kör han alla sina USB extern-disk backupper på BTRFS istället även om själva server är fortfarande på ZFS.

Man måste vara noga att använda diskar och även HBA och moderkort har en anständig servernära kvalitet (där svarstiden är alltid under 8 sekunder i alla lägen - dvs. alltid NAS eller serverdiskar som alltid svarar inom 8 sekunder och därmed också alltid har spindelmotorn igång - precis som man har i servrar) och helst också ECC-minne innan man helhjärtat kan rekommendera ZFS - den är inte för vem som helst okunnig som 'generisk filsystem' och man bör ha en backupstrategi som fungerar redan innan då när ZFS-filsystem går sönder så går den sönder ordentligt och inte mycket att rädda efteråt.

---

Jag har själv efter mycket provande och testande, använt BTRFS väldigt länge - inte av ovanstående orsaker - utan för att jag föredrar BTRFS snapshot-filosofi baserad på subvolymer och dessa kan sedan hanteras, modifieras och raderas i valfri ordning utan hierarki medans jag gillar inte ZFS hierakiska snapshot-filosofi som mer liknar en TAR-backup med inkrementella backupper gjort som ett filsystem och där man inte kan ta bort huvudbackuppen (ursprungliga datasetet) och bara behålla valfri session (inkrementell session) och slänga resten och den vägen få tillbaka diskutrymme för filer som inte är aktuella längre. i ZFS måste man skrota hela datasetet innan diskutrymme frigörs och vill man behålla senaste sessionen så måste det kopieras över till en ny dataset vilket innebär en massa kopierande och att det tar upp till dubbla diskplatsen innan den gamla dataseten raderats [1]...

---

[1] Jo det finns inline deduplikation i ZFS - men ingen med sunda vätskor och mer normal HW aktiverar den då det kostar både RAM och prestanda - och sedan måste all data ändå läsas igenom orginal datasetet man kopierar ifrån även om deduplikationen hindrar att det mesta av skrivningarna och länkar till redan existerande sektorer, ja förutom metadata som nyskrivs i den nya datasetet.

Varför har inte BSD/opensource ZFS implementerat BTRFS "reflink" ännu - det har funnits i Solaris-versionen av ZFS efter att det blev sluten kod redan för över 10 år sedan. - vid reflink så skapas ny metadata (nya inoder) men alla refererar till samma datadel som orginalfilerna och därmed behöver man inte kopiera filernas datadel - givetvis så förutsätter det att filsystemet hanterar det och inte tar bort orginaldata-blocken när orginal datasetet som skapade det, raderas.

Till och med XFS har implementerat 'reflink' för lättviktskopior av filer och ZFS skulle verkligen behöva det för att skapa 'snapshot' av dataset som inte har någon beroende mellan varandra och är snabba (men inte lika snabba som BTRF snapshot) att göra!.

Gå till inlägget

Hejsan
Kul att du skrev om detta i min tråd ocå, jag har för mig du skrivit om det i någon annan tråd för lite längre sedan... Nu kan jag hitta det smidigt.

Seriöst finns det folk som kör raid på externa diskar... ja då får de skylla sig själv.. Det där jädra usb->hdd är ju lika stabilt som att balansera ett ägg i en sked medans man springer... har man tur funkar det.
ZFSraid är tänkt att jag enbart kommer köra på min server.. den har ECC minnen, SAS o hela kittet.. dock kör den hårdvaruraid och bios default värdet är raid5.. vilket blir att ha stenhård hård koll på cmos batteriet, när jag slår av hårdvaruraiden o går över till raidz... Det kan nog bli en intressant upplevelse om hårdvaruraiden slår till oväntat vid en uppstart...
Dock har jag för mig att det krävs F1 för att fortsätta för att den ska försöka börja bygga upp diskarna.. Det är 8år sedan jag installerade den, så minnet är lite vagt om jag säger så

Det du var inne på om reflink openzfs vs oracleszfs.. Det berör kanske frågan jag ställde om openZFS är mogen ännu, då jag för 3år sedan hörde någon i förbifarten nämde att zfs var inte riktigt moget ännu mot oraclesZFS.. Kan det varit det som de prata om då kanske???
Jag har minimal erfarenhet av mjukvaruraid.. jag labba lite med det i windows för att lära mig att sätta upp det..
Men sedan massssor år tillbaka har jag dissat mjukvaruraid totalt och föredragit hårdvaruraid på mina windows servrar jag haft.
Jag spekulera en supersnabbis för ettpar år sedan på om jag skulle installera solaris på servern, då jag sprang på någon lista där min HP servers hårdvara var listad som kompatibel.. Sedan dagen efter så var det ju bortglömt som vanligt när jag ser nya saker. hahaha

SMR.. jaa... Det var väl WD som kom på den idén.. det måste varit någon sadistisk person.. Jag tar inte i de diskarna med tång för egen del.. Visst att de kan få mer data på mindre yta.. men neee.. Jag föredrar CMRdiskar.. SSD diskar är jag skeptisk till oxå. en vanlig HDD är det lättare att rädda data ifrån... även om man har backuper, så är det alltid nååågra filer som tillkommit sedan sista backupen man har... Det erfarade jag när jag råka ut för wanacry viruset när det var zerodays och drabba en laptop jag hade.. det var 7st filer jag inte hade backup på som vart krypterade.. var av 2filer som jag inte kunde skaffa fram igen. Så 2filer av 60tusen krypterade gick jag miste om, totalt var det över 3miljoner filer på den disken... men jag hann stänga av datorn med hardreset när jag märkte ovanlig diskaktivitet.
En HDD krasch hade jag nog kunna få fram de som saknades.. en SSD krasch är man nog nästan körd på
Så lärdomen av tidigare livserfarenheter är hdd med cmr och bra systemövervakningsprogram igång i bakgrunden.

På mina externa diskar kör jag NTFS av den simpla anledningen att jag har win2008R2 i servern och windows7 på HTPC'n.. Så med NTFS kan jag använda externa diskarna till alla datorer då Linux hanterar NTFS ganska bra... Dock partitionerar jag o formaterar NTFS från windowsmaskinerna.. Jag har sprungit på fenomenet att diskar inte läses av windows om man gjort det under linux.

Men vad tror du om att köra OpenZFS på enbart en intern lagringsdisk.. för att ha ett filsystem mot minimal risk för bitröta?

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av anon309108:

ZFSraid är tänkt att jag enbart kommer köra på min server.. den har ECC minnen, SAS o hela kittet.. dock kör den hårdvaruraid och bios default värdet är raid5.. vilket blir att ha stenhård hård koll på cmos batteriet, när jag slår av hårdvaruraiden o går över till raidz...

Gå till inlägget

Detta är i sig en potentiell showstopper: ZFS vill ha full kontroll över diskarna och kommer att bråka med en RAID-kontroller med i bästa fall prestandaproblem eller möjligen dataförlust som resultat. Till detta vill du alltså ha en ren HBA. Det finns RAID-controllers där man kan byta firmware till ett som motsvarar samma chipset men i HBA-version, men det är vad jag vet bara specifika modeller som erbjuder denna möjlighet - och frågan är om du vill chansa på att ett firmware du laddat ner från någon site någonstans inte ställer till det för dig.

Skrivet av anon309108:

Men vad tror du om att köra OpenZFS på enbart en intern lagringsdisk.. för att ha ett filsystem mot minimal risk för bitröta?

Gå till inlägget

Det går utmärkt. Du sätter copies=n (godtyckligt tal som du tycker är högt nog, exempelvis 3), på ett ZFS-filsystem, så lagras alla filer tre gånger på den disken. De tar naturligtvis tre gånger så mycket plats också, men det är priset du betalar. Har du den backupvana du beskriver så vet du att det som skrivits till backuperna var korrekt när det lämnade disken, i alla fall.

Vill du ha praktiska tips runt ZFS skulle jag rekommendera att läsa artiklar och inlägg av Jim Salter. Han skriver numera för Ars Technica, men har jobbat med detta i många år och har stött på en del av de grejer man kan råka ut för. En gammal bloggartikel om just copies-parametern ur hans perspektiv. Samma blogg har också en del tips om prestandatweaking (enkelt uttryckt: Säg till ZFS att du har en 4k-disk oavsett om du har det eller inte, och anpassa blockstorleken på dina ZFS-filsystem utifrån vad du använder dem till.)

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av Det Otroliga Åbäket:

Detta är i sig en potentiell showstopper: ZFS vill ha full kontroll över diskarna och kommer att bråka med en RAID-kontroller med i bästa fall prestandaproblem eller möjligen dataförlust som resultat. Till detta vill du alltså ha en ren HBA. Det finns RAID-controllers där man kan byta firmware till ett som motsvarar samma chipset men i HBA-version, men det är vad jag vet bara specifika modeller som erbjuder denna möjlighet - och frågan är om du vill chansa på att ett firmware du laddat ner från någon site någonstans inte ställer till det för dig.

Gå till inlägget

Jag gjorde en liten sökning på nätet om ZFS på raidhårdvara efter mitt förra inlägg.. och jag såg väldigt delade meningar.. Solarisservrar har inga problem med zfs på hårvaruraid.. medans andra med openZFS säger att det är en dum idé, men någon NAS variant kör hårdvaruraid o ZFS.. Sedan berodde det på vilken hårdvarukontroller det var om det var instickskort eller backplain..
Sedan om hårdvaran har JBOD mode och HBA mode osv osv.. Vilket jag inte har ett minne av efter 8år sedan jag ställde in raiden.. Men jag vet att den hade olika varianter.. men jag minns inte vilka.. Men det är ju inte svårt att ta reda på.. Jag har dokumentationen liggandes till servern och i värsta fall kan jag ju gå in i kontrollern nästa gång jag startar servern.
Så väldigt mycket dubbla budskap på nätet, så det känns som säkrast logiskt val att man kanske måste gå till källan för att få ett ärligt svar än hundra människors online åsikter... Så det blir att skriva en postit o sätta på servern så jag kommer ihåg att kolla upp allt det där innan ett OS byte..
Sedan när det blir dax, kommer jag garanterat bolla lite extra med er som pysslat med ZFS.

Skrivet av Det Otroliga Åbäket:

Det går utmärkt. Du sätter copies=n (godtyckligt tal som du tycker är högt nog, exempelvis 3), på ett ZFS-filsystem, så lagras alla filer tre gånger på den disken. De tar naturligtvis tre gånger så mycket plats också, men det är priset du betalar. Har du den backupvana du beskriver så vet du att det som skrivits till backuperna var korrekt när det lämnade disken, i alla fall.

Vill du ha praktiska tips runt ZFS skulle jag rekommendera att läsa artiklar och inlägg av Jim Salter. Han skriver numera för Ars Technica, men har jobbat med detta i många år och har stött på en del av de grejer man kan råka ut för. En gammal bloggartikel om just copies-parametern ur hans perspektiv. Samma blogg har också en del tips om prestandatweaking (enkelt uttryckt: Säg till ZFS att du har en 4k-disk oavsett om du har det eller inte, och anpassa blockstorleken på dina ZFS-filsystem utifrån vad du använder dem till.)

Gå till inlägget

3gånger extra utrymme på diskarna.. hmmmm... jag undrar om jag kan bli sponsrad av WD. hahaha
Vad är det man säger.. En hårddisk har bara tre olika tillstånd i livet.. Tom, full och död. *hihi*
Sedan 1987 fram till nutid har jag alltid haft för lite diskutrymme. Så copies=2 är väl vad jag kan gråta mig till som bäst då. *hahaha* Skämt o sido.... Det får bli på värdefull data jag kör ZFS helt enkelt.
Så sant så sant.. Trasiga filer vid backap blir ju trasiga på backupen oxå. Det är därför jag oftast kör mina backuper manuellt istället för automatiserat.. Ser jag samma fil med olika värden så kollar jag dem för att se vilken är skadad. Men med ZFS kanske den manuella syningen inte längre blir behövlig.

Tackar för länken.
Jag började ytligt läsa lite här https://docs.oracle.com/cd/E53394_01/html/E54801/zfspools-4.html
Och jag skäms inte för att säga att jag känner mig som en nybörjare trotts mina 34år med microsoft.. Snacka om äpplen VS grapefrukt... Inte en stavelse är lika mer än att det är datorhårdvara i botten som att det är ett träd de andra frukterna växer på.

Okej.. det kan ju vara bra att ha i åtanke om att det går att trimma filsystemet efter behovet.. Oftast är det ren lagring.. allt från små filer till några få GB.. över5GB stora i extremt få undantag.
När det kommer till mina stationära kommer jag fortsätta köra som jag gör nu med image backup på systemdisken ifall HDD'n kraschar eller att jag tabbar till mig i något övertrötts-tillstånd. Systemdisken ändrar sig ju aldrig mer än uppdateringar då jag inte installerar och avinstallerar program stup i kvarten.. så det spelar ju ingen roll om en system imagen är några år gammal lixom..
Datadiskarna är ju de som är primära frågan här.. och det blir ju att överväga zfs VS utrymme helt enkelt.

Servern utelämnar jag tills vidare, då jag inte är mogen nog att hantera linux servermilö ännu.
Samt det du sa om zfs och min hårdvaru raid, så måste jag ju kolla upp fakta först innan jag ens fortsätter på den tankebanan.
Det jag konstaterat sedan vi börja prata om ZFS i denna tråden är att ZFS bör köras ihop med ECC minnen.... så jag saknar gamla goda tiden där vanliga intel PC's gick att ha med eller utan ECC minnen.. bara en bios inställning ECC or Non-ECC.
Idag har ju inte ens ECC minnen samma pinnlayout som Non-ECC.. och vad attan kostar ett desktops modekort med ECC om det ens finns.

Ganska intressant att tråden gick från hitta program som kan rädda bitskadade filer till server och ZFS
Men då det är min tråd så anser jag det ontopic iallafall, då jag faktiskt har avsikt att köra linux och ZFS på servern, samt ZFS på stationära datorerna är ju bara bonus att ha ett säkrare filsystem.

Så nu har tråden två topics

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Det gör forfarande ont i mig att förlora mer än 2TB unik data pga. buggig USB/SATA-chip i WD-book med NTFS som filsystem i kombination med windows och man stänger den på 'korrekt sätt' - och windows skickade avstängskommandot för USB-drivern för kvick efter de två sista uppdateringarna av NTFS när den stängdes och dessa sektorer ersattes av slumpad data - närmare bestämt först sektorn av $MFT och reservsektorn $MFT_mir - det är inte bra för NTFS-filsystemet och extremt svårräddat att få ut filer med komplett och korrekt datadel även med program som R-studio... det är många gånger jag önskat att jag bara drog ut USB-sladden istället och det fick reparera filsystemet istället när man ansluter disken igen...

Detta var en tid då diskarna fortfarande var kännbart dyra att köpa för att ha dubbla backupper - ja tills man hade råkat på sin första riktiga dataförlust vill säga...

Sedan dess har jag inte NTFS som lagringsfilsystem på externa USB-backupdiskar och alltid i minst 2 upplagor utan det blev på ext4 och efter en ganska hård utvärdering sedan BTRFS och jag har aldrig haft en filsystemkrasch med förlorade filer eller icke monterbar drive sedan dess när det gäller externa USB-diskar.

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av xxargs:

Det gör forfarande ont i mig att förlora mer än 2TB unik data pga. buggig USB/SATA-chip i WD-book med NTFS som filsystem i kombination med windows och man stänger den på 'korrekt sätt' - och windows skickade avstängskommandot för USB-drivern för kvick efter de två sista uppdateringarna av NTFS när den stängdes och dessa sektorer ersattes av slumpad data - närmare bestämt först sektorn av $MFT och reservsektorn $MFT_mir - det är inte bra för NTFS-filsystemet och extremt svårräddat att få ut filer med komplett och korrekt datadel även med program som R-studio... det är många gånger jag önskat att jag bara drog ut USB-sladden istället och det fick reparera filsystemet istället när man ansluter disken igen...

Detta var en tid då diskarna fortfarande var kännbart dyra att köpa för att ha dubbla backupper - ja tills man hade råkat på sin första riktiga dataförlust vill säga...

Sedan dess har jag inte NTFS som lagringsfilsystem på externa USB-backupdiskar och alltid i minst 2 upplagor utan det blev på ext4 och efter en ganska hård utvärdering sedan BTRFS och jag har aldrig haft en filsystemkrasch med förlorade filer eller icke monterbar drive sedan dess när det gäller externa USB-diskar.

Gå till inlägget

mmmm, jag håller med fullkomligt.. det svider att förlora data... även om det bara är en liten superviktig fil.
Jag förlitar mig inte på köpes externa diskar.. jag köper kabinett för 3,5tum och 2,5tum(för transportdata) sedan sätter jag i lite mer kvalitetsdiskar.. Mina externa behandlar jag som mina interna.. backup på backup på backup.. Extremt viktiga filer som foton, dokument osv, det har jag utspritt på minst en bärbar, två stationära, servern samt på tre externa diskar, var av en offsite
Filmer, serier o musik har jag bara i HTPC'n + en extern hårddisk + servern för de som är svåra att få tag på.. skulle det gå förlorat så gråter man ju inte blod.
Servern har jag backup på extern disk, men bara en backup.. För det som ligger på servern finns oftast på minst en dator till och vissa saker på de andra externa.. Så att min servers raid skulle krascha till o-återställningsbar och att externa disken pajar, samt att den/de datorerna innehållet ligger spritt på dör samtidigt.. Det är för osannolikt... Bitröta känner jag är en större fiende.
Den dagen när varken tvdatorn eller servern går med windows, så kommer jag ju byta filsystem. Men minst en backup kommer jag ha kvar som NTFS.. för då kan jag låna en dator av en bekant i värsta fall o komma åt disken.

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av Marie SWE:

Det jag konstaterat sedan vi börja prata om ZFS i denna tråden är att ZFS bör köras ihop med ECC minnen.... så jag saknar gamla goda tiden där vanliga intel PC's gick att ha med eller utan ECC minnen.. bara en bios inställning ECC or Non-ECC.
Idag har ju inte ens ECC minnen samma pinnlayout som Non-ECC.. och vad attan kostar ett desktops modekort med ECC om det ens finns.

Gå till inlägget

För att Citera mig själv...
Efter 15-20minuters sökning på nätet verkar det som att det finns inga desktopsmodekort med ECC reg...
De flesta av mina datorers cpuer har stöd för ECC enligt ark.intel.com... Men vad hjälper det när det inte finns modekort som stödjer ECC ram minnen.
Jag hittade ett modekort som är till 8:e gens intel i3 det kosta över 4000:-
Så ZFS till desktop är nog inte bästa lösningen tyvärr

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av anon309108:

För att Citera mig själv...
Efter 15-20minuters sökning på nätet verkar det som att det finns inga desktopsmodekort med ECC reg...
De flesta av mina datorers cpuer har stöd för ECC enligt ark.intel.com... Men vad hjälper det när det inte finns modekort som stödjer ECC ram minnen.
Jag hittade ett modekort som är till 8:e gens intel i3 det kosta över 4000:-
Så ZFS till desktop är nog inte bästa lösningen tyvärr

Gå till inlägget

För att vara realistisk: Det ger fortfarande bättre datasäkerhet än ett annat filsystem utan ECC, men ja: det är vidrigt av Intel att ha gjort driftsäkert minne till en premiumprodukt lämplig endast för kommersiella ändamål.

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av Det Otroliga Åbäket:

För att vara realistisk: Det ger fortfarande bättre datasäkerhet än ett annat filsystem utan ECC, men ja: det är vidrigt av Intel att ha gjort driftsäkert minne till en premiumprodukt lämplig endast för kommersiella ändamål.

Gå till inlägget

Så sant.. själva filsystemet blir ju säkrare mot bitröta, men den kan fortfarande uppstå vid skrivning till disk.. samt med zpool och en felskrivning så tolkade jag det som att hela polen kan gå förlorad... Men jag har ju bara läst i 20minuter på sin höjd, så jag har ju inte grottat ner mig ännu, så jag kan ha en korrekt helhetsbild... Men jag har ju börjat ta första steget iallafall, tack vare er.

felet ligger ju hos moderkortstillverkarna att de fasat ut stöd för ECC tyvärr. Denna maskinen är en simpel billig i3:a 8gen intel (8100) och cpun har stöd för ECC.. Så intel gör ju billiga produkter med ECC stöd.. Men inga moderkortstillverkare längre.
När P3 var vanlig så hade ju nästan alla moderkortstillverkare stöd för ECC.. så jag antar att det började fasas ut med P4an o uppåt... Vilket är korkat, då man får mer driftsäkra datorer.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av anon309108:

Så sant.. själva filsystemet blir ju säkrare mot bitröta, men den kan fortfarande uppstå vid skrivning till disk.. samt med zpool och en felskrivning så tolkade jag det som att hela polen kan gå förlorad... Men jag har ju bara läst i 20minuter på sin höjd, så jag har ju inte grottat ner mig ännu, så jag kan ha en korrekt helhetsbild... Men jag har ju börjat ta första steget iallafall, tack vare er.

Gå till inlägget

Jag skulle inte vara särskilt orolig för det: Sättet ZFS fungerar på gör det osannolikt att det skulle trasa sönder sig självt. Inte att det inte kan hända - det är vad man har backuper till - men jag saknar efter så här många år helt oro för att det ska göra det.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

På min server kör jag snappraid för att se till att mina filer har en backup och mår bra. Tycker det fungerar fint och är enkelt.
https://www.snapraid.it/

Visa signatur

Ei bor i stockholm och tar inget ansvar för allt som han säger
7900, 64 gig ram, radeon r290
Solna arbetscenter

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av Det Otroliga Åbäket:

Jag skulle inte vara särskilt orolig för det: Sättet ZFS fungerar på gör det osannolikt att det skulle trasa sönder sig självt. Inte att det inte kan hända - det är vad man har backuper till - men jag saknar efter så här många år helt oro för att det ska göra det.

Gå till inlägget

njae, jag är väl inte direkt "orolig" om man säger så.. Det är väl mer att jag vill veta vad jag ger mig in på så att säga.. Jag har ju kört hårdvaruraid i 20år.. och att ge sig in i nya vatten är ju alltid en personlig osäkerhet innan man blivit bekant med det nya
Man vet inte hur saker funkar innan man har lyckat krascha det tio gånger. hahaha

Så sant.. Jag har mina backupper ifall min server dör.. Att plocka ut datan från den är ju en mardröm om man inte har samma att trycka i diskarna i.. Det är ju största nackdelen med hårdvaruraid.. Men samtidigt ger det en stabilitet då inte OS'et eller programvaror sköter det. Och det är bekvämt att stanna kvar i ett ekosystem man är van vid.. Men det är dax att släppa microsoft.
Edit.. Vet du om Raidz tål hotswap?

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av Ei:

På min server kör jag snappraid för att se till att mina filer har en backup och mår bra. Tycker det fungerar fint och är enkelt.
https://www.snapraid.it/

Gå till inlägget

Okej.. jag har aldrig hört talas om snapraid.. Kör du det på en server eller på en PC?
Jag kika lite snabbt på länken nu, men jag ska läsa lite mer sedan för nyfikenhetens skull så jag tackar för länken, men Det blir raidz eller att jag stannar kvar på hårdvaruraiden.. Framtiden får utvisa så att säga

Men ny kunskap är alltid skojigt, så jag tackar som sagt för länken.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Kör SnapRAID på Linux och det har funktionalitet för att se till att motverka bitrot på filer som ligger.
Det är ett trevlig program för en hemmaserver som tillsammans med mergerfs tillåter dig ta en massa olika diskar och använda dem ihop så de ser ut som en stor lagringsenhet.

Visa signatur

Huvudriggen är en Gigabyte Aorus Xtreme | 96gb DDR5 6000 | Ryzen 9950X3D | 5090
Utöver det är det för många datorer, boxar och servar för att lista :P

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av inquam:

Kör SnapRAID på Linux och det har funktionalitet för att se till att motverka bitrot på filer som ligger.
Det är ett trevlig program för en hemmaserver som tillsammans med mergerfs tillåter dig ta en massa olika diskar och använda dem ihop så de ser ut som en stor lagringsenhet.

Gå till inlägget

Jag har inte läst så mycket om snapraid, ännu, så jag har inte fått grepp om hur det funkar, men jag ska läsa lite mer om det senare
Hemmaserver? Sedan jag blev medlem på swecklockers har jag lärt mig att folk säger server om allt från laptops till serverhallar Hemmaserver var nytt ord, så jag får ödmjukt nyfiket fråga vad din definition av en sådan är i hårdvaruväg o användningsområde?

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av anon309108:

Edit.. Vet du om Raidz tål hotswap?

Gå till inlägget

Självklart - om din controller/HBA stöder det.

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av Det Otroliga Åbäket:

Självklart - om din controller/HBA stöder det.

Gå till inlägget

Kalas.. Då måste jag bara försöka ta mig i kragen och kolla upp det.

Redigera
Citera flera Citera
Permalänk
Avstängd
●
Skrivet av Det Otroliga Åbäket:

Jo, vi har nog pratat ZFS tidigare.
ZFS på Linux är definitivt inte omoget längre, sedan rätt många år. Det vidareutvecklas aktivt och används av några av världens mest dataintensiva forskningsanläggningar. Det filsystem man fortfarande ska vara (riktigt!) försiktig med i annat än enkeldiskkonfigurationer om man inte är säker på att man har tungan i rätt mun är BTRFS.

En av sidoeffekterna av hur ZFS fungerar är att plötsliga strömavbrott just inte är något stort problem: Data räknas inte som skriven förrän den är färdigskriven, och filsystemet arbetar enligt Copy-on-Write-principen (CoW), så man riskerar aldrig att stå där med en halvskriven fil oavsett när strömmen bryts.
Priset för detta är naturligtvis lite diskprestanda - men frågan är om du märker något av det i verkligheten. Jag mättar i princip mitt gigabitnätverk hemma när jag skriver sekventiellt till mekanisk disk på filservern hemma. Mina virtuella servrar kör jag huvudsakligen från SSD, och i kombination med typen av last de kör innebär det att jag inte upplever några hastighetsproblem.
Jag gjorde bedömningen att det inte är värt den ekonomiska kostnaden att köpa en högkvalitets, skrivintensiv SSD att använda som skrivcache (SLOG) för mina behov, och för läsning är det nästan under alla omständigheter bättre att ha ett par GB extra minne än en läscacheenhet (L2ARC).

(Ironiskt nog är nog Ubuntu det enklaste att köra ZFS på idag, om vi pratar distributioner. Filsystemet är ju inte GPL-licensierat, så RedHat-derivat brukar vara lite skeptiska till att hjälpa till, även om det naturligtvis går där också.)

Men ja: Jag håller fullständigt med dig om backuper - så länge man upptäcker om något gått snett innan det försvunnit ur ens retention.

Gå till inlägget

Nackdelen som är enorm på ZFS som jag stött på en gång..
disken blir full.. du "kan inte" tabort en fil, eftersom det saknas utrymme att tabort filen.
Sketakrångligt att force-deletea filer när ZFS är knökfull. :/

Redigera
Citera flera Citera
Permalänk
Inaktiv
●
Skrivet av stgr:

Nackdelen som är enorm på ZFS som jag stött på en gång..
disken blir full.. du "kan inte" tabort en fil, eftersom det saknas utrymme att tabort filen.
Sketakrångligt att force-deletea filer när ZFS är knökfull. :/

Gå till inlägget

Tack för tipset
Då får man ha koll på utrymmet... Lite som linux.. den varnar inte när det blir fullt på diskarna utan helt plötsligt blir det tvärstopp utan förklaring, tills man råkar se i filhanteraren att det är fult.
Så det saknar jag från windowsgnället... Hårdisken har lite diskutrymme kvar o sedan en jobbig påminnelse stup i kvarten.

Redigera
Citera flera Citera
1 2
Skriv svar