TrueNAS Core slut på utrymme efter scrub

Permalänk
Medlem

TrueNAS Core slut på utrymme efter scrub

Hej på er,

Är ingen fena på varken ZFS eller TrueNAS men har fått ett märkligt problem.
Det började med att jag uppdaterade TrueNas till 12.0-U8.1
Jag har alltid uppdaterat då det dyker upp nya versioner av ren vana.

Nasen har 2 pooler med 9 diskar i varje pool som är konfigurerade som raidz2.
Varje pool har har ett cache konfigurerat som består av 2st 500gb ssd i raidz1

Denna uppsättning har jag haft något år och det har fungerat bra med några byten av trasiga
diskar.
Efter den senaste uppdateringen så fungerade allt bra tills det var dags för en scrub.
Finns ett jobb konfigurerat som kör scrub varje 35 dagar på båda poolerna.

Scruben kom en bit sedan som började maskinen starta om hela tiden
så fort den började scruba igen.

Jag nedgraderade till version 12.0-U6.1 och då fungerade scruben av båda poolerna utan problem
eller omstarter.

Dock så märkte jag i Dashboard att min pool var 100% full. Det var den inte innan scrub/nedgradering.
Har inga exakta siffror men det var ca 1TB ledigt på varje pool (49TB totalt per pool)

Min fråga är var denna utrymme har tagit vägen.

Permalänk
Medlem

Är scrub helt färdig?
Kan du posta resultaten av "zpool status -v", "zfs list" och "zfs list -t snap"

Permalänk
Medlem
Skrivet av Xcorp:

Är scrub helt färdig?
Kan du posta resultaten av "zpool status -v", "zfs list" och "zfs list -t snap"

Ja scruben vart helt klar utan fel i den äldre versionen.
Här är lite resultat från zpool och zfs list.

TrueNAS

Testade att flytta ut ca 50GB från en av poolerna igår men ledigt utrymme visade 0 ändå efter flytt.
Filerna var inte kvar heller när jag kollade efteråt :/

Permalänk
Medlem
Skrivet av Superthug:

Ja scruben vart helt klar utan fel i den äldre versionen.
Här är lite resultat från zpool och zfs list.

TrueNAS

Testade att flytta ut ca 50GB från en av poolerna igår men ledigt utrymme visade 0 ändå efter flytt.
Filerna var inte kvar heller när jag kollade efteråt :/

När du tar bort filer från ZFS så får du inte tillbaka utrymmet med en gång.
Det du egentligen gör är att ta bort pekaren, rensningen av data görs i bakgrunden. Men efter en minut eller så borde du se några GB ledigt iaf.

Du har ju inga snapshots som tar plats.
Om du kör "ncdu /mnt/xxx0" motsvarar det ungefär vad ZFS säger är använt eller diffar det mycket?
Om du kör compression på ZFS så tryck "a" när scannen är klar.

Permalänk
Medlem
Skrivet av Xcorp:

När du tar bort filer från ZFS så får du inte tillbaka utrymmet med en gång.
Det du egentligen gör är att ta bort pekaren, rensningen av data görs i bakgrunden. Men efter en minut eller så borde du se några GB ledigt iaf.

Du har ju inga snapshots som tar plats.
Om du kör "ncdu /mnt/xxx0" motsvarar det ungefär vad ZFS säger är använt eller diffar det mycket?
Om du kör compression på ZFS så tryck "a" när scannen är klar.

Jaha ok. Nu har det dock gått någon dag så det är ju lite skumt att den inte frigör utrymme.
Total disk usage: 49.0 TiB Apparent size: 49.8 TiB
Fortfarande 0kb ledigt. Vore kul att veta vart den där 1TB drygt tog vägen som var där innan scrubben

zpool visar ju en del utrymme ledigt som kan stämma med vad jag hade ledigt i Dashboarden som TrueNAS visar
xxx0 65.5T 64.3T 1.19T - - 14% 98% 1.00x ONLINE /mnt
xxx1 65.5T 64.2T 1.28T - - 7% 98% 1.00x ONLINE /mnt

Behöver jag kanske köra en till scrub eller nåt?

Permalänk
Medlem

Hmm, inga reservationer som du (eller TrueNAS) satt?
"zfs get reservation"
posta gärna outputen av "zpool list -v" också

Permalänk
Medlem
Skrivet av Xcorp:

Hmm, inga reservationer som du (eller TrueNAS) satt?
"zfs get reservation"
posta gärna outputen av "zpool list -v" också

Reservationer står det None på alla mina datasets i poolerna.
Här är pastebin på zpool list -v
Pastebin

Det är inget som har växt med tiden och jag fått slut på utrymme utan det försvann helt
pang boom vid nedgradering och scrub.

Permalänk
Medlem

Jag har aldrig kört TrueNAS, men väl ZFS i hyffsade miljöer.
En snabb sökning gav följande, https://serverfault.com/questions/796796/why-does-zfs-list-an...

I din uppgradering så kanske det även gjordes en uppgradering av zpoolen, som kan ha påverkat något.
Då det handlar om ca 2% så skulle jag tippa på att svaret är som i länken ovan och att det faktiskt är fullt i poolen.
Vill man ha lite prestanda så är rekommendationen att inte fylla poolen till mer än ca 80%, speciellt på spinnande diskar, då det börjar bli fragmentering på större filer efter det. Spelar såklart ingen roll om det är cold-storage eller liknande där prestanda inte är prio.

Permalänk
Medlem
Skrivet av Xcorp:

Jag har aldrig kört TrueNAS, men väl ZFS i hyffsade miljöer.
En snabb sökning gav följande, https://serverfault.com/questions/796796/why-does-zfs-list-an...

I din uppgradering så kanske det även gjordes en uppgradering av zpoolen, som kan ha påverkat något.
Då det handlar om ca 2% så skulle jag tippa på att svaret är som i länken ovan och att det faktiskt är fullt i poolen.
Vill man ha lite prestanda så är rekommendationen att inte fylla poolen till mer än ca 80%, speciellt på spinnande diskar, då det börjar bli fragmentering på större filer efter det. Spelar såklart ingen roll om det är cold-storage eller liknande där prestanda inte är prio.

Ja i länken du hänvisar till förstår ju killen inte att hans paritetsdiskar visas som utrymme i zpool.
Det är ju inte riktigt samma problem som hos mig.
Problemet hos mig är ju att zfs visade 1TB ledigt innan nedgraderingen och scruben och nu 0kb.
Även när jag tar bort 50GB data så visade den ju fortfarande 0kb ledigt.
Frågan är om jag ska prova att flytta ytterliggare och se vad som händer...
Jag har googlat en hel del och inte lyckats hitta så mycket matnyttigt tyvärr.

Permalänk
Medlem
Skrivet av Superthug:

Ja i länken du hänvisar till förstår ju killen inte att hans paritetsdiskar visas som utrymme i zpool.
Det är ju inte riktigt samma problem som hos mig.
Problemet hos mig är ju att zfs visade 1TB ledigt innan nedgraderingen och scruben och nu 0kb.
Även när jag tar bort 50GB data så visade den ju fortfarande 0kb ledigt.
Frågan är om jag ska prova att flytta ytterliggare och se vad som händer...
Jag har googlat en hel del och inte lyckats hitta så mycket matnyttigt tyvärr.

Ah, sorry läste bara väldigt snabbt
Provat att göra export/import av poolen?
Det är inte så att filerna du tar bort är öppna av någon process, då tas inte filpekare bort från disk förrän file-handlern stängs.
Har för dålig koll på hur man listar öppna filer i BSD, på linux ser du dom med "lsof | grep deleted"
Du kan ju prova att ta bort lite mer och sen starta om...

Permalänk
Medlem
Skrivet av Xcorp:

Ah, sorry läste bara väldigt snabbt
Provat att göra export/import av poolen?
Det är inte så att filerna du tar bort är öppna av någon process, då tas inte filpekare bort från disk förrän file-handlern stängs.
Har för dålig koll på hur man listar öppna filer i BSD, på linux ser du dom med "lsof | grep deleted"
Du kan ju prova att ta bort lite mer och sen starta om...

Flyttade ytterligare 30GB och startade om och det är fortfarande 0K ledigt visar zfs list
Ska prova den nyaste igen och se vad den visar. Hoppas den inte crashar och förstör något.

Permalänk
Medlem

Hör och häpna. När jag bootar in i senaste versionen 12-U8.1 så finns utrymmet igen.
xxx0 49.0T 800G 366K /mnt/xxx0

Permalänk
Medlem
Skrivet av Superthug:

Hör och häpna. När jag bootar in i senaste versionen 12-U8.1 så finns utrymmet igen.
xxx0 49.0T 800G 366K /mnt/xxx0

Gött
Olika versioner av binärerna kanske, och eventuellt i kombo med uppdaterad pool som de gamla binärerna inte hanterade korrekt.
Skönt att det löst sig iaf!

Permalänk
Medlem
Skrivet av Xcorp:

Gött
Olika versioner av binärerna kanske, och eventuellt i kombo med uppdaterad pool som de gamla binärerna inte hanterade korrekt.
Skönt att det löst sig iaf!

Ja utrymmet är löst men denna version klarar inte av att scrubba utan att crasha.
Men vi får se, jag låter den vara på så kanske det kommit en update tills det är dags
för nästa scrub.

Permalänk
Medlem
Skrivet av Xcorp:

Gött
Olika versioner av binärerna kanske, och eventuellt i kombo med uppdaterad pool som de gamla binärerna inte hanterade korrekt.
Skönt att det löst sig iaf!

Provade på en annan enhet. Så här ser det ut då jag endast bootade mellan dem.
Detta är då ledigt utrymme rapporterat i webinterfacet.

TrueNAS 12-6U.1
xxx0 3.37TB
xxx1 5.67TB

TrueNAS 12-8U.1
xxx0 4.54TB
xxx1 6.84TB