OpenSolaris 2009.06 är här!

zfs finns väll redan för OS X? Fast det var väll bara tänkt för server pga att zfs drar en hel del.

Gällande mitt problem med att min tank-pool blivit fruktansvärt långsam pratade jag lite med en kollega på jobbet och han sa i princip att det ju beror på att filsystemet flyttar runt en massa skit för att kunna allokera långa fina raka segment. Allt för att inte få fragmentering, vilket ju i sig är bra. Läste vidare kring det och hittade blog-posten "ZFS runs *really* slowly when free disk usage goes above 80%". Har provat detta men det avhjälper inte problemet för mig.

Ser fortfarande ut något såhär när jag flyttar en mapp med ett flertal 50 till 200 MB filer:

% zpool iostat tank 2
               capacity     operations    bandwidth
pool         used  avail   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
tank        8.64T  2.23T     18      9  1.27M   778K
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      1      0   255K
tank        8.64T  2.23T      0    657      0  67.3M
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      1      0   255K
tank        8.64T  2.23T      0    610      0  64.5M
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
tank        8.64T  2.23T      0      0      0      0
^C
% zfs list tank
NAME   USED  AVAIL  REFER  MOUNTPOINT
tank  6.47T  1.54T  60.6K  /tank
% top     (efter ungerfär 1 GiB)

load averages:  0.04,  0.03,  0.04;      up 0+00:32:48      23:16:47
57 processes: 56 sleeping, 1 on cpu
CPU states: 97.0% idle,  0.0% user,  3.0% kernel,  0.0% iowait,  0.0% swap
Kernel: 2110 ctxsw, 5948 intr, 113 syscall
Memory: 7167M phys mem, 3067M free mem, 3583M total swap, 3583M free swap

   PID USERNAME NLWP PRI NICE  SIZE   RES STATE    TIME    CPU COMMAND
   521 root       18  59    0   16M 9556K sleep    0:06  0.53% smbd

   [resten saxat, inget som drar mer än smbd]

Någon som känner igen att inget görs enligt "zpool iostat" men ibland så går en massa write-operationer ut? Går enligt klienten i ~3 MB/s. Det som är värst är att CPU:n inte gör något och att det knappt finns några IO-operationer vad jag kan se, förstår inte vad det är OSOL/ZFS gör som orsakar denna mer än 20 faldiga prestandaförsämring!

Funderar däremot på om det inte skulle kunna hjälpa att lägga till en L2-cache (dvs. en SSD disk) eftersom read funkar utan problem. Det är först när jag ska göra en write-operation som hela prestandan dör (read och write gör självklart att read går lika trögt som write). Mina funderingar gällande detta innan jag bestämmer mig för att köpa en SSD disk är främst huruvida det faktiskt kommer göra någon skillnad, hur långa tid det tar innan ZFS bestämmer sig för att skriva ner L2-cachens innehåll på "long-term storage" diskarna och huruvida detta då återigen kommer att totalt döda prestandan. Vill ju inte mitt under det att jag streamar/kopierar något ifrån servern att prestandan ska gå ifrån god till usel. Vad säger ni?

Jag vet vad du har för problem! Jag har själv råkat ut för de där för ungefär 1 år sen!
Vad som har hänt för dig är förmodligen så att en av diskarnas SMART funktion har lagt av eller håller på att lägga av. skriv iostat -exn kör sen en scrub på zpoolen kolla därefter igen med iostat -exn, leta reda på den disk som inte hänger med! när du väl har hittat disken ta ut den då får du tillbaks hastigheten!
Ersätt gamla disken med en som är felfri

Att det ser ut som att skrivningar görs i bursts är nog tämligen normalt, zfs är ju transaktionellt och transaktionerna går mot ARC:en först och skrivs ut till disk med jämna mellanrum.
Vad som gör att klientprestandan är så usel vet jag inte dock, har inte hängt med riktigt tidigare i tråden. Såg att nån tipsade om smart. Annars kan det kanske vara intressant att använda dom IO monitoreringsscript som finns i dtrace-toolkitet (finns en hel del intressant under /opt/DTT om du har det installerat) för att se lite mer om den IO som sker. Kanske kan vara svårt att dra några slutsatser dock men ger nog en bättre bild än att kolla top osv. Hur mycket minne du har till ARC:en kanske också kan vara intressant, går att se med mdb har jag för mig (googla opensolaris arc size el dyl så får du bättre svar än vad mitt minne kan ge ) ARC:en sizas ju dynamiskt så har du en massa annat minneshungrigt igång samtidigt så krymper den. Dock verkar ju kanske inte det vara problemet i ditt fall att döma av hur ofta arcen flushade enl zpool iostat.

Tack Goliath2000, ska prova så fort jag har tid

Såg det här idag på twitter (av Darren Moffat, killen som gör/gjorde ZFS Crypto):

@darrenmoffat

Länken expanderas till:
site - Announcement - Illumos Project

Jag ska i dagarna kasta ut min readynas duo och bygga mig en filserver och opensolaris med zfs verkar kanon. Ni får ursäkta om dessa frågor redan är besvarade men hinner inte läsa alla 31 sidorna.

1. Hur viktigt är systemdisken? Hade tänkt ta en 1 år gammal 2.5" från en macbook pro då min polare ska byta. Duger det?

2. Jag har fäst mig vid torrent webguit som finns på min readynas, finns det något liknande?

3. Jag har redan 2st WD 1.5 tb greenpower och tänkte skaffa 2 till. hur står sig prestandan mellan att spegla 2 par och sedan köra raid0 (raid10?) och raidz? Jag vet att alternativ ett endast ger 50% utrymme.

/Fredrik

1. Hur viktigt är systemdisken? Hade tänkt ta en 1 år gammal 2.5" från en macbook pro då min polare ska byta. Duger det?
Den duger!

2. Jag har fäst mig vid torrent webguit som finns på min readynas, finns det något liknande?
Vet ej använder själv ej sådant.

3. Jag har redan 2st WD 1.5 tb greenpower och tänkte skaffa 2 till. hur står sig prestandan mellan att spegla 2 par och sedan köra raid0 (raid10?) och raidz? Jag vet att alternativ ett endast ger 50% utrymme.
Först och främst, du ska inte köra RAID-0 eller någon annan nivå (exlusive raidz* så klart) ty ZFS tycker inte om vanlig RAID! Det du kan göra som är som RAID-10 är att skapa två stycken så kallade vdev:s (vdev = virtual device och är en av byggstenarna i ZFS) och lägga till dessa i din zpool väldigt enkelt gjort:

# zpool create tank mirror cXXXXXX1 cXXXXXX2 mirror cXXXXXX3 cXXXXXX4

Otestat men det bör ge dig en zpool vid namn "tank" med två stycken mirror vdev:s (dvs. ekvivalent med RAID-10).

Nu till prestandan, en zpool med två mirror vdev:s ska mig veterligen ge prestanda som två vanliga diskar samtidigt. Alltså dubbel prestanda mot en mirror (eller disk). En zpool med endast en raidz1 vdev ska ge ungefär samma prestanda som en vanlig disk.

Generellt, med vissa skillnader, gäller att varje vdev i en zpool ger lika prestanda som den sämsta disken i den vdev:en Så

I zpool "tank" ger:
1 vdev = likvärdig prestanda som 1 disk
2 vdev = likvärdig prestanda som 2 diskar som används samtidigt
3 vdev = likvärdig prestanda som 3 diskar som används samtidigt
...

Notera att jag här med prestanda endast syftar på MiB/s och inte IOPS!
Följande blog-poster testar prestandan på två rätt extrema setups (20 diskar), den ena med en zpool med tio stycken mirror vdev:s med två diskar i varje vdev och en zpool med fyra raidz1 vdev:s med fem diskar i varje vdev.
Av de posterna kan man dra följande slutsatser:

• mirror ger bättre IOPS prestanda

• raidz1 ger bättre MiB/s pretanda

I övrigt skulle jag rekommendera att vänta lite dock. Dels på det som jag postade en länk till tre inlägg upp och hur det blir nu i mitten av augusti som OSOL Governance Board har satt som deadline för Oracle att säga vad de tänkt göra med OSOL.

Är det så smart att hänga upp sig på just OpenSolaris? OpenSolaris (distributionen fd Indiana) världen är väldigt diffus just nu även om det finns distributioner som Nexenta och (kanske?) Illumos. Det kanske är ide att titta lite på FreeBSD som också har ZFS stöd? Eller åtminstone skapa zpoolerna så FreeBSD kan accessa dom?

Det är helt okej att du inte hinner läsa alla 31 sidor här. Du är antagligen fullt upptagen med att plöja igenom opensolaris.org, opensolaris.com, alla bloggar (t ex A Home Fileserver using ZFS) och läsa böckerna som OpenSolaris som finns på biblioteket.

Tack för det snabba svaret! Det var intressanta länkar även om jag nöjer mig med något färre diskar...
Nu är jag inte så intsatt i Sun/Oracle affären men är det risk för att OSOL skrotas?

Edit:
Här går det undan! Transmission var precis det jag letade efter.
Anledningen till att Opensolaris intresserade mig var den enkla anledningen till att det verkar fungera fint med bra prestanda. Jag ska erkänna att den här världen är ganska ny för mig men dagens versioner verkar vara kompenenta och ha det jag är ute efter.

Det känns som att allt jag väljer kommer vara ljusår bättre än min readynas.

Kort och gott så finns det en större risk att Oracle inte kommer att satsa på OpenSolaris på samma vis som SUN gjorde. Senaste "stabila" versionen kom i juni 2009 och det skulle ha kommit en ny i mars 2010. Det kom ingen och det har heller inte postats någon ny development/beta/alpha build som det brukar göras i princip varje månad på rätt länge nu (sedan i mars/april eller något sådan). Många har därför börjat se sig om för alternativ.

Ser just nu inte just ut! I dagens läge bör man nog skapa sin zpool med version 14 (som är det senaste FreeBSD implementationen kan använda, as of 2010-08-01).

Att det kommer finnas nya distar är det nog ingen som betvivlar eller försöker hävda, däremot känns det lite smått som att OSOL mainline är halvt död och att Oracle inte längre kommer att lägga ner några av sina resurser på att underhålla just OSOL mainline disten. Om Oracle annonserar vad de tänkt göra med OSOL i september kommer ju "governance board" redan ha stängt butiken och gått hem? Det tycker inte jag bådar speciellt gott för OSOLs framtid.

Personligen hoppas jag just nu på Illuminos eller att FreeBSD ska komma med en ZFS version som matchar eller är nyare än min (19). Kommer i vart fall inte byta ner mig till Linux, det är ett som är säkert. Usch, inget ZFS och så skulle man tvingats in i någon konstig politisk sekt där alla visst avgudar någon form av leviterande gnu (;))

Ja vi får helt enkelt se vad som bjuds i morgon! Den som lever och orkar vänta får se

Jag läste på idg.se just nu att opensolaris gruppen kommer att bryta med oracle ,, det kommer att annonseras imorgon. Trötta Opensolaris-utvecklare bryter med Oracle - IDG.se Är det någon som vet mer ?

Intressant tråd det här. Om jag förstod saken rätt så får man "raid10" enbart genom att spegla 2 par diskar och lägga till dessa i sin zpool? Hur fungerar det och hur fördelas datan om man lägger till speglingarna vid olika tidpunkter?

/Fredrik

Slides från Illumos-presentationen: http://www.illumos.org/attachments/download/3/illumos.pdf