Hårdvaruraid vs ZFS, på hemmabygge?

SATA NCQ är ett *krav* för att alla filsystem (inkl erat älskade ZFS) inte ska tappa data vid strömavbrott (om man kör med skrivcache vill säga, men utan det går det extremt långsamt).

Det finns helt enkelt inget annat sätt att veta vad som egentligen skrivits till disken eller inte.

Om du har en SATA-disk i IDE-läge med skrivcache på kommer alla skrivoperationer att returnera direkt (tills man fyller den interna kön) och hårddisken kan skriva ner dessa i vilken ordning den vill och när den vill, så det går inte att veta vilka av dessa som är påbörjade, utförda eller påbörjade men ej avslutade.

NCQ i SATA II (i gamla SATA fungerade det sämre) låter dig skapa en kö med operationer, skicka data för allting och sedan när som helst få tillbaka status om vilka av dessa operationer som är klara eller påbörjade.

Sen måste ju mjukvaran, diskarna och HD-kontrollern etc stödja detta.

Det är ju sant, men det är precis därför jag kör rebuilds och consistency checks på arrayen så gått som hela tiden - data skyfflas konstant mellan diskarna och följer man HD tillverkarnas unrecoverable error-rates borde jag råka ut för ett catastrophic fel vid varje rebuild.

Nu kan det ju vara så att LSI kortet jag använder är bättre än många andra på recovery - det är trots allt samma typen kort som de flesta enterprise lösningar kör; men oavsett så är ju utkomman den samma - att alla dessa HW RAID "fel" verkligen inte är så troligt.

Min förståelse av NCQ är att det snabbar upp åtkomsttiden rätt mycket på pappret, men ganska lite i praktik. Det man gör är att skapa en "kö" av kommando'n, normalt sett utförs dessa sedan i turordning - precis som på banken där det går 1-2-3-4-5-6-7 osv. Med NCQ påslaget skapar man fortfarande samma kö, men beroende på var på disken operationen ska utföras exekveras kön i annan nummerordning, f.ex. 1-3-4-6-7-5-2.

Kör man Vista (eller senare - eller de flesta nyare *IX) samt har sin diskkontroller i AHCI mode ska NCQ vara enabled oberoende av drivrutiner. Under XP måste man in med en NCQ enabled drivare även on AHCI är påslaget.

Jag tror inte HW RAID kommer blir borta någon gång snart - visst kan det köras [nästan*] lika bra genom SW, men kraften måste tas ifrån någonstans. De flesta SW lösningar tar detta direkt från din processor vilket ger minskad beräkningskraft till "actual work". Oftast kan man specificera hårdwara utefter behov, så att man tar med en SW RAID cpu overhead i sina initiella specs - men ta en SQL Server f.ex. som kan behöva 5TB lagringsplats, inte fan om du klarar hitta en DBA som tillåter att cpu kraft på en sådan server "försvinner" pga diskaccess.

Se bara på alla GPU beräkningsprog som kommer nuförtiden; om allt kunde köras lika bra i software som på dedikerad HW ville vi aldrig sett f.ex. en Folding@Home klient som körs på din Nvidia GPU, och detta visar ju en annan sak också - vissa typer beräkningar är inte lönt (i ören/kronor per beräkningscycle) att köras på en "motsvarande" CPU. Om jag slår ihop mina två 8-core Xeon server's är de lika snabba (ungefär) som ett grafikkort när det gäller Folding@Home. 4 Xeon processorer (även fast jag har de dyrare strömsnålare varianterna) drar 200w under full load - ett highend Nvidia kort drar [lite] mindre energi, arbetar [lite] snabbare och kostar i inköp lika mycket som en Xeon CPU.

Just pga denna typen hardware, vare sig om det är en GPU eller Intel IOP330 arbetar både Intel/AMD och VMWare/Xen/KVM/Parallels med VT-d/IOMMU utveckling som gör att man kan virtualisera moderkort/cpu/ram, men köra "beräknings" HW direkt på varje VM.

*) en SW array kan exempelvis inte köras med BBU. Visst, en UPS ger som oftast samma säkerhet, men om moderkortet skulle bränna kan man f.ex. flytta en existerande HW kontroller med [eller tillomed endast] BBU till ny maskinvara utan dataförlust - det kan man inte om moderkortet eller minnet är förstört.

That's my $0.01

För att följa upp din del om att dra allt på CPUn. I och med att CPUn blir allt "starkare" kommer fler och fler saker att dras tillbaks på CPUn, Om några årtionden (tror inte det blir förr) kommer nog det mesta fasas av och gå över på mer general purpose processorer. Grafikkorten kommer fasas ut, ljudkorten, raidkorten osv, eftersom Processorn kommer vara så mycket enklare och bättre. Visst CUDA / OpenCL är jättebra idéer och passar formatet vi har på våra maskiner i dagens ordning, fast om några år kommer man nog skratta år det.

Vad kom du till för slutsats av dina tester? Ingen större skillnad, eller?

Iallafall, nu har det hänt; en 2TB array har gått åt helvete. RAID6 tillomed. Började med att jag fick en mail om att en av mina diskar var "inoperable", vilket inte var speciellt oroväckande, jag körde bara igång en rebuild på en av mina spares och tänkte inte mer på det... Förräns jag plötsligt märker att jag inte längre har tillgång till \\STOR\Media\Audio\Albums - weird. Startar mitt RAID verktyg och kopplar till servern ifråga och ser att tre diskar nu är märkta som inoperable och min array är ej längre partially degraded utan är nu offline. Helvete tänker jag lite småhögt. Jaja, försöker att forca diskarna online igen (eftersom jag vet att de är helt OK), och nothing - nu hänger sig tillomed verktyget (mumlar något om firmware fel på HBA) och jag bestämmer mig för att starta om maskinen - det var enklare att RDPa in till servern och köra en restart än att klä på sig vinterbeståndigt och faktiskt dra ut / sätta tillbaka RAID kontrollern (hotswap), sagt och gjort, väntar någon minut på att maskinen ska börja vara på ping igen och försöker logga på. Ingenting händer. Fortfarande inte speciellt lust att dra på sig overallen för att besöka servern cyclar jag helt enkelt strömmen till den (tacka fan för IP kontrollerade grenuttag ) och försöker igen. Ja, nu startar den upp som vanligt och allt är frid och fröjd tror jag, men nejdå, det visar sig att orsaken den inte startade första gången var pga att OSet bestämt sig för att "kontrollera" min 2TB array (som tydligen hade kommit tillbaka ifrån "offline" till "healthy" status) och samtidigt börjat rövk****a filsystemet - när jag sedan cyclade strömmen gick väl allt åt skogen. Smart som jag är besökte jag nu servern, drog diskarna och tog med mig tillbaka för att återskapa arrayen lokalt och rädda data't - det jag inte tänkte på var att skriva upp vilken disk som satt var eftersom mina kontrollers använder sig av COD - configuration on disk - och hittar fram till detta själv. Självklart fungerade det inte såhär denna gången och jag sitter nu med 6 diskar, varav data integriteten på en är helt kass, filsystemet på arrayen är "raw" och ingen aning om vilken disk som ska kopplas vart. Detta var en vecka sedan eller så, sedan dess har jag försökt hitta programvara som kan återskapa RAID 6 (iställetför RAID0, RAID5 som verkar mycket vanligt) - är lite närmare, då jag har kommit fram till block size (64kb) samt vilken disk som är nummer 1 och kan återskapa filer från arrayen utan problem, dock är det fortfarande ordningsfel eftersom filerna dyker upp som (exempelvis) ADFCBE iställetför ABCDEF.

Iallafall, nog om det - jag hade en fråga här Om samma sak (ok, liknande) hände med en ZFS array, vilka möjligheter finns det att få tillbaka data därifrån? Vad jag sett finns det inga forensic utilities som hanterar ZFS raid/diskar och enda möjligheten verkar då vara ett recovery lab - vilket kostar skjortan här i landet, jämfört med f.ex. UK där de ger dig en gratis uppskattning och no recovery, no fee garanti. Kan jag ta en ren image av diskarna och skapa en "virtuell" array av dessa för att försöka pussla ihop bitarna eller är loppet kört för ZFS i sånna här fall?

Jag är egentligen lite smått osäker på exakt vad som hände - verkar som om min kontroller fick spratt och tappade först en disk, sedan tre, därefter krashade den helt enkelt (gav iallafall firmware errors i loggen).

Vid den här tidspunkten var arrayen offline pga inoperable disks men tydligen var den tillbaka online igen vid reboot (vid eftertanke skulle jag såklart rest på rumpan och besökt servern med en gång) då Windows bestämde sig att kontrollera disken och (enligt loggar) ändra MFT totalt.

Det här är ju Murphy's law till 100% eftersom den [arrayen] och andra har fungerat i ... evigheter. Tyvärr var det här min backup då jag precis hade flyttat över mina viktiga data till den för att byta ut de sista diskarna mot nya WD 2TB Fotografier, dokument, projekt, kod etc ifrån 1995 och framåt. Bilderna lyckades jag rädda eftersom jag hade kvar den gamla disken, resten hadde redan gått igenom fullständig erase.

Verkar dock som om jag ska kunna rädda det som ligger där bara jag lyckas sätta diskarna i rätt ordning, med rätt blocksize osv. UFS Explorer har ett virtuell RAID6 mode som jag jobbar med nu - andra produkter, så som RAID Reconstructor, R-Studio, File Scavenger etc stödjer bara upp till RAID5.

Ohh yah, supporten säger att sålänge jag kan klura ut hur diskarna satt kan jag helt enkelt bygga en ny array med samma diskar och inställningar - samt att jag borde tagit en backup innan jag tog bort de gamla diskarna.. Jodå, de har väl ett poäng där