RAID-fråga

Du kan använda ett mjukvaruraid, så du behöver inte hårdvaruraid kort. Windows 8, har inbyggd mjukvaruraid med det nya filsystemet ReFS. Då behöver inte moderkortet stödja raid eller nåt sånt. Raidfunktionaliteten får du via mjukvara, via OSet. Jag tror Windows är enklast för dig. Linux är mer avancerat och svårare - men det kanske är nyttigare kunskap. Om du ska söka jobb i framtiden kan det vara bra om du redan bekantat dig med Linux. Om du verkligen är nojjig med dina filer och vill ha så bra skydd du kan, så bör du köra FreeBSD eller Solaris med ZFS som är ett mycket säkert mjukvaruraid.

RAID är till för att få hög uptime, dvs slippa ta ner servern om en disk lägger av. Det skyddar inte ditt data om t.ex. filsystemet kukar ur, eller du får in virus eller råkar radera fel prylar. Där måste du ha backup iaf.

Frågan är: MÅSTE du ha hög uptime, eller gör det inget om servern går ner en stund tills dess att du plockat från backup:en? På en hemmaserver brukar det inte vara så viktigt med 100% uptime, lite värre om man driver försäkringskassan eller en internetbank.

Olika raid:
Hårdvaruraid: med riktigt raid-kort. Har eget minne och processor som sköter raid-beräkningarna. Snabbt. Dyrt. Problem om du vill byta chip i framtiden eller om raidkortet dör (skaffa ett likadant).
Mjukvaruraid: mjukvara sköter raidberäkningarna i vanliga CPU. Billigt. Tar lite CPU-kraft (dock inte så mycket). Fördel att man kan flytta raid-volymer hur som helst (nästan). Ej chipbundet.
Fake-raid/chipset-raid: Moderkortets inbyggda raid. Det är samma sak som mjukvaruraid. CPU sköter beräkningarna. Billigt. Tar CPU-kraft precis som mjukvaruraid. Du kan inte flytta raid-volymerna fritt utan måste ha liknande chip (problem om moderkortet dör och du byter helt system).

Det du först behöver fundera på är: Behöver du raid? Måste burken vara uppe 24/7? Raid är INTE samma som säkrat data.

Hur mycket det skiljer mellan mjukvaru- och hårdvaruraid beror helt på vad du menar och vad du jämför med. "Ordentliga" kontrollerkort för t.ex SAS-diskar brukar ligga på 300MB/s per kanal eller 3Gb/s per port. Resten beror på raidkonfiguration, batteribackup och mängd cache. Dessa tappar då garanterat inga hårddiskar i normalfallet.

Raidkonfigurationen för de logiska enheterna skrivs även på hårddiskarna så ett ominstallerat OS ska normalt inte ha några problem att monterat en befintlig raidgrupp.

Alla kontrollerkort har sitt eget sätt att hantera raidgrupper och på riktigt billiga kort kan skillander i firmware vara tillräckligt för att data ska bli oläsligt för det nya kontrollerkortet.
Tillvekrare som t.ex HP brukar ange i prduktspecifikationerna om kortet måste ersätta med samma modell eller om det räcker med ett kontroller från samma serie/familj. De senare brukar dock kosta en rejäl slant vill jag minnas.

Raid 5 fungerar ypperligt i de flesta fall för datalagring, utan krav på accesstid, och sannorlikheten att två hårddiskar går sönder samtididigt är antagligen tillräckligt låg för de flesta. Oavsett om vi pratar hård- eller mjukvaruraid. Raid 10 (1+0) kan visserligen klara två defekta hårddiskar under vissa förutsättningar men ger mycket riktigt halva kapaciteten.

I mjukvaruraid används RAM-minnet, så cache finns (raid 5/6 kräver cache för att fungera över huvudtaget). Med BBU antar jag att du menar någon form av batteri backup för skriv cachen? Jag är skolad i HPs terminologi: BBWC, Battery-Backed Write Cache, och den är inte tvingande för att man ska kunna använda write-cahce - MEN, som sagt om strömmen går, då kan man tappa data som håller på att skrivas vilket kan leda till t.ex korrupta databaser osv. Men även här beror det på HUR eventeullt påverkade applikationer skriver och läser från hårddisken.
NTFS har en viss feltoerans mot spontana avbrott genom att använda metadata och någon som kan liknas vid vad transaktionsloggar är för databaser vilket skyddar den mot korrupta kataloger och filer. Någon som inte finns i t.ex FAT(32). Så även här kan du vara relativt lugn.

Komplettera ALLTID med backup.

Poängen med raid är att om en disk kraschar, så gör det inget. Du har inte förlorat några data, eftersom datat finns utspritt på de andra diskarna. Dessutom så bildar alla diskar tillsammans, en enda stor pool med lagringsutrymme. Om du har fem st 2TB diskar, så kan skapa ett raid utav dem, då får du en enda stor disk på 10 TB disk. Dock bör du inte göra så här, utan du bör köra istället raid-5 eller raid-6, och då får du 8TB disk, eller 6TB disk.

Mjukvaruraid kan ge bra prestanda, dagens datorer är så snabba att de kan köra raid som ren mjukvara, istället för att köra på ett separat hårdvaruraid kort.

Det beror på hur seriöst du vill göra det.
Jag körde konsumentsaker för många år sedan, det enda jag har idag som inte är konsumentprylar är möjligtvis mina diskar (som dock är validerade för mitt kort)
Körde slackware dom första 6 åren men tröttnade sen och bytte till server 2003 och sedermera 2008 R2, snabbt att sätta upp och när det e uppe behöver man inte greja tills man ska byta prylar vilket e jävligt skönt =)
Köper du riktigt skit så slipper du problem =)

En sak att tänka på (främst) för RAID5 är rebuildtiden av en array.
Om man kör ett konsumentkort med SATA3Gb/s, Chipset-RAID och RAID5 byggt med 4st 1TB-diskar tar det mer än 40h att göra en rebuild.

Mjukvaruraid och rambaserad writecache är livsfarligt. Maskinen tror att data är skrivet trots att det ligger i ram. Ett strömavbrott här kan skrota väldigt mycket. Därför använder bra implementationer inte ramcache (ZFS är ett exempel).

PÅ HW controller löser man detta med ett dedikerat batteri för att skydda minnet och därmed kan man garantera datasäkerhet.
Sen var det någon som hävdade att man kan tvinga en HP till att använda writecache utan batteribackup. Det går i alla fall inte på våra, alternativet writecache finns helt enkelt inte i verktyget utan batteriet

Writecachen kan ge ganska ordentliga prestandavinster men inte för hemmamiljöer. Har man ett någorlunda normal användningsmönster så märker man knappt avsaknaden av writecachen

Det går att aktivera från enhetshanteraren.

Den är avslagen som standard. Se ovan.

Allt är väl relativt, men av våra 400 servar med raid 5 så har jag aldrig varit med om att två diskar havererat samtidigt under de sex år jag administrerade dessa. Hemma har jag inte heller upplevt att två diska dör samtidigt.

Strömavbrott eller BSOD, som jag försökte förklara tidigare, är bara livsfarligt för de applikationer som använder egna transaktionsloggar som t.ex databaser. Best practice är - om man saknar batteribackup - att stänga av write cache.
NTFS har egen feltolerans som kontrollerar varje skriver sektor innan det tar nästa och fungerar ypperligt för skrivningar och strömavbrott påverkar alltså inte integriteten för fil- eller katalogstrukturen. Pågående skrivningar blir i praktiken inget annat än just avbrutna skrivningar.
Har man haft strömavbrott eller BSOD så kan man dock köra checkdisk för at se om några sektorer innehåller ofärdig data.

Ser att jag inte varit tillräckligt tydlig. Det är HPs kontrollerkort som kräver att det finns en cache på 256/512MB för att erbjuda raid 5/6. I mkjukvaruraid är det av naturliga orsaker inte ett problem. Och som jag sagt så är det inte ett måste att ha cachen avslagen.

Det är inte det enda man är rädd för i Raid-5. Antag att en disk har korrupta data, pga strömspikar eller nåt sånt, och anta att en annan disk kraschar. Sen byter du den kraschade disken och reparerar raidet. När reparationen träffar på det korrupta datat, så är du torsk och har förlorat alla dina data. När man pratar med sysadmins så händer detta ibland, och även händer det ibland att två diskar kraschar samtidigt, och sen blir det read error på en tredje disk - då är du torsk och har förlorat alla dina data om du kör raid-6. Detta händer då och då. Jag själv tänker köra raidz3, dvs tre diskar kan krascha utan problem.

Om du har stora diskar, säg 4TB diskar och reparerar ett raid så kan det ta lång tid om en disk kraschat. I värsta fall kan det kanske ta en vecka, under den tiden är ditt raid sårbart för andra fel. Mao, ju större diskar du använder, desto mer redundans behöver du. Då är det bara raid-6 och uppåt som gäller.

Ahh, men det är windows cache det, inte Smart Array controllerns cache.
Den måste du in i bios eller HP:s config för att rå på

Har hittills varit med om en dubbeldiskkrach på 15 år. Det var då på hemmaburken dessutom.
Yrkesmässigt har jag aldrig tappat en raidarray pga diskfel.

Har man stora volymer så kör man med HW controllers som gör rebuild betydligt snabbare eller så tar man till den enda lösningen som faktiskt garanterar att man har data kvar, dvs backup

Jag tror det finns lika många råd som det finns rådgivare när det kommer till en sån här fråga. I slutändan så får du helt enkelt bestämma dig för en sak och sedan köra på det. Jag har kört raid5 i Linux i jag vet inte hur många år, kanske 6-7år, och av erfarenhet kan jag säga att inte en gång har jag tappat 2 hårddiskar ur samma raid5 så jag kommer nog inte köra raid6 någonsin. Inte ens på jobbet har jag tappat 2 diskar i en raid5 och dom stressas ju aningen mer än vad en filserver vars uppgift är att hålla bilder och lite annat kraffs som semesterfilmer eller en komplett spegling av mitt CD-arkiv - det blir ingen direkt belastning där.

Men när du funderar så tycker jag inte du ska ta allt för långt, kör på en lösning som du lär dig hur den funkar och sedan är du nöjd så. Vissa här vill ju att man ska ha en egen SSD för att speeda på sin ZFS pool och det ena med det tredje och det är ju fine om du är insatt på den nivån, men för dig skulle jag nog rekomendera att börja med något som du enkelt kommer igång med men därmed inte sagt att det är en dålig lösning - mjukvaru raid5 i endera linux eller windows är ingen dålig lösning och har räddat mig flera gånger när diskar har gått sönder.

För att fylla på lite och skippa allt det djupare. Några vanliga misstag är att hela tiden tänka på diskras men 95% av fallen är det korrupta filsystem som skapar förlusten av data. Vad skapar då de trasiga filsystemen ? .. Primärt, strömavbrott !
Så att ens diskutera RAID lösningar utan UPS är ju nästan löjligt då största risken inte är eliminerad.

Utan denna så har det ingen betydelse om cachen har backup eller ej för vad ligger i cachen om strömmen försvinner ?

En annan miss är rent mattematisk. 10 upphöjt till 14 bitar är en normal MTBF på en Western black disk. Det ger att ett icke reparerbart läs eller skriv fel kan uppstå redan efter 12 TB data skyfflande från en disk!

Om vi tittar på min rigg som består i 8 X 2TB så innebär det att vid ett återskapande av en RAID5 disk som rasat att jag förbrukat 1/6 av min MTBF. Får jag ovanpå detta ett kasst filsystem och måste reparera detta ökar ju mängden markant (minst dubbla). Läger jag sedan på vad chipset eller RAID controller ger för MTBF, blir det än värre.

Men för att återgå till trådens fråga så är det bara filtjänster du vill ha den till så rekommenderar jag varmt FreeNas BRa mjukvaruraid och stöd för de ättre RAID kontrollers du kanske hittar. Väldigt enkel hantering med web gui och ruskigt stabil.
Kör den på en lite nyare kärra med PCI-e nic, en 512MB minne (om du inte ska köra värsting filsystem då behövs mycket mer), RAID kontroller från E-bay typ LSI/Dell PERC 4 (2 X 4SAS/SATA), Väl kylt HDD chassi sen UPS så klart. finns många beggade med kassa batterier på tradera motsv. Batteri finns hos Jula för bråkdelen av priset :-)
Se till bara att få med serie/USB kabeln till UPS'n då dessa inte följer någon pinn standard. Detta för att ta ner servern snyggt styrt från UPS'n

ZFS är immun mot strömavbrott pga Copy On Write. Om du ändrar data, så skrivs ändringen ned bredvid det gamla datat. Det gamla datat finns alltid kvar. Om strömmen råkar gå mitt i ändringen, så finns alltid det gamla datat kvar och det är det, som gäller. Så ZFS kan inte få korrupta data pga strömavbrott.


Bra kommentar. Problemet är inte bara diskarna, det kan även vara vibrationer i datorn, du kanske spelar för hög musik, kabeln kanske lossnat lite, etc etc så det finns massa andra felkällor än disken.

Du har rätt att ZFS hanterar mycket av problemen med korrupta skrivningar från OS men det krävs just att både OS och applikationer är skrivna för att hantera ZFS och där med dra nyttan av dem.
Lite som på den "gamla PDP tiden då man efter strömavbrott bara satte brytarna till rätt adress för bootstrap och kärran fortsatte då allt fanns kvar i kärnminnet ;-).

Men ZFS är ju inte RAID utan ett filsystem som vi båda vet. Det jag syftar på angående UPS är just vanlig hederlig RAID :-). Jag har själv funderat på att gå över till ZFS men hur fan flytta 12-13 TB utan att bli fattig som en skeppsråtta

Snabb enkel lösning är ju http://www.prisjakt.nu/produkt.php?p=831159
Finns i en annan variant också som har stöd för Firewire vill jag minnas.

Det här stycket förstår jag inte. Hur menar du? ZFS är ju ett filsystem (med inbyggd raid), så OSet behöver ju inte känna till något om ZFS alls.


Ah, jo, du har helt rätt i att vanliga hederliga hårdvaruraid är känsliga för Write-Hole-Error och därför behöver batteri backup. Om strömmen går mitt under en skrivning så kan det orsaka problem, i värsta fall blir raidet oläsbart.


Jag själv har något liknande problem. Jag tänkte fråga om folk som köper nya diskar, om jag får typ, låna deras diskar en dag och kopiera alla data dit, och då frigörs mina gamla diskar och jag kan formatera om dem. Ofta har folk inte något emot att få sina diskar tillbaka, fulla med intressant data.

Klart givande tråd :-)
Det jag menar är även om ZFS alltid har koll på "gamla" entrys så dessa blir "Valid" vid strömavbrott är ju problemet lite djupare. Är inte OS/App skriven för att kunna hantera "gamla" info så blir det ändå korrupt dvs även om datat är "friskt" så är det fel version för OS/App.

ZFS kör motsvarande RAID 5 (RAID Z) internt på block nivå har jag för mig så ser det inte direkt som "Vanlig" RAID med paritet osv

Den vanligaste orasken till korrupt data har ni bommat. Den heter användare .

Står för typ 98-99% av våra restorebegärans

Jag fattar inte. Kan du ta det igen? Vad menar du med "gammal info"? Vad menar du med att datat ska vara friskt?

Om du ska ändra på några data så skapar ZFS en kopia av det datat och ändrar på kopian. Originalet finns alltid kvar på disken. Om kopian blir korrupt pga t.ex. strömmen går, så finns alltid originaldatat kvar intakt och det går alltid att läsa ifrån, så raidet kommer aldrig bli korrupt. Detta hanteras automatiskt utav ZFS, så OS eller App behöver inte känna till vad ZFS gör.

Jag förstår inte riktigt hur du menar?


Restora en fil? Är det ett vanligt problem? Varför använder ni inte snapshots? T.ex. ZFS tar ju snapshots varje timme, om du vill det. Så varje timme kan man ta ett foto av sina data, precis som Time Machine. Och då kan användaren backa tillbaka till vilken timme och restora vilken fil han vill. Eller har jag missförstått dig?

ReFS är väldigt coolt och klarar riktigt stora diskar, men tänk på att du bara kan läsa formatet ifrån en Server 2012.