Behöver hjälp med hw raidkort för 8 diskar och som funkar under linux

Du behöver ingen ssd som cache till ZFS. Du behöver ingen cache till ZFS alls, annat än om du har mycket höga krav. Skippa ssd cache, inte många jag vet kör med det. Bara high end ställen gör det.

Jag tycker du ska leka med ZFS och testa det innan du gör en investering. Du kanske kommer älska ZFS? Du kan testa ZFS i virtualbox. Ladda ned FreeBSD eller OpenSolaris och kör dem i virtualbox, och skapa ett par tomma filer. Dessa tomma filer kan du skapa ett ZFS raid med och testa att stressa raidet lite. Radera en fil, etc.

Din polare som är duktig på servrar, varför vill han du ska köra hw-raid? Det låter märkligt. hw-raid har så mycket problem, och skyddar inte mot bit-röta. Känner din polare till bit-röta? Många känner inte till bit-röta. Men folk känner till att man ska ha ECC RAM, det skyddar mot bit-röta som händer i RAM. ZFS gör samma sak, fast skyddar på diskar.

Sen undrar jag hur du hittat tekniker som skyddar mot bitröta? Jag känner inte till några tekniker som skyddar mot bit-röta förutom ZFS. OCh jag är ganska påläst om bitröta och kan en hel del om det. Jag känner inte till nån teknik. Jag tror det bara är snack, och inte stämmer. Kan du visa länkar till de teknikerna? Jag tror att NetApp skyddar mot bitröta, men det är stora lagringservrar som kostar miljoner, typ. Det finns inga billiga tekniker som skyddar, förutom ZFS. Det är bara att läsa forskningsartiklarna.

Jag kanske formulerade mig illa; en SSD är alltså _inget_ krav för att köra med ZFS, det är bara en möjlighet om man vill snabba upp det hela ännu mer, precis som Saddam skriver.

Om du köper ett kontrollerkort endast för att du "vill ha det", så går du miste om mer än bara pengar, skulle jag vilja säga..

Som sagt, testa ett os med zfs (strunt samma vilket, det är zfs vi vill att du ska få ett hum om), skapa, förstör raidz's, ta snapshots, ta bort filer, återställ etc.
Prestandan kan du givetvis inte få ett bra hum om när du kör virtuellt, men helt åt helsike ska det nog inte vara ändå.

Jag utgår från att du vet hur data ser ut, och hur den lagras på en hårddisk; ettor och nollor. Placerade i särskild ordning, utgör dom din data.
Alla dessa ofantliga mängder ettor och nollor har ibland ett gäng som får för sig att invertera sig själva.. t.ex pga jordens magnetfält etc, yttre påverkan. Detta händer närsom, och det finns inget möjlighet för ett filsystem att ha koll på exakt all data precis hela tiden, därför så kan man inte skydda sig mot att ettor/nollor byter till sin motpart. Dock kom Sun på ett sätt, som för mig är helt obegripligt, som fungerar och faktiskt hittar dessa små "flips" och återställer dom. Denna process att hitta och åtgärda detta kallas i ZFS-språk för att göra en "scrub" av sin pool (raid).

En raid6 hjälper dig inte mot bitrot, det har bara med redundansen att göra; hur många diskar klarar raiden att förlora innan den anses vara förlorad. En sexa klarar att 2 diskar falerar.

Om du ska bry dig om bitrot, så ska du absolut bry dig om ECC-ram. För det spelar ingen som helst roll om ZFS rättar till alla dina bitfel, om datan du skrev ner från minnet från första början hade en bitrot med sig. Dessa uppkommer som du nog förstår även i "levande data".

Kontrollerkort behöver du inget, se till att ha många SATA-portar på moderkortet som täcker dina behov. Räcker dom inte så är "ett bra kontrollerkort" ett som har stöd i FreeBSD, mer krav än så behövs egentligen inte. Du ska låta ZFS sköta hela arbetet med raid osv.

Ramminne ska du ha, massor, tycker jag. 4GB är bare minimum. Helst 8GB+. Ju mer du kastar in, desto mer cachar ZFS åt dig.
Om du trycker i en SSD åt ZFS kommer det att placera alla de mest frekvent använda filerna där, så att du slipper gå till raiden för att hämta in dom.

Jag tycker du ska installera FreeBSD istället för FreeNAS. Då får du mer koll på vad du gör, än om du klickar runt i ett webgränssnitt.
http://www.submesa.com har en alldeles ypperlig guide som du lätt klarar av att följa. Och vill du gå vidare sen kan du kika lite på min blogg, där jag pysslat lite mer med FreeBSD (http://www.puppe.se/2010/08/24/att-bygga-nas/).
Du kan och bör även ladda ner ZFS Administration guide: (http://download.oracle.com/docs/cd/E19253-01/819-5461/index.h...) <- webbversionen. Googla efter PDFen, så hittar du den högst upp.

raid6 skyddar inte mot bitröta. Det är endast ZFS som skyddar mot bitröta (och även svindyra NetApp servrar - tror jag).

raid-5 motsvaras i ZFS för raidz1.
raid-6 heter i ZFS raidz2.

Om du har stora diskar, och om en disk kraschar och du ska reparera raidet genom att stoppa in en ny disk - då blir alla diskar väldigt stressade pga de läser massor. Om du får en read error så har du torskat alla dina data. Att reparera ett raid med stora diskar (4TB diskar) kan ta flera dygn i värsta fall. Därför bör du köra på raidz2 (dvs raid-6 dvs att 2 diskar kan krascha). Men om du kör små diskar (1TB eller mindre) så kan du köra raidz1 (dvs raid-5 dvs en disk kan krascha).

SSD som cache behöver du inte. Bara om du har höga krav så behöver du det. Men om du har en filserver för att serva dig och din familj så har du inga höga krav. Om du jobbar med att få data snabbt (kanske i finansbranschen) så kan du behöva SSD som cache.

Installera valfritt ZFS os inuti VirtualBox och lek runt lite. Skapa ett par tomma filer, som du sen bakar ihop till ett ZFS raid. ZFS gör ingen skillnad på om du använder diskar, eller filer, eller partitioner när du skapar ett raid.

Och ja, ECC är ganska viktigt. I alla fall i servrar - alla servrar har ECC RAM. Microsoft gjorde en undersökning förrut. Typ 15% av alla windows krascher berodde på bitröta i RAM. Därför ville MS att alla måste använda ECC RAM - som skyddar mot bitröta i RAM. Om bitar flippas spontant i RAM så kan datorn krascha. Det är viktigt i stora servrar, typ Unix.

(Min fetstil)

Nej, du har torskat din tillgänglighet eller "uptime". För datan har du kvar på backupen. Det tar visserligen en liten stund att återläsa datan men inget, eller ytterst lite, har försvunnit om du har gjort rätt och skaffat en backuplösning som uppfyller din kravspec.

Har du ingen backup så är det läge att börja gråta och sedan försöka återskapa sina semesterminnen, foton på barnen eller vad man nu har sparat. I dagens läge med ekonomisk molnbaserad lagring och "apbilliga" diskar finns det ingen ursäkt till att inte ha backup.

Jag har ingen backup.

Aj aj aj, ingen backup. Ett agg som friterar datorn eller inbrott/eldsvåda så är allt borta.

Det är bara AMD som har stöd för ECC-minnen om du kollar på icke-server hårdvara.

Intels Xeon server cpuer stödjer ECC. AMD har vanliga icke-server cpuer som stödjer ECC.

Jag kör utan ECC RAM på min server. Men jag vill ha ECC, ja. Man borde göra något liknande ZFS, fast för RAM också. Men det skulle väl dra ned prestandan på RAM.

Det är väl det som ECC gör?
Jag tror det blir svårt att ha en felkontroll i mjukvara, om du inte vet att mjukvaran är 100% felfri hela tiden, vilket ECC ram fixar, och därmed garanterar mjukvarudelen också.

Vi som kör utan ECC, vi har väl egentligen inget vidare skydd om man ska syna det hela.. även om min scrub hittar ett fel så måste ju allt gå genom arbetsminnet i datorn, där det ändå kan strula?

Har inte gått igenom hela tråden men har förstått att ni kommit en bra bit

Men följande kan inte vara något för dig? http://www.tradera.com/HP-SmartArray-P600-8-portars-SAS-SATA-...

Japp, det är så jag uppfattat saken. Du måste ha server mobo och Xeon cpu om vi pratar Intel.

AMD stödjer ECC RAM på vanliga mobos. Inte alla dock.

Fast nu är det väl så att TS ska ha sin NAS för hemmabruk? Jag får helt okej prestanda (60MB/s+ över cifs) på min AMD 5600+ med 2GB minne, 6 diskar i raidz2 och senaste OpenIndiana. Ja, minnet är kanske lite väl snålt tilltaget men det det räcker till att dra runt filserveri, databaser, subversion och lite annat krafs.

Skulle jag bygga ny hemmafilserver idag skulle jag köpa mer minne, 16GB eller så. Trots allt så är filsystemscache i ram rätt bra att ha. Men min åsikt är att man inte ska göra sin hemmafilserver mer komplicerad än vad som behövs. L2ARC och ZIL på egen disk är knappast nödvändigt på en hemmaserver.

SAS 6/IR är inte en PERC kontroller, det är en onboard kontroller med hw-raid utan cache och bbu

Kör som jag... EPIC time ! snåla inte med kontrollerkorten!

http://www.dustin.se/adaptec-sata-sas-6805-6gb-s-8-ch-pci-e/p...

Så det mest prisvärda just nu är en amd burk med låg tdp och ecc stöd. Eller har jag fel?
*ASUS M4A88T-M/USB3
*sempron med upplåst kärna eller annan dualcore cpu med låg tdp
*ecc ram

Då har man lite av det bästa från två världar om man tänker köra zfs eller har jag tänkt fel? Fördelen med amd är att den är billigare i inköp och kompenserar då kostnaden för de dyrare ecc minnena.....

Du vet väl att ett sånt kort sabbar ZFS data integritet? ZFS kräver att du kör utan något sånt kort - eftersom ett sånt kort kommer lägga sig i ZFS data integritetskontroller vilket leder till att ZFS inte kan reparera data eller göra checksums.

Ett sånt kort => ZFS kan inte garantera eller reparera checksum fel.

EDIT: Ett sånt kort har dessutom inte vidare bra kontroller av data korruption. HW-raid har ju en hel del problem.
http://en.wikipedia.org/wiki/RAID#Problems_with_RAID

Ja och Nej är det faktiskt, om du ska köra ZFS så stämmer det att du aldrig ska hw-raid sets.
Men det är rekomenderat att köra hw-raid controllers med bbu och cache, sedan sätta upp alla diskar som singlediskar eller att varje enskild disk som raid0 (vilket vissa kontrollers kräver för att du ska kunna sköra dom som single) och sedan köra zpools över skiten.

Många av Sun's storagelådor kör på detta sätt, har även för mig att Compellent skåp kör så om man kör med ZFS huvuden.

Jasså, det har jag missat totalt. Annars är ju den officiella rekommendationen att man inte ska ha hw-raid controllers alls till ZFS. Så det du säger låter lite märkligt. Har du länkar så kan jag läsa mera?

Är inte så märkligt, aldrig köra raid-sets och ZFS men att utnyttja en raidkontroller för write-cache är en en annan sak, sun kör med det i sina ZFS Storage 7000
det är vanliga LSI raid kontrollers i dessa men utan XOR processor, fast SUN kallar dessa bara för Accelerators.

Ska ska rota fram dokumentation på Compellent skåpen med ZFS nasar.

Jag hade fått för mig att alla Oracle/Suns raidkontrollers kördes i JBOD mode, dvs ingen raid funktionalitet? Men du menar att det inte stämmer?

Problemen med att köra hw-raid under ZFS är att den blir lurad att tro att cache flush har gjorts korrekt på volymen, istället vilar skrivningen i minnet av kontrollerkortet. Går att komma runt med BBU om kontrollerkortet i övrigt vet hur den ska hantera hårddiskarnas inbyggda cache på ett bra sätt.

I dom fall där detta skulle fungera bra är om cache flush rapporteras korrekt tillbaka till ZFS, vilket Oracle själva kan styra i sin hårdvara.

Samma princip kan också gälla om man kör virtualiserade hårddiskar under ZFS.