Saddam och Weeblie spekulerar om filsystem

Ok, då vet vi vad vi är icke överens om. Jag hoppas du inser nu att jag aldrig påstått ZFS vara 100% säkert, det vore korkat eftersom jag samtidigt postat länkar som visar att ZFS misslyckats? Då motsäger jag mig själv, vilket vore illa. Så låt oss börja.

Vi är tydligen överens om att de flesta normala filsystem varken kan detektera eller korrigera Silent Corruption i större grad. Bara detta faktum är ju ett skäl att vara försiktig med vanliga standard raidlösningar som använder ext3, ReiserFS, NTFS, etc, tycker jag. Men du menar att vanlig fungerande hårdvara är så säker att man inte behöver bekymra sig om filsystemens otillräcklighet, visst har jag uppfattat dig rätt här? "Det spelar ingen roll hur bra eller dåligt filsystem hanterar silent corruption eftersom fungerande hårdvara är så säker att silent corruption aldrig inträffar i praktiken" - detta påstår du. Visst?

Som argumentation anför du bl.a. en CERN länk och du börjar analysera:
https://indico.desy.de/getFile.py/access?contribId=65&session...

Och efter mycket om, och men, så presenterar du din slutsats som säger att Silent Corruption inte förekommer på CERN, pga egentligen var det firmware error, och RAM error och andra skäl. (Somliga skulle säga att även detta ÄR silent corruption).

För att styrka din tes, så:

Och i kommentarerna så en snubbe plockar isär CERNs rapport och säger i stort sett att "nej, CERN fick inte Silent Corruption, det förekommer aldrig i praktiken". Intressant slutsats han drar. Själv är jag inte lika övertygad som du till nån random snubbes post, speciellt som den säger emot forskningsrapporter som jag länkar till nedanför. Vem ska man tro på? Nån random snubbe eller ett gäng forskningsrapporter från datorforskare från olika institut, såsom t.ex. CERN? Än värre blir det om man googlar lite på den dära random snubben. Han brukar posta om hur dåligt ZFS är, och hur bra NetApps filsystem WAFL är, och han rekommenderar NetApps svindyra lösningar, och skriver insatta saker om NetApps slutna proprietära lösningar. Har du hört talas om NetApp? Ringer det en klocka? När SUN släppte ZFS så blev SUN stämda av ett Enterprise lagringsföretag, som försökte få SUN att dra tillbaka det öppna och gratis ZFS. Stämningen lämnades in i delstaten som patent troll använder, trots att dessa båda företag har sina huvudkvarter några mil ifrån varandra i en helt annan delstat. Gissa vad lagringsföretaget heter?

Men visst, låt oss strunta i att snubben verkar "gilla" NetApp ganska mycket och kan mycket om produkterna, och verkar ogilla ZFS skarpt. Snubben har intressanta kommentarer som han dessvärre inte backar upp (hittar han på?). Han säger i stort sett "jag är expert på detta, för den som undrar är det bara att läsa lite för jag tänker inte backa upp med länkar. Men tro mig, jag har rätt". Enligt wikipedias FUD artikel, så är detta klockrent exempel på ren FUD. Han jobbar på/med NetApp, ZFS är konkurrent, han slänger ur sig saker utan att vilja (kunna?) backa upp dem:
http://en.wikipedia.org/wiki/Fear,_uncertainty_and_doubt
"FUD techniques may be crude and simple, as in claiming "I read a paper by a Harvard professor that shows you are wrong regarding subject XXX", but the paper does not even exist!
...
Someone who employs FUD can in general not back up his claims "Oh, I dont remember which professor or which year the paper is from"

Jag har märkt att folk som vill tas på allvar backar ofta upp med länkar, men folk som FUDar aldrig visar länkar. De bara ber en lita på en, "trust me, I am a doctor".

Mot snubbens påståenden (sanna eller ej) om att det inte existerar Silent Corruption vill jag visa ett gäng forskningsrapporter nedanför som säger emot, t.ex. så finner man 0,4 miljoner fall av checksummeproblem bland 1.5 miljoner SATA och Enterprise diskar (vilket borde vara omöjligt). Så då är frågan, 1,5 milj diskar och ett gäng forskarrapporter säger en sak, nån random snubbe säger nåt annat - vem ska vi tro på? Jag säger inte att snubben med 100% säkerhet FUDar, men jag säger att jag vill se mer bevis innan jag tror på nån random snubbe som säger emot stora delar av/hela(?) etablissemanget. Ska vi avfärda alla forskningsrapporter, pga nån ZFS konkurrents bloggkommentar?

Forskningsartiklar som visar att Silent Corruption förekommer:
-------------------------------------------------------------
Låt oss bläddra fram till din CERN rapportens slutsats på sid 24.
"Conclusions
-silent corruptions are a fact of life
-first step towards a solution is detection
-elimination seems impossible
-existing datasets are at the mercy of Murphy
-correction will cost time AND money
-effort has to start now (if not started already)
-multiple cost-schemes exist
--trade time and storage space (à la Google)
--trade time and CPU power (correction codes"

Observera att detta är hela slutsatsen. Jag har inte utlämnat något. Jag tycker det ser ut som att slutsatsen handlar bara om en enda sak: Silent Corruption, inget annat. Är det inte lite dumt att skriva en rapport om något som inte existerar?

Så jag finner det lite märkligt när du anför CERNs studie som ett bevis för att Silent Corruption INTE förekommer, när slutsatsen är att det visst förekommer och verkar omöjligt att undvika? Jag förstår inte riktigt hur du resonerar här, din slutsats går rakt emot CERN rapportens slutsats. Kan du utveckla hur du kommer fram till att CERNs hårdvaruraid lösning visst är helt säker och att de inte behöver köpa in ZFS - tvärtemot CERN? Jag har ställt denna fråga många ggr till dig: Hur kan du anse CERNs h/w raid lösning vara säker när de bevisligen har en osäker lösning?

Angående checksummor på diskar, på sid 23 skriver CERN folket
"checksumming - not necessarily enough"
de skriver att du måste använda
"end-to-end checksumming (ZFS has a point)"
dvs, att slänga på lite checksummor på en disk räcker inte. Du måste ha checksummor från disken ända upp till datorn, för att kunna detektera och hantera Silent Corruption. Från ena änden till den andra änden i hela kedjan. End-to-end. Mao, CERN anser det inte räcker med lite checksummor på diskar, vilket du påstår. Vem ska vi tro på? CERN eller dig? Kan du utveckla lite varför CERN har fel i detta, och varför vi hellre bör tro dig när du säger att lite checksummor längst ned i kedjan, på en disk garanterar att hela kedjan blir säker?

En fråga: Har du funderat på att maila CERN och säga att du kommit fram till att CERN kan fortsätta köra sitt "säkra" hw raid eftersom du i din analys kommit fram till att CERNs folk har fel, de har inte alls fått Silent Corruption? Att Silent Corruption inte existerar i praktiken? Det existerar bara i teorin, men rent praktiskt så råkar man aldrig ut för det. Har du funderat på att maila CERN detta? CERN kan spara mycket pengar om de slipper köpa in ZFS maskiner och kan fortsätta köra på sitt "säkra" Linux hw raid. Om CERN köper dina argument, så borde väl även jag kunna göra det.

I denna forskningsartikel analyseras RAID och det finns gott om Silent Corruption och andra problem:
http://www.cs.wisc.edu/adsl/Publications/parity-fast08.html
"We use the model checker to evaluate a number of different approaches found in real RAID systems, focusing on parity-based protection and single errors. We find holes in all of the schemes examined, where systems potentially exposes data to loss or returns corrupt data to the user. In data loss scenarios, the error is detected, but the data cannot be recovered, while in the rest, the error is not detected and therefore corrupt data is returned to the user. For example, we examine a combination of two techniques – block-level checksums (where checksums of the data block are stored within the same disk block as data and verified on every read) and write-verify (where data is read back immediately after it is written to disk and verified for correctness), and show that the scheme could still fail to detect certain error conditions, thus returning corrupt data to the user.

We discover one particularly interesting and general problem that we call parity pollution. In this situation,
corrupt data in one block of a stripe spreads to other blocks through various parity calculations. We find a
number of cases where parity pollution occurs, and show how pollution can lead to data loss. Specifically, we find that data scrubbing (which is used to reduce the chances of double disk failures) tends to be one of themain causes of parity pollution."

Här analyserar forskare 1,53 miljoner hårddiskar under 3.5 år. Man påträffar 0,4 miljoner fall av checksummefel. Nästan 1 procent av av vanliga diskar får såna här fel. Enterprise diskar får också såna här fel, men 10 ggr så sällan (vilket inte kan inträffa enligt dig). Nästan en halv miljon problem, på 1,5 miljoner diskar? Hur stor är då risken att en godtycklig disk får problem?
http://www.cs.wisc.edu/adsl/Publications/corruption-fast08.pd...
"Detecting and recovering from data corruption requires protection techniques beyond those provided by the disk drive. In fact, basic protection schemes such as RAID [13] may also be unable to detect these problems.
...
as we discuss later, checksums do not protect against all forms of corruption"

http://www.cs.wisc.edu/adsl/Publications/corrupt-mysql-icde10...
"More reliable SCSI drives encounter fewer problems, but even within this expensive and carefully-engineered drive class, corruption still takes place."
....
Recent work has shown that even with sophisticated RAID protection strategies, the “right” combination of a single fault and certain repair activities (e.g., a parity scrub) can still lead to data loss [19]. Thus, while these schemes reduce the chances of corruption, the possibility still exists; any higher-level client of storage that is serious about managing data reliably must consider the possibility that a disk will return data in a corrupted form."

Här är fullt av tekniska artiklar om vilka problem RAID-5 har (ej nödvändigtvis Silent Corruption, utan andra)
www.baarf.com
T.ex. denna om låg IOPS på RAID-5
http://www.miracleas.com/BAARF/Juan_Loaiza_on_raid_V.html
http://www.miracleas.com/BAARF/crn_tv.html
"We had grown tired of again and again and again having to explain why RAID 5 is worse than RAID 1+0, worse than RAID 0+1, worse ... "

Du verkar tro att bara för att hårdvaran funkade korrekt när du köpte den, så är den immun mot störningar t.ex. om den skakas kraftigt. En hårddisk kan krascha abrupt så varför kan den inte bli långsamt sämre och efter några år uppvisa silent corruption? Är det omöjligt att disken funkar bra vid inköp men korrumperar data senare? "Om disken funkar korrekt när man köper den, så är man säker"??? Hur länge är man säker? I all evighet?

I själva verket räcker det med höga ljud i närheten av en disk för att disken ska få problem, hur relevant är det då om hårdvaran funkade korrekt när du köpte den? Är du garanterad att hw aldrig sviker om den blir störd av höga ljud? Här är en snubbe som skriker högt, bredvid en server och diskarna får problem! Detta är kanske första gången man kunnat observera nåt sånt här (möjligt tack vare DTrace). Antagligen funkade servern korrekt när man köpte den, men klarar den av skakningar i all evighet? Blir det aldrig silent Corruption om man fortsätter skrika?
http://www.johnmwillis.com/sun/dont-shout-at-your-jbod-it-may...

Visst, hårdvaran kanske var kanske korrekt vid inköp, men vad gör lite ojämn strömförsörjning ibland? Här ser vi att då kan man få silent corruption.
http://blogs.sun.com/elowe/entry/zfs_saves_the_day_ta

Har du hört talas om Bit Rot/bitröta? Allt eftersom tiden går, så kommer lagringsmedian bli sämre och sämre. Efter en viss tid kanske det kan helt plötsligt flippas random bitar, av sig själva. Läshuvudet kanske inte ens är där så huvudet kan inte scanna igenom bitströmmen och därmed korrigera. Så hur bra funkar det att hårdvaran var korrekt vid inköp? Återigen, hårdvaran kan svika allteftersom tiden går.

Angående att Enterprise SAS diskar har 8/16 byte extrastora checksummor och därför säkra mot problem. Här ser vi om en Seagate Enterprise SAS disk:
"Nonrecoverable Read Errors per Bits Read: 1 sector per 10E15"
http://www.mullet.se/dokument/ds_barracuda_es_2.pdf

Angående R-S algoritmen. Kan du tänka dig ett scenario där en korrekt bit lämnar huvudet och skrivs ned på disk, men precis när biten färdas mellan huvudet och disken, så flippas biten pga nåt skäl? (Du påstår att detta inte kan inträffa: i detta fall så korrigeras biten - är du fortfarande säker på detta?). Eller att biten skrivs ned korrekt på disk, men flippas senare pga nåt skäl, när huvudet inte är där? Du inser inte att även om R-S algoritmen är teoretiskt korrekt så säger det ingenting om hur säkra bitarna hamnar nere på disken i praktiken? Jag försöker säga att teori != praktik. Donald Knuth sade om en algoritm: "var försiktig, jag har bara bevisat den vara korrekt, jag har inte testat den". Med det menade han att när man implementerar en algoritm så tillkommer nya faktorer som påverkar resultatet. T.ex. RSA kryptot anses vara teoretiskt säkert, men folk har hittat svagheter genom att variera strömmen till datorn - så då spelar det ingen roll om RSA är oknäckbart. Så när du säger om att huvudet ska lagra bitströmmar på disk att "detta är ren algoritmteori" så säger jag: Nej. Det är aldrig ren algoritmteori i praktiken. Det finns så mycket yttre faktorer som stör. Förstår du nu varför jag anser det vara helt oväsentligt om R-S algoritmen kan detektera en felaktig bit? Jag anser det vara fel fokus att prata om R-S algoritmens korrekthet när man talar om lagring i praktiken. Det är i praktiken så mycket som stör i den fysiska världen. När du säger att nåt i stil med att "det är omöjligt att en disk korruptar data pga R-S är korrekt" så är det ju helt käpprakt fel påstående. Och därför reagerar jag när du säger att jag inte förstår mig på teori, i detta samband. R-S algoritmens korrekthet är ju helt oväsentlig, oavsett om jag förstår teori eller ej. Varför ens ta upp det och varför pressa mig på något helt oväsentligt? Märkligt.

(Jag tycker detta börjar påminna om när vi diskuterade LSE (Londons Aktiebörs) som körde på Windows och efter många problem så skrotades Windows för Linux. Mot detta framhärdade du nåt i stil med "nej, det är inte bevisat att krascherna berodde på Windows, det kanske bara var problem i .NET". Om LSE slänger ut ett svindyrt aktiesystem för halv miljard kr efter bara 2 år, efter flera rapporterade problem, och om man sparkar chefen som valde Windows, och nya chefen köper nu in ett dyrt Linux + Solaris system så är ju slutsatsen klar som korvspad. Trots att LSE nekar "nej, vi byter inte pga Windows strular" - pga LSE vill inte göra sig ovän med MS. Men Windows duger visst bra, menar du? Det kryllar av länkar som denna:
http://www.computerworlduk.com/technology/networking/messagin...
Samma sak här med Silent Corruption. Det är bara att googla lite på Silent Corruption. Det kryllar av artiklar av forskare och tunga snubbar. Dessa forskningsartiklar är bara ett axplock, jag har flera på lager. Din egen CERN länk som du menar INTE påvisar Silent Corruption, drar slutsatsen att det är ett stort problem. Det finns gott om artiklar och bevis, men du framhärdar ändå. Jag tycker dina slutsatser kan vara lite märkliga ibland?)

Förresten, vad hände med min post som du inte besvarade? När du hela tiden grenar ut hej vilt, så måste jag svara på alla dina grenar och stänga till dem. Men du bara struntar i att besvara mina grenar? Du skriver nåt i stil med "men nämn inga andra saker då, om du inte vill att jag ska grena ut". På detta har jag svarat att det torde vara omöjligt, speciellt som du själv gör det. Pratar man om ondska, kanske man vill exemplifiera med Hitler, och vips har Weeblie skapat en gigantisk gren om andra världskriget! Varför måste jag lägga ned flera timmar på att skriva såna här mastodontinlägg och förklara var du har missuppfattat något, men du inte behöver göra samma sak för mig? Utnötningstaktik igen? Men återigen, det funkar inte på mig.

Que? Nekar du att du avfärdat argument ända tills jag berättade om mina meriter, och nekar du att du varit snabb med att påstå att jag FUDar, och nekar du att du påstod att jag har problem att fatta teori (i samband med R-S algoritmens korrekthet som är helt oväsentlig)? Så jag anser du bryr dig visst om ens CV, inte ens argument.