Asrock C2750D4I + esxi 5.5 = PSOD

Jag kör esxi 5.5 på ett Asrock C2750D4I med 16GB ECC. Har kört ca 2 månader nu, men har problem med jag esxi kraschar slumpvis. Ibland efter en dag, ibland efter två veckor med olika felmeddelanden på den rosa dödsbilden.

Jag kör unraid med rdm-mappning till två diskar och en ubuntugäst.

Är det någon annan som kör denna konfiguration?
Misstänkte att det kanske var något fel på CPU:n, värmerelaterat så jag körde aida64, CPU-stresstest i ett gästsystem i 48 timmar utan att det kraschade, så det kan inte vara värmerelaterat. Det kraschade ca 8 timmar efter jag avslutat stresstestet. Krascherna kommer under låg belastning slumpmässigt.

Jag ser inga konstiga händelser i eventloggen när jag loggar in på BMC-/IPMI-interfacet, antar att det borde ge utslag här om det är minnesfel eller fel på annan hårdvara?

Någon som har förslag på hur jag kan gå vidare med felsökningen?
Som jag ser det så kan det antingen vara något fel på hårdvaran eller kompatibilitetsproblem med esxi.

Jo, tanken har slagit mig att göra det för att kunna utesluta fel på RAM.
Men, Kör ju med ECC-minnen, så jag har antagit att ram-fel skulle visa sig i eventloggen i BMC-/IPMI-interfacet.
Är inte tanken med ECC-minnen att man inte skall behöva köra memtest?

Nej, jag har inga aktiva windows-maskiner när det kraschar, senaste gången det kraschade körde jag bara en maskin med unraid.
Jag läste om E1000e-buggen och ändrade till vmnet på alla aktuella maskiner. Men det var ingenting i felmeddelandet som antydde att det skulle vara just den buggen. Står ju ganska utförligt vad man förväntas få för stack trace.

Jag får ju olika felmeddelanden varje gång.

Jag har kört igång en memtest nu. Får låta den gå över natten.

Det är svårt att veta, då skulle jag behöva låta den stå på i veckor utan att jag använder den.
Iom att den gått som längst i ca 2 veckor utan att krascha så är det enorma ledtider i alla tester jag gör.

Verkar vara vettigare att kolla på detta innan jag kör memtest!
Skall se om jag lyckas få fram några loggfiler.

Jag har lyckats identifiera tiden för den senaste kraschen genom att vissa periodiska log entries i syslog (hostd probing is done. var 5:e minut) slutade genereras efter den tidpunkten.
Hittar dock inget runt den tidpunkten, varken i vmkwarnings eller vmkernel.

Hittade varken något fel på minnet eller någon ledtråd i loggarna.
Provade installera xenserver för att se om det var något lurt med esxi. Xenserver kraschade också efter ca en vecka.

Jag skall reklamera moderkortet då jag misstänker att det är något fel på det, kan ju ha något med strömsparfunktionerna att göra. Har tidigare haft problem med både en processor och grafik-kort som kraschat när de går upp/ner i frekvens.

Under tiden så kör jag med ett annat moderkort i burken, om det är stabilt kan jag ju utesluta både nätdel och annan kringhårdvara.

Funderar sedan ändå att slänga ut esxi helt, det finns en del coola saker som händer på linux-sidan nu med btrfs, såg dessutom att Xen klarar av pci-passthrough utan vt-d-stöd för paravirtualiserade OS. Kanske borde skapa en tråd angående detta... Det sägs att 2014 blir året då btrfs ersätter ext4. Bara en sån grej att kunna utöka en raid 1 med en extra disk under drift och få ett utökat lagringsutrymme genom att balansera om, lite som unraid fast med speglad data istället för paritetsdisk.

Ja, uppdaterade både bios och ipmi-programvaran.

Och det syns ingenting i BMC-loggen?
Hur länge körde du memtest innan fel på minnen visade sig?

Det är nya minnen och nytt moderkort.

Har kört server i princip helt utan belastning, vilket för mig tyder lite på att det kraschar när den frekveshoppar för att spara energi. Men det är min teori.

Har skickat kortet på retur, får se om jag jag får det utbytt eller vad som händer. Antar att det blir svårt att testa för dem när det rör sig om intermittenta krascher.
Har aldrig behövt bry mig så mycket om minnessupportlistor tidigare. Kikade igenom listan, men hittade inget ECC-minner på 8GB som fanns i lager någonstans i Sverige, så jag köpte 2st 8GB kingston obuffrade ECC-minnen: KVR1333D3E9S/8G i ett kit på två (KVR1333D3E9SK2/16G).

KVR1333D3E9S/4G; 4GB-varianten i samma serie är med på support-listan.

Annars så är min erfarenhet att det oftast inte är några problem, så länge man håller sig till standard-minnen från någon av de stora tillverkarna. Har t.o.m. kört 8 GB i ett atom-moderkort som bara enligt manualen stödde 4GB minne. Det gick stabilt som förväntat; inga krascher.

Jag fick kortet utbytt!
Det tog lite mer än två veckor utan att jag hörde något, men efter ett mail så skickades ett nytt kort.
Har nu kört det nya kortet i 16 dagar utan att det kraschat, vilket kan ses lite som ett rekord. Kanske är lite tidigt än att säga om det är helt stabilt, kan återkomma om en månad igen.
Men kanske kan vara intressant för någon att veta att detta kort fungerar med de minnen jag använder samt med esxi 5.5 med unraid som gäst med rdm-mappning.

Det gick stabilt i ca 6 veckor innan det nya kortet kraschade.
Är det någon mer som har problem med detta moderkortet?

Ja, kör med samma minnen. Körde memtest på det gamla kortet, så minnena verkar vara hela.

Jag kör med ett Corsair HX520. Det är markerat som "likely compatible" med haswell.
Stängde av speedstep och C-states efter den sensaste kraschen, får se om jag kan få mer än 6 veckors uptime nu. Det är ganska långa ledtider i de här testerna

Hur lång uptime har du lyckats få med detta kort?