ESXi hänger sig oprovocerat?

Hej alla,

Jag har byggt en egen server som jag kört ESXi 5.5 på snart i ett halvår utan problem. Kör FreeNAS och en Win2012 maskin på denna.

De senaste dagarna har hosten börjat uppföra sig märkligt. Helt plötsligt blir båda VM's onåbara. Det upptäcker jag i regel genom att jag tittar på film som undervägs hänger sig (delas ut från FreeNAS).

WebGUI för Freenas är inte åtkomligt och ingen maskin svarar på ping. Routern (asus rt-n66u) ser inte ens maskinerna längre. Däremot har hosten kvar sitt ip. Vsphere returnerar 503 när jag försöker ansluta. SSH fungerar bra mot hosten och därigenom kan jag starta om (utan att behöva trycka på knappen) och allt är som vanligt i nån dag till, sen börjar samma visa igen.

Innan jag startade om nu sist plockade jag ut logfilerna från /scratch/log och /var/log men jag vet inte alls vart jag ska börja. Jag vet tidpunkten (plusminus nån minut) det inträffade.

Någon som har några tips alls? Jag har inte gjort några ändringar på servern alls. Har bara sett film/serier de senaste veckorna. Enda ändringen jag kan komma på är att jag uppdaterade firmwaren på routern (nätverksrelaterat problem?). Sen problemen började har jag uppdaterat esxi till och med juli-uppdateringen men problemen är dom samma.

Tack på förhand!

Hej och tack för svar!

Jag kör E1000 på alla maskiner. Jag lärde mig precis hur man kollar konsolen via SSH (kör headless), dvs via "dcui" så jag får testa det nästa gång det händer.

Diskarna har inget fel vad jag vet. Kör på denna hårdvara:

ASRock FM2A75M-ITX
Samsung SSD EVO Basic 840-Series 120GB
A-Data S102 Pro 16GB USB 3.0
AMD A8 5600K 3,6 Ghz FM2
Corsair 16GB (2x8GB) CL10 1600Mhz VENGEANCE LP RÖD

Kör USB'n för ESXi och SSD'n som datastore för VM's. Sen har jag ett kontrollerkort med ett gäng diskar på som jag kör passthrough till FreeNAS på (M1015)

Glömde nämna innan att jag testat att köra Memtest i några timmar utan att några fel hittades.

Har nog inte styrt om loggningen från USB till disk. Får Googla lite på det. Är inte värmerelaterat i alla fall. CPU ligger på 30 grader och idlar för det mesta.

Jag får fortfarande felmeddelande när jag styrt om scratch enl dessa:
http://www-01.ibm.com/support/docview.wss?uid=isg3T1013015
http://kb.vmware.com/selfservice/microsites/search.do?languag...

Däremot så skrivs det faktiskt där jag specat så jag antar att det fungerar? Sökvägen jag angivit går till DataStore (dvs SSD'n)

I själva syslog.log hittar jag följande vid aktuell tidpunkt (ca 13:30 UTC)
http://pastebin.com/VteSDJYv

Den har inte kraschat sen i eftermiddags. Dock har jag låtit bli att slå på Windows-maskinen till en början och kör bara FreeNAS ett tag och ser hur det går.

Läste en del skrämmande läsning om E1000 och Windows, så jag bytte till VMXNET3 och uppdaterade VMWare Tools. Verkar funka, men har som sagt stängt av maskinen. FreeNAS verkar inte ha stöd för VMXNET3 om man inte kompilerar det själv vilket jag än så länge inte hittat någon bra guide över.

Får jag inte ordning på problemet så tror jag att jag blåser burken och kör "bare metal" istället. De få virtuella maskiner jag kör kan jag köra på en NUC eller liknande.

Hej,

Nej kör inte ISCSI alls. De diskar som Freenas använder är rena NFS/SMB utdelningar till övriga maskiner på nätverket.

Har nu (för första gången på länge) gått mera än ett dygn sedan senaste hängningen. Misstänker att det var en kombo av någon systemuppdatering i Windows 2012 (hade autouppdatering påslaget) i kombo med E1000 som varit boven i dramat.

Återkommer om jag har fel. Tack alla för ert engagemang!

Och där dog det igen....

Tittade i sysloggen och tittade närmare på följande:
2014-07-16T05:29:05Z jumpstart: RoutingInfo: Unable to restore VMkernel default gateway (10.0.0.1) :Unable to set VMkernel gateway address to 10.0.0.1 as there are no VMkernel interfaces on the same network with that IP address.

Onekligen verkar det vara något knas med nätverket i detta fall (eller?). Det enda jag kan komma på är att jag för nån vecka sen (kanske i samband med att felen började dyka upp) är att jag uppdaterade firmwaren på min router Asus RT N66U.

Har testat nu att sätta statiska ip'n och avaktivera ipv6 på ESXi. Får se om det hjälper. Annars om ngn annan har några tips tages detta tacksamt emot!

Tyvärr...

Nu fick jag samma fel igen nu nyss trots att jag körde med statiska IP'n på ESXi och stängt av DHCP.

Kikade lite i routerns logg:

Jul 17 21:11:45 rc_service: httpd 336:notify_rc restart_net_and_phy
Jul 17 21:11:48 dnsmasq[335]: exiting on receipt of SIGTERM
Jul 17 21:11:52 stop_wan(): perform DHCP release
Jul 17 21:11:52 kernel: Attempt to kill tasklet from interrupt
.........

Känns lite smått som att det skulle vara relaterat till detta problem... Vet dock inte vad jag kan göra med problemet, förutom köpa ny router, eller backa ett par firmware versioner.

Har bara ett NIC så det går tyvärr inte.

Provade nu att slänga in en annan firmware på routern (Merlin). Får se om det fungerar bättre.

Japp, men detta får bli en last resort. Är trots allt lite halvdrygt att behöva göra.

Och där sket det sig igen, men denna gången fanns det inga rader alls vid tidpunkten i routerns log.

Det intressanta är att jag kunde logga in på vSphere Client (vilket inte varit möjligt de tidigare gångerna förrän jag startade om nätverket via DCUI) och min FreeNAS maskin var nedstängd.

SUCK!

Varför kom jag inte på detta tidigare...

Mitt moderkort har kretsen RTL8111E som NIC. Detta stöds inte officiellt av ESXi 5.5 (som jag kör), men det finns drivare till 5.1 som jag tryckte in.

Detta var ett halvår sen och hade glömt att jag gjorde den manövern. Tydligen fungerade det sådär... (om det nu är det som strular vilket det troligen är).

Någon som känner att jag är på fel spår?

Det är just drivrutinen för 5.1 jag kör på samma nic som du beskriver. Har fungerat felfritt i ca ett halvår. har förvisso haft 2-3 hängningar under den tiden men då har jag trott att det var katten som trampat på reset-knappen. Sen nu blev det aningen mer frekvent. Läst om fler med samma nic som haft samma problem, dvs fungerat bra i några månader för att sen bete sig underligt.

Hade jag haft en pci-plats till så hade jag lagt in ett till nic, men den platsen är tagen av mitt raid-kort.

Får bli nytt MB eller så kör jag freenas utan virtualisering. Kommer att sakna att kunna skapa virtuella maskiner.

Bra fråga... har egentligen ingen aning om vad som skiljer 5.1 -> 5.5 åt. Känns bara som att 5.1 är gammalt och ouppdaterat men det kanske fungerar bra ändå?

Nu blir det sista rycket. Nytt USB minne och nyinstallation på gång. Återkommer med resultat.

Misstänker att det gamla USB-minnet är sönderskrivet då jag hade loggskrivningen på stickan och inte på disken.

Känns som att 5.1 får bli nästa grej att testa. Ny USB pinne hjälpte inte tyvärr.

Kan bekräfta även att hängningen händer även om inga maskiner är påslagna. Får se ikväll vilka framgångar 5.1 ger.

Jag börjar bli lite orolig för att problemet kanske ligger i mitt M1015 kort. Men om problemet ligger där så kanske det inte hade fungerat alls?