Problem med korrupta filer vid Pass-through av HBA med ESXi.

Hejsan!

Jag har roat mig med att felsöka ett problem på min server där jag försöker köra en virtuell maskin med ett LSI 3008 kort i passthough och ett zfs-filsystem.

Här finns en tråd med bakgrunden från början: Import ZFS pools by cache file

Kortfattad beskrivning av problemet:
Mitt problem är kort; oberoende om min virtuella maskin som körs genom ESXi 6.5 och 7.0.U3 kör senaste Xigmanas eller Ubuntu uppträder direkt CKSUM fel vilket leder till degradering samt korrupta filer.

Kör jag exakt samma hårdvara utan ESXi uppträder exakt noll fel vid samma operationer.

Den långa versionen:
I maskinen sitter följande nu efter att jag plockat bort allt onödig samt bytt HBA och nätaggregat i felsökningsjakten.
Under felsökningen har jag bytt/testat:

• HBA från ett äldre SAS2008 kort

• Alla kablar mellan diskar och HBA

• Nätaggregat

• Ett antal timmar Memtest86

• Andra diskar

• Kört Ubuntu och Xigmanas bare metal utan problem

och i nuvarande tappning med uppgraderat BIOS på moderkortet består servern av följande:

• Intel Xeon E3-1230 v5

• SuperMicro X11SSH-LN4F, Firmware Revision: 01.63, BIOS Version: 2.6

• 4st 8Gb ECC UDIMM - Har inte exakt spec i huvudet men det har rullat fint i flera år.

• HBA - LSI MegaRAID SAS 9340-8i 12G SAS-3 (rev 02)- IT-Mode

• HBA Kablage - LSI SAS SFF8643 - 4 x SATA 100CM LSI00411

• Corsair RM750X 750W v2 - Helt nytt från idag

• Hypervisorn ligger på NVMe M2

• Ytterligare en SATA SSD Samsung EVO för VM:ar

Nu kör jag med ESXi 7.0.U3, HBA kortet i Pass-Through samt Ubuntu server 20 med de senaste uppdateringarina som VM. I VM-maskinen hittas kortet och diskarna samt jag kan importera poolen utan problem.

spci -k -s 0b:00.0
0b:00.0 Serial Attached SCSI controller: Broadcom / LSI SAS3008 PCI-Express Fusion-MPT SAS-3 (rev 02)
	DeviceName: pciPassthru0
	Subsystem: Broadcom / LSI SAS9300-8i
	Kernel driver in use: mpt3sas
	Kernel modules: mpt3sas

Jag har ägnat en bra stund åt att leta runt på nätet men jag hittar inget substantiellt att testa mer nu utan behöver verkligen lite hjälp från alla erfarna Swecklockare!

Mvh
z

Hejsan och tack för ditt förslag!

Hur tänker du att jag ska göra pass-through av diskarna till VM:en?
Med RDM som enskilda diskar?

Så som jag har tolkat tanken med zfs är att det vill ha direkt kontakt med diskarna för att säkerställa att data skrivs korrekt på disken och att det är därför som pass-through av hela kontrollen är ett krav för att uppnå detta.

mvh
z

Hej och tack för ett spännande förslag!

I nuläget gnäller inte ESXi faktiskt utan det går utmärkt att köra pass-through av mitt HBA. Dock blir det besvärligt när det ändå blir problem.

Det är såklart ett alternativ att testa en ny Hypervisor för att lära mig något nytt men jag har svårt att testa det i närtid då servern står en bit bort. Målet är att få till en bra off-site backup för data.

/z

Absolut kan versionen av hårdvaran spela lite roll och jag bytte precis från ESXi 6.5 till 7 i hopp om att det skulle hjälpa med en "uppgradering" av miljön men icke. Jag har en annan server från samma årtionde också med ESXi 6.5 samt ett LSI2008 i pass-through till en Ubuntu VM där jag rullar Nextcloud med zfs storage sjukt stabilt.

Jag förstår att det såklart finns många trådar om att det är svårt att få till pass-through med ESXi i många fall, dock hittar jag nästan inga trådar med just denna typen av problem där pass-through är på men det fortfarande blir fel.

Självklart är det absolut bästa att köra zfs på metall men det är opraktiskt för mig.

När jag kan ska jag försöka installera Proxmox på servern bara för att testa och lära mig men jag är fortfarande intresserad av fler förslag på hur jag skulle kunna debugga vad som egentligen går fel i nuvarande lösningen också.

Mvh
z

Hade idag möjligheten att testa lite till och bara för att utesluta mer grejer provade jag att köra passthrough även på onboard SATA-kontrollen med samma trista resultat som tidigare med CKSUM errors.

Vad jag än gör som innefattar passthrough skiter sig hårt medans plockar jag bort hypervisorn (ESXi 6.5 & 7.0.3) funkar det fint.

Det enda som jag egentligen inte har bytt i detta läget är CPU och MB... Vilken ska man chansa på?

/z