Skumt problem - lokalt keyboard/mus hänger under X

Nu behöver jag lite hjälp av er linux nissar

Jobbar med att flytta bort ifrån Windows Server 2008 som virtualiseringsvärd till ett linuxbaserat system. Har provat ut ett antal distros och VM värdar so far, men har bestämt mig för antingen SUSE eller RHEL. Problemet är att om jag installerar och startar X på någon av dessa hänger sig mitt lokala tangentbord och mus efter ett tag. Ibland sker det med en gång X är startat, andra gånger kan det fungera en timme eller två.

När detta sker är maskinen fortfarande helt friskt uppegående på nätet och alla processer fortsätter köra på i bakgrunden - jag kan alltså SSH'a in till den för att fortsätta jobba som om inget hade hänt.

Tangentbord och mus är tillkopplat genom USB, men det verkar inte vara något problem med USB stödet eftersom jag provat koppla in en USB disk både innan och efter krashen - båda gångerna kan jag mounta denna och komma åt innehållet utan problem.

Funderade då på om det var grafikkortet som ställde till med problem (även fast det fungerar finfint i bl.a. Win2008), så bytte ut det mot ett annat jag hade liggande. Samma sak händer där.

I övrigt fungerar maskinen klockrent och det är varken RAM eller disk -fel på den.

Någon som har nån bra ide på vad jag bör titta närmare på?

(Jodå, att inte starta X är ju ett alternativ - och kommer nog inte använda det mycket när allt är "klart"; men vill vara fint att ha möjligheten ändå)

--edit--
För att precisera - keyboard/mus hänger sig helt totalt och jag kan varken toggla num-/caps- lock eller ALT'a ut till en konsol när det väl har skett; enda lösningen är att logga på genom SSH eller en remote X "client".