Passar ett nytt grafikkort på ett äldre moderkort?

Ja.
Alla PCIe kort passar i alla PCIe moderkort (men säkert så finns det buggiga/udda varianter som bekräftar regeln).
Och ditt X38 chipset är ju relativt nytt i sammanhanget, det har ju t.o.m PCIe 2.0

visst passar kortet, men har du lite begränsad budget så kanske det är värt att fundera på ett begagnat grafikkort som ger väldigt mycket mer bang fpr the buck i den prisklassen.

du får ett 280x för ~1300 och det är ett klart bättre kort.
Gå ner till ett gtx 580 som är motsvarande ett 660 och det går på ~6-700kr typ.
eller ett 6950 som är lite sämre igen för femhundringen.

Ett annat tips om du vill uppgradera är att sälja det du har nu och köpa ett nytt begagnat system. Moderkortet du har är ett av de bättre till 775 och inbringar säkert en bit över femhundringen på tradera tex. Sitter du även på en bättre Quad typ q9550 och vettiga Ram så är där ytterligare ett par hundralappar och du har helt plötsligt cash till att i princip köpa ett begagnat 1155 system med tex en 2500k och ett p67 moderkort samt 8GB ddr3 RAM

Fysiskt passa dom nya korten, det du skall se upp med är om bios stödjer de nya korten, kan vara att du måste uppdatera till senaste bios innan det funkar.

Kan nämna att mitt 780TI fungerar utmärkt i mitt urgamla P4GD1 som var ett av dom absolut första PCIe korten

Absolut, det är inte alla moderkort man behöver uppdatera bios på.