Ja, CPUn påverkar inte grafikkortet på det sättet att du inte kan välja tillverkare bäst du vill.
Vill du köra på AMD, kör på AMD, vill du byta till Nvidia, kör på Nvidia. Se bara till att ta bort drivrutinerna från Nvidia/AMD innan du byter kort, jag rekommenderar DDU (DisplayDriverUninstaller) för drivrutinsrensning.
Lycka till!
PS: Något att tänka på med OEM datorer(HP, Asus, Dell, etc), se till att kortet får plats i datorn, rent fysiskt, och att nätaggregatet orkar med.