Jag skulle börja med att bli helt säker på om det faktiskt är att du har ett AMD-kort som är problemet. Som @n0kturnal sa har AMD lyckats få upp prestandan rejält det senaste, se denna artikel från Sweclockers som beskriver hur 7900 XTX blev 10 gånger snabbare än tidigare i Stable Diffusion med optimeringar och därmed i princip var ikapp ett RTX 4080.
Tror man på detta är det inte så stor skillnad mellan AMD och Nvidia längre, och då låter det mer som att du har någon bugg eller felinstallation eller liknande