Problem med nytt grafikkort?

Jag ska försöka förklara detta så bra som möjligt:

Jag köpte nyligen ett nytt grafikkort, ASUS Radeon RX 6700, och det har funkat bra i ca två veckor.
Jag har två skärmar, en på 165 hz och en på 60 hz.
Grafikkortet har bara en HDMI-port, och resten DP. Så det jag gjorde var att jag köpte en HDMI till DP-adapter eftersom jag bara har två HDMI-kablar.

Jag märkte igår att min primära 165hz skärm inte kan utnyttja 165hz (det är den som var ikopplad i adaptern). Så jag bytte dom två, så att den sekundära 60z skärmen använde sig av adaptern och den primära 165hz skärmen använde sig direkt av HDMI-porten i grafikkortet. Detta gjorde att jag nu kunde utnyttja 165hz. Dock så blir skärmen svart i ett par sekunder då och då när jag spelar nu.
Jag testade med att installera om drivrutinerna och allting, samma problem. Blir svart till och från när jag spelar.

Så jag bytte tillbaka till hur jag hade det, och nu funkar det igen men med en cap på 60z på båda skärmarna.

Vet någon vad detta kan bero på och hur jag fixar det?