Internetanslutningen försvinner ibland

Jag använder en Zyxel router från Bredbandsbolaget. Den är antagligen kass, men eftersom jag inte använder wifi (bara sladd), så antog jag att det inte skulle spela någon större roll.
Senaste två veckorna har dock internetanslutningen försvunnit under kortare perioder, alltifrån tio minuter till en timme.
Jag hade aldrig liknande problem med min tidigare router (som jag typ använde i över tio år) och allt bredbandsbolaget verkar föreslå är att jag ska om routern genom att sätta trycka in en nål på baksidan av routern i tio sekunder.

Jag vet inte riktigt vad som orsakat problemet. Just nu har det bara hänt ett par kortare perioder. Jag vet inte heller om andra enheter än min dator påverkats av det. Om det var fel på någon av sladdarna så känns det som problemet borde varit mer påtagligt.

Någon som har några teorier? Kan det vara värt att skaffa en bättre router även om jag inte använder wifi?