Hög signalstyrka betyder inte att det är en bra signal, bara att den är stark.
Du kan mycket väl har stora störningar. Testa by kanal. Dra hem ex netstumbler och kolla vilka andra nät det ligger i närheten. Står routern nära saker som micro, gammal crt-tv en dect telefoner är även det saker som kan sätta käppar i hjulet!
Normalt brukar det kunna vara en hel del stabilitetsproblem med "hemma" routrar. Men om det nu bara handlar om en 2 sek, så låter det inte som den startar om vilket mer tyder på störingar i signalen.
Edit läste lite tydligare, och det låter som din router visst startar om. Har du senaste firmwaren på den?