Jag tycker det låter som du beskriver rubberbanding. Slå på netgraph och kolla om du har nätverksproblem. Om det kommer smygande kan det bero på (exempelvis) temperaturproblem för nätverkskortet... men först, kolla om du har nätverksproblem öht.
http://diaryofdennis.com/2015/09/20/how-to-show-the-fps-laten...