Har du problem med packet-loss tro?
Om du testar att pinga ex ping.sunet.se eller Googles DNS, vad får du för svarstider, samt får du några timeouts då?
Kan nästan vara så att 1.6Mbit/s för en WP sida kan vara lite klent, givetvis beror de helt på om man har en massa addons, stora bilder osv. Det du skulle kunna testa är att ladda så mycket du kan från redan befintliga CDNer.