Du har alldeles rätt i att det krävs extra "handshakes" vid SSL/HTTPS, men i majoriteten av alla hemsidor så motsvarar dessa extra ms i värsta fall några enstaka procents ökning i extra laddningstid. För "väloptimerade" sidor, exempelvis Sweclockers så är skillnaden minimal. Det är lite svårt att mäta då en hemsida du besöker har x antal request, en del av dessa måste göra en handshake, andra inte.
Ser man det på den "globala" hostingmarknaden så är ju det generella problemet inte att SSL slöar ner upplevelsen när du besöker hemsidor, utan det är dessa "ultimate/unlimited" paket, "shared hosting" och framförallt alldeles för dåligt/inte alls optimerade hemsidor.
Just my 2 cents.