Rensa minnesanvändning / snabba upp SSH authentication

Hej,
tyckte att det tog en jäkla tid att logga på servern via ssh samt att memory usage låg rätt högt och startade då om datorn. Helt plötsligt gick SSH blixtsnabbt och memory usage var ickeexisterande. Sett att det finns sätt att reboota servern automatiskt typ 5 på morgonen varje dag med cron men även läst att det inte är så jättebra att behöva boota om sin linux server hela tiden. Finns det någon annan lösning på problemet? Kör ubuntu server 12.04 och det ändå som kör där just nu är deluge + plex media server men ska försöka fixa owncloud inom en snar framtid.

Sitter på 4GB, går aldrig över 2 typ.