ssh-keygen med eller utan passphrase

Vill automatisera secure copy med ett script och har förstått att ssh-keygen kan användas för att skapa en nyckel. Om jag vill undvika lösenord(passphrase) vilket fungerar dåligt i script så måste jag väl använda empty passphrase när jag skapar nycklarna? Eller?
Vad är risken med att inte ange en passphrase? Enda nackdelen är väl om någon kommer åt nycklarna, eller hur?
Kör debian.

Jag var nog lite otydlig. har ett script som utför backup och kopierar till en klient från en serverdator. För att slippa lösenordsinloggning så har jag skapat nycklar med ssh-keygen osv. Min fråga var om det är dumt att inte använda ngn passphrase då man skapar nycklarna. Nog om detta det har löst sig iaf.

"Detta går dock att begränsa i ssh genom att i confen koppla nycklar med IP eller hostname."

Finns det någon guide till detta?