久しぶりに借りたレンタルサーバーにSSHする方法について書きました。
おそらくどのレンタルサーバーでも同じ手順でSSHできると思います。

ローカルの公開鍵をサーバーの authorized_keys に追加してあげます、以上。
公開鍵を作成してない方は情報がいっぱいあるので調べてみてください。

$ scp ~/.ssh/id_rsa.pub user_name@example.com:/home/user_name/.ssh/authorized_keys

EC2のAmazonLinuxやさくらのVPSだとパスワードログインがデフォルトでOFFになっていますが、
レンタルサーバーの場合は自分でOFFにしないといけなそうですね・・・