Sleutels klinkt leuk, maar zorg dan wel dat deze met een passphrase werken. Anders is kan het zo zijn dat je met een crash jezelf buitensluit, of in geval van een hacker je sleutel kwijt bent. Als je je sleutel op een usb-key zet heb je daar ook nog een keer het fysieke verliezen bij.....
Andere optie: Gebruik een vpn en daaroverheen een ssh-sessie. Het mooiste is dan twee verschillende gebruikers met elk een eigen wachtwoord. Dat kun je dan ook nog aanvullen met een firewall. Overigens de rechten in /etc staan standaard inderdaad goed. Ga je deze beperken, (sudoers, passwd, nsswitch.conf etc) dan kun je er voor zorgen dat je hele machine niet meer werkt. Helaas al eens wat machines gezien waar dit grote problemen op gaf. Overigens kun je ook nog eens extra kijken naar bijvoorbeeld PAM als aanvulling. pam_access biedt de mogelijkheid om users/groepen en eventueel ook nog adressen toe te laten of juist te weigeren.
denyhosts en consorten is ook een mooie aanvulling. Het mooiste is overigens een pakket wat als daemon draait en niet via de crontab, dit omdat een daemon gelijk kan ingrijpen en via de cron er altijd tijd tussen zit.
De beste beveiliging bestaat uit verschillende lagen, helaas is /etc-permissies aanpassen vaak de slechtste.