Dichttimmeren dat kan met iptables, het is de moeite waard om daar wat meer informatie over op te zoeken.
De manual bevat veel informatie(man iptables in de commandline). Misschien zijn er goede tutorials ook over.
Als je tot de server geen fysieke toegang hebt oefen dit dan eerst lokaal, anders kan je jezelf buitensluiten van je server.
In principe is SSH redelijk veilig, er kan niemand meelezen want die verbinding die je opzet is versleuteld. Uiteraard moet je toegangswachtwoord wel goed (lang met speciale tekens) genoeg zijn, anders kunnen ze het nog altijd via brute force achterhalen.