UseLogin levert weer problemen op met X11 forwarding volgens de man page, dat gebruik ik af en toe wel.
Maar je hebt me wel op het goede spoor gezet
Ik had de configuratie aangepast om alleen logins met een key toe te staan en de rest te verbieden.
Blijkbaar een foutje gemaakt door UsePAM uit te zetten.
UsePAM weer aangezet en sshd opnieuw gestart. Nu werkt het wel weer goed