Teoreticky by to mohla dělat volba:
/ip ssh set always-allow-password-login=no
Mělo by to být per user. Pokud uživatel má nastavenu autorizaci SSH klíčem, neměla bo to už dovolit mu přihlásit se heslem, ale dokud existuje nějaký uživatel, co nemá nastavenu SSH key autorizaci, tak heslo půjde stále použít u těchto userů v SSH.