SMB protokol už nějakou dobu podporuje šifrování a Samba taktéž, takže pokud nechce vystavovat "staré" Netbios porty 13x, ale jen SMB port 445/TCP a v Sambě si zapne povinné šifrování (server signing=mandatory, smb encrypt=mandatory, smb min protocol=SMB3_00, smb max protocol=SMB3), klient bude Windows 8 nebo novější, tak s wireshark a podobné je smolík.
Jiná věc je, zda je to rozumné. Fail2ban občas udělá víc škod než užitku, SMB protokol není zrovna nejživější přes Internet, v kombinaci s tím šifrováním se sráží výkon dolů, a to i na LAN cca o pětinu, navíc řada ISP (a i firemních sítí na svých hraničních firewallech) v rámci univerzálního blaha mají provaření MS porty blokované, takže stejně na řadě míst skončí opět u nějaké VPN.
Ani sám MS se nesnaží, aby se to tak používalo, ale tlačí Direct Access, což ovšem znaména mít MS Windows server. Tím pádem, že DA na linuxu neuchodím (protože není podpora pro SecAuth "rozšíření" IKE, co si MS zavedl), tak končí u nějaké klasické VPN (my jedeme IPsec IKEv2 s nativním klientem, co je ve Windows).
Jiná možnost je zvážít něco jako WebDAV přes HTTPS, což jde také ve Windows používat v podstatě jako klasickou sdílenou složku, jenom najít použitelné server side řešení...