x11vnc sám to neumí, buď konkrétní rozhraní nebo všechny (0.0.0.0). Kromě toho, co píše _Jenda bych jako další možnost viděl forward na straně iptables, kdy si to spojení 192.168.x.x na vnc odchytne a pošle na vnc interface.
Jen pozor na to VPN tailscale, je nutné, aby vpn byla up v momentě, kdy x11vnc startuje a stejně tak, aby se při odpojení také neodstranil interface, pokud tohle nemůžeš zajistit, tak jen 0.0.0.0, kdy se to automaticky připíchne i na nové interfacy a přes iptables vyřešit omezení.