NTLM Vám přes nginx neprojde, to jde jen s komerční variantou Nginx Plus.
Musíte na IIS vypnout NTLM (úplně) a pak mám nastavení (je možné, že je něco nadbytečné, nezaručuji):
proxy_buffering off;
proxy_request_buffering off;
proxy_ignore_client_abort off;
proxy_http_version 1.1;
proxy_pass_request_headers on;
proxy_headers_hash_max_size 1024;
proxy_headers_hash_bucket_size 128;
proxy_pass_header Date;
proxy_pass_header Server;
proxy_set_header Host $host;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection $connection_upgrade;
proxy_set_header Accept-Encoding "";
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
more_set_input_headers 'Authorization: $http_authorization';
more_set_headers -s 401 'WWW-Authenticate: Basic realm="$host"';
Základem je však vypnutí NTLM na IIS.
Obdobně se řeší Exchange, tam se ještě musí navýšit timeouty a max sizes apod.