Skutečně tomu není možné zabránit, prohlížeč prostě očekává zcela validní odpověď, se správným certifikátem na správné doménové jméno. Což není splněno, tím pádem je vyvolána v prohlížeči chyba. Co by někdy potom ukázal nginx je irelevantní, tam se ani nedostaneme. Doporučuji tam nastavit nějakou stránku s chybovým HTTP kódem, aby při výpadku správného hosta monitoring zaječel, že přijíždí chybová stránka.
Pro ten druhý problém bychom museli vidět celý konfigurák, jak jej vypíše nginx -T, tedy včetně rozbalení všech include. Jsou to opravdu jediné volby listen v té sekci server? Mimochodem volba ipv6only=on je zbytečná, ve výchozím stavu se to i bez ní chová správně a pokud je tahle volba zopakovaná pro jedno rozhraní na více místech, ječí to taky chybu o duplicitě.