Já jim věřim, že to neukládají. A kdybys jim fakt nevěřil, tak máš furt možnost nenechat je generovat privátní klíč, vygenerovat si ho sám u sebe a dát jim tam jenom CSR.
Jinak, aby ho mohli zneužít, museli by se ještě dostat do cesty mezi Tvoje uživatele a Tvůj server, tj. nejspíš podvrhnout DNS. To taky neni úplně triviální.