Na Linuxu (a unixech obecně) to lze. Nicméně to, že smažete ten soubor, neznamená, že přestane existovat na disku. Souborový systém na unixech funguje tak, že máte data na disku, a na ně vede jeden nebo více ukazatelů (hard linky). Když počet ukazatelů klesne na nulu, soubor se smaže. Když spustíte aplikaci, ta běžící aplikace má na soubor hardlink, který lze najít třeba v adresáři /proc. Tj. v tu chvíli budou existovat minimálně dva odkazy. Když smažete jméno ze souborového systému (to, čemu říkáte „smazat soubor“), smaže se ten jeden link ze souborového systému, ale pořád zůstává ten druhý z běžící aplikace. Takže data na disku zůstávají – a kdo má právo číst třeba z /proc, může ten soubor pořád přečíst nebo na něj vytvořit nový odkaz (a tím zase soubor zviditelnit pod nějakým jménem v souborovém systému).
Pozor také na to, že tohle platí, když se spouští jednoduchá nativní binárka. Když budete spouštět nějaký skript, virtuální stroj nebo binárku s odkazy na další knihovny, může se stát, že přistupuje k dalším souborům a otvírá je až v průběhu toho, co aplikace běží. Takže kdybyste smazal celou aplikaci se všemi soubory, může se stát, že najednou v průběhu běhu aplikace bude chtít otevřít další soubor, který ale bude už smazaný. A čistě teoreticky by k tomu mohlo dojít i v rámci jedné binárky – že by aplikace sama svou binárku z nějakého důvodu chtěla otevřít znova na základě cesty k souboru.
Na Windows to udělat nepůjde, protože tam se při spuštění soubor zamkne.