Operátor log/n v odvození entropie

[Matador]

Ahoj, v odvození vzorečku pro entropii se hned na začátku používá operátor "log/n". Může mi někdo vysvětlit 1) co to je a 2) proč se to aplikuje na multinomiální součinitel?

[Reklama]

[uuuuuuuu]

Najdi si informacni entropie.
Hazeni minci muze dat 2 hodnoty, log2(2)=1, takze jeden bit informace.

[Matador]

Najdi si informacni entropie.
Hazeni minci muze dat 2 hodnoty, log2(2)=1, takze jeden bit informace.

To není odpověď na otázku.

[Matador]

proč se to aplikuje na multinomiální součinitel?

Aha, takže log, aby entropie byla aditivní veličina (abych si odpověděl sám). Pořád je ten zápis ale nějaký divný, resp. ani neodpovídá gramatice matematických zápisů. A proč je tam to n?

[JSH]

Aha, takže log, aby entropie byla aditivní veličina (abych si odpověděl sám). Pořád je ten zápis ale nějaký divný, resp. ani neodpovídá gramatice matematických zápisů. A proč je tam to n?

Jak neodpovídá gramatice? Můžeš sem hodit odkaz na ten divný vzoreček? "log/n" vypadá spíš na překlep. Třeba https://cs.wikipedia.org/wiki/Entropie má IMO zápis OK.

[Reklama]

[Gődel]

Aha, takže log, aby entropie byla aditivní veličina (abych si odpověděl sám). Pořád je ten zápis ale nějaký divný, resp. ani neodpovídá gramatice matematických zápisů. A proč je tam to n?

Jak neodpovídá gramatice? Můžeš sem hodit odkaz na ten divný vzoreček? "log/n" vypadá spíš na překlep. Třeba https://cs.wikipedia.org/wiki/Entropie má IMO zápis OK.

To není překlep, log z toho opravdu dělá aditivní veličinu. To n je n-tá odmocnina, v podstatě geometrický průměr z toho multinom. koeficientu, protože entropie nezávisí na počtu hodnot náhodné proměnné. Použití Stirlingova vzorce pak dá vzoreček pro entropii bez n. Takové odvození z multinom. koeficientu se dobře vysvětluje informatikům, co neví nic o termodynamice, na tvrzení o nekonečných opicích, čím vyšší entropie, tím menší pravděpodobnost, že opice napíšou všechna díla Shakespeara v daném čase.

[Gődel]

P.S. Původní odvození je z thought experimentu o počtu uspořádání systému z n částic s m stavy.

[Gődel]

Aha, takže log, aby entropie byla aditivní veličina (abych si odpověděl sám). Pořád je ten zápis ale nějaký divný, resp. ani neodpovídá gramatice matematických zápisů. A proč je tam to n?

Jak neodpovídá gramatice?

Není to kompletní vzorec, jde o abuse of notation (jako když někdo, kdo tomu nerozumí, "krátí zlomky" v derivacích). Méně krypticky by ten operátor byl log(_)^1/n, aplikovaný na funkci v n. Matematici mají ten blbý zvyk věci extrémně zkracovat až za hranici korektnosti, protože "přece každej ví, co se tím myslí".

[JSH]

Není to kompletní vzorec, jde o abuse of notation (jako když někdo, kdo tomu nerozumí, "krátí zlomky" v derivacích). Méně krypticky by ten operátor byl log(_)^1/n, aplikovaný na funkci v n. Matematici mají ten blbý zvyk věci extrémně zkracovat až za hranici korektnosti, protože "přece každej ví, co se tím myslí".

Dík. Abuse of notation dává smysl. Pěkných pár už jsem potkal ale zrovna tuhle ještě ne.

[Gődel]

Není to kompletní vzorec, jde o abuse of notation (jako když někdo, kdo tomu nerozumí, "krátí zlomky" v derivacích). Méně krypticky by ten operátor byl log(_)^1/n, aplikovaný na funkci v n. Matematici mají ten blbý zvyk věci extrémně zkracovat až za hranici korektnosti, protože "přece každej ví, co se tím myslí".

Dík. Abuse of notation dává smysl. Pěkných pár už jsem potkal ale zrovna tuhle ještě ne.

Není zač. Mě by to taky zarazilo, kdyby se neřeklo, že to je operátor. Takhle mi to připomnělo diferenciální operátor, třeba d/dt, což taky samo o sobě nedává smysl, ale jakmile se to napíše před funkci, najednou z toho vznikne jiná funkce. log/n je podobně zkratkovitý zápis.

[Géomètre]

Viz Stirligova formule, ta je pro entropii stěžejní.

[pseudonym_neni_anonym]

V jakem smyslu je Stirlingova formule stezejni pro entropii? Kdyz se podivam na definici, tak tam exp nevidim. Jestli mate na mysli nejakou peknou motivaci pro definici informacni entropie, kde se vyskytne Stirlingova formule, tak prosim o odkaz, nebo alespon vhodne klicove slovo, ktere zavede spravnym smerem. Dekuji.