Operátor log/n v odvození entropie

Matador

Operátor log/n v odvození entropie
« kdy: 22. 06. 2018, 11:54:22 »
Ahoj, v odvození vzorečku pro entropii se hned na začátku používá operátor “log/n”. Může mi někdo vysvětlit 1) co to je a 2) proč se to aplikuje na multinomiální součinitel?


uuuuuuuu

Re:Operátor log/n v odvození entropie
« Odpověď #1 kdy: 22. 06. 2018, 12:03:57 »
Najdi si informacni entropie.
Hazeni minci muze dat 2 hodnoty, log2(2)=1, takze jeden bit informace.

Matador

Re:Operátor log/n v odvození entropie
« Odpověď #2 kdy: 22. 06. 2018, 13:16:59 »
Najdi si informacni entropie.
Hazeni minci muze dat 2 hodnoty, log2(2)=1, takze jeden bit informace.
To není odpověď na otázku.

Matador

Re:Operátor log/n v odvození entropie
« Odpověď #3 kdy: 22. 06. 2018, 15:22:08 »
proč se to aplikuje na multinomiální součinitel?
Aha, takže log, aby entropie byla aditivní veličina (abych si odpověděl sám). Pořád je ten zápis ale nějaký divný, resp. ani neodpovídá gramatice matematických zápisů. A proč je tam to n?

JSH

Re:Operátor log/n v odvození entropie
« Odpověď #4 kdy: 23. 06. 2018, 10:27:55 »
Aha, takže log, aby entropie byla aditivní veličina (abych si odpověděl sám). Pořád je ten zápis ale nějaký divný, resp. ani neodpovídá gramatice matematických zápisů. A proč je tam to n?
Jak neodpovídá gramatice? Můžeš sem hodit odkaz na ten divný vzoreček? "log/n" vypadá spíš na překlep. Třeba https://cs.wikipedia.org/wiki/Entropie má IMO zápis OK.


Gődel

Re:Operátor log/n v odvození entropie
« Odpověď #5 kdy: 23. 06. 2018, 10:54:00 »
Aha, takže log, aby entropie byla aditivní veličina (abych si odpověděl sám). Pořád je ten zápis ale nějaký divný, resp. ani neodpovídá gramatice matematických zápisů. A proč je tam to n?
Jak neodpovídá gramatice? Můžeš sem hodit odkaz na ten divný vzoreček? "log/n" vypadá spíš na překlep. Třeba https://cs.wikipedia.org/wiki/Entropie má IMO zápis OK.
To není překlep, log z toho opravdu dělá aditivní veličinu. To n je n-tá odmocnina, v podstatě geometrický průměr z toho multinom. koeficientu, protože entropie nezávisí na počtu hodnot náhodné proměnné. Použití Stirlingova vzorce pak dá vzoreček pro entropii bez n. Takové odvození z multinom. koeficientu se dobře vysvětluje informatikům, co neví nic o termodynamice, na tvrzení o nekonečných opicích, čím vyšší entropie, tím menší pravděpodobnost, že opice napíšou všechna díla Shakespeara v daném čase.

Gődel

Re:Operátor log/n v odvození entropie
« Odpověď #6 kdy: 23. 06. 2018, 12:36:33 »
P.S. Původní odvození je z thought experimentu o počtu uspořádání systému z n částic s m stavy.

Gődel

Re:Operátor log/n v odvození entropie
« Odpověď #7 kdy: 23. 06. 2018, 14:32:35 »
Aha, takže log, aby entropie byla aditivní veličina (abych si odpověděl sám). Pořád je ten zápis ale nějaký divný, resp. ani neodpovídá gramatice matematických zápisů. A proč je tam to n?
Jak neodpovídá gramatice?
Není to kompletní vzorec, jde o abuse of notation (jako když někdo, kdo tomu nerozumí, "krátí zlomky" v derivacích). Méně krypticky by ten operátor byl log(_)1/n, aplikovaný na funkci v n. Matematici mají ten blbý zvyk věci extrémně zkracovat až za hranici korektnosti, protože "přece každej ví, co se tím myslí".

JSH

Re:Operátor log/n v odvození entropie
« Odpověď #8 kdy: 23. 06. 2018, 15:36:25 »
Není to kompletní vzorec, jde o abuse of notation (jako když někdo, kdo tomu nerozumí, "krátí zlomky" v derivacích). Méně krypticky by ten operátor byl log(_)1/n, aplikovaný na funkci v n. Matematici mají ten blbý zvyk věci extrémně zkracovat až za hranici korektnosti, protože "přece každej ví, co se tím myslí".
Dík. Abuse of notation dává smysl. Pěkných pár už jsem potkal ale zrovna tuhle ještě ne.

Gődel

Re:Operátor log/n v odvození entropie
« Odpověď #9 kdy: 23. 06. 2018, 16:02:36 »
Není to kompletní vzorec, jde o abuse of notation (jako když někdo, kdo tomu nerozumí, "krátí zlomky" v derivacích). Méně krypticky by ten operátor byl log(_)1/n, aplikovaný na funkci v n. Matematici mají ten blbý zvyk věci extrémně zkracovat až za hranici korektnosti, protože "přece každej ví, co se tím myslí".
Dík. Abuse of notation dává smysl. Pěkných pár už jsem potkal ale zrovna tuhle ještě ne.
Není zač. Mě by to taky zarazilo, kdyby se neřeklo, že to je operátor. Takhle mi to připomnělo diferenciální operátor, třeba d/dt, což taky samo o sobě nedává smysl, ale jakmile se to napíše před funkci, najednou z toho vznikne jiná funkce. log/n je podobně zkratkovitý zápis.

Géomètre

Re:Operátor log/n v odvození entropie
« Odpověď #10 kdy: 10. 07. 2018, 19:28:35 »
Viz Stirligova formule, ta je pro entropii stěžejní.

pseudonym_neni_anonym

Re:Operátor log/n v odvození entropie
« Odpověď #11 kdy: 11. 07. 2018, 16:36:23 »
V jakem smyslu je Stirlingova formule stezejni pro entropii? Kdyz se podivam na definici, tak tam exp nevidim. :) Jestli mate na mysli nejakou peknou motivaci pro definici informacni entropie, kde se vyskytne Stirlingova formule, tak prosim o odkaz, nebo alespon vhodne klicove slovo, ktere zavede spravnym smerem. Dekuji.