Odvození vzorečku pro entropii

[Stud]

Jak se došlo k vzorečku pro entropii? Na Wikipedii je podrobně popsáno, k čemu entropie je a co vyjadřuje, ale proč zrovna vážený průměr logaritmů pravděpodobností?

[Reklama]

[sdafasdfas]

https://en.wikipedia.org/wiki/Boltzmann_distribution

protoze p_i = exp (f(1/T)), inverzni funkce je logaritmus.

a pak si precti sloupecek "Entropy changes for systems in a canonical state" v:
https://en.wikipedia.org/wiki/Entropy_%28statistical_thermodynamics%29

[hawran diskuse]

Jak se došlo k vzorečku pro entropii? Na Wikipedii je podrobně popsáno, k čemu entropie je a co vyjadřuje, ale proč zrovna vážený průměr logaritmů pravděpodobností?

A do toho ještě "řešení mezinárodní opravy systému měření času, tzv. přestupné vteřiny." ...
https://www.datoveschranky.info/-/mimoradna-odstavka-systemu-isds-30-6-1-7-2015

[PH]

Jak se došlo k vzorečku pro entropii? Na Wikipedii je podrobně popsáno, k čemu entropie je a co vyjadřuje, ale proč zrovna vážený průměr logaritmů pravděpodobností?

Hezký příklad užitečnosti infinitezimálního počtu. Původní (fyzikální) motivace je čistě kombinatorická. Myšlenkový postup je poměrně jednoduchý: Obsahuje-li systém n částic, z nichž každá může být v jednom z m stavů, celkový počet stavů systému je n!/(k1!…km!), kde ki je počet částic ve stavu i. Entropie systému je logaritmus této hodnoty. Zbytek je elementární aproximace pomocí integrálu, stačí vyjádřit log n! jako log 1+…+log n, což je aproximace integrálu logaritmu, což je přibližně n.log n (proto je v entropii p.log p). Rozepsáním všech faktoriálů ve výše uvedeném snadno dostaneme vzoreček pro entropii, tedy sumu pi.log pi přes všechny stavy, kde pi=ki/n (k celému odvození, jak vidno, stačí středoškolská matematika). V teorii informace se entropie (resp. její pravděpodobnostní interpretace) nejlépe vysvětluje na “nekonečných opicích” (infinite monkey theorem).

[Yarda]

Já bych tyhle vysoce odborné vzorečky nebral tak vážně. IMHO vědátor něco objeví, změří to a pak se pokusí to co změřil nějak popsat. A to co popsal se pak musí biflovat chudáci studenti a jsou kvůli tomu vyhazováni od zkoušek. A pak se třeba zjistí, že je to úplně jinak - třeba jak se vědci pokoušeli popsat záření černého tělesa.
Dobře to popsal pan Richard P. FEYNMAN v knize "To nemyslíte vážně, pane Feynmane!" v kapitole "Sedmiprocentní řešení"

[Reklama]

[PH]

Já bych tyhle vysoce odborné vzorečky nebral tak vážně. IMHO vědátor něco objeví, změří to a pak se pokusí to co změřil nějak popsat. A to co popsal se pak musí biflovat chudáci studenti a jsou kvůli tomu vyhazováni od zkoušek. A pak se třeba zjistí, že je to úplně jinak - třeba jak se vědci pokoušeli popsat záření černého tělesa.
Dobře to popsal pan Richard P. FEYNMAN v knize "To nemyslíte vážně, pane Feynmane!" v kapitole "Sedmiprocentní řešení"

Pokud to student nepochopí, je vyhozen právem.
Entropie je důležitá ve statistice, zejména princip maximální entropie. Je na ní založena například metoda strojového překladu, kterou používá Google.

[Co je gravitace]

Pokud to student nepochopí, je vyhozen právem.

To jen znaci, ze ucitele to neumi vysvetlit a nakonec je svechno uplne jinak. Mimochodem, uz spocital nekdo tu gravitaci?

[JS]

PH tady uz popsal myslenku za fyzikalni entropii, a jelikoz autor nenapsal, kterou entropii chce, puvodne jsem chtel popsat tu informatickou. Ale pak jsem zjistil, ze bych neudelal lepsi praci nez tento odkaz na Wikipedii: https://en.wikipedia.org/wiki/Entropy_%28information_theory%29

Tam je vysvetlene nekolika zpusoby, jak se k tomu logaritmu dojde - v podstate jde o stredni hodnotu informace, kterou nam da nejaky nahodny zdroj.

V podstate vysledna funkce pak odpovida i te intuici s tim spojene, pokud zdroj dava jen jeden symbol (s pravdepodobnosti 1), je entropie 0 (neziskame zadnou informaci), pokud maji symboly rovnomerne rozdeleni (tedy vsechny stavy jsou stejne pravdepodobne), entropie je dvojkovy logaritmus poctu stavu, protoze ziskame presne tolik informace kolik bitu je potreba na popis toho stavu.

[PH]

PH tady uz popsal myslenku za fyzikalni entropii, a jelikoz autor nenapsal, kterou entropii chce, puvodne jsem chtel popsat tu informatickou. Ale pak jsem zjistil, ze bych neudelal lepsi praci nez tento odkaz na Wikipedii: https://en.wikipedia.org/wiki/Entropy_%28information_theory%29

Tam je vysvetlene nekolika zpusoby, jak se k tomu logaritmu dojde - v podstate jde o stredni hodnotu informace, kterou nam da nejaky nahodny zdroj.

V podstate vysledna funkce pak odpovida i te intuici s tim spojene, pokud zdroj dava jen jeden symbol (s pravdepodobnosti 1), je entropie 0 (neziskame zadnou informaci), pokud maji symboly rovnomerne rozdeleni (tedy vsechny stavy jsou stejne pravdepodobne), entropie je dvojkovy logaritmus poctu stavu, protoze ziskame presne tolik informace kolik bitu je potreba na popis toho stavu.

Ta Wikipedie to moc dobře nepopisuje, resp. chybí kombinatorická interpretace. Nejlepší je vysvětlit to na jazyku (pravděpodobnosti písmen).

[Ajeje]

"Kdyz to nekdo napoprvy nepochopi, je blbej a nema tam co delat."

Jejda, to je uzasna interpretace sveta. no, neni divu, ze si o ceskem skolstvi povidaji *. ono totiz ceske skolstvi je jen plne dementu, kteri maji prirozenou schopnost nabiflovat se a odrikat cokoliv, a to staci, rozumnet tomu nemusi, spravne to byt nemusi, staci autoritativni pravda. kdo pochybuje je blbej. jajka manka.

Tak hlavne ze vite, kde se stekaji Labe a Vltava, umite vetny rozbor a odrikat vzorecek pro gravitaci. Asi nejzasadnejsi rozdil mezi sudetskou spinou a narodama, co posilaj sondy na jina vesmirna telesa.