Fórum Root.cz

Hlavní témata => Vývoj => Téma založeno: Chimpsky 06. 02. 2017, 23:33:25

Název: Analýza jazyka v kontextu
Přispěvatel: Chimpsky 06. 02. 2017, 23:33:25
Existuje nějaký algoritmus umožňující analýzu jazyka (přirozeného) v kontextu nějakého diskursu? Diskursem myslím buď předchozí průběh dialogu, nebo obecnou (sdílenou) znalost. Jde mi jen o nakopnutí správným směrem, jak se dá formalizovat a případně implementovat analýza jazyka ne doslovná, ale v rámci kontextu, například při tvorbě chatovacího bota. Google vyhazuje vesměs články o formální gramatice, což jde ovšem použít jen pro doslovou analýzu.
Název: Re:Analýza jazyka v kontextu
Přispěvatel: Ivan Nový 07. 02. 2017, 05:10:56
Do Google zadejte "neural net context gramar", mimo jiné vám vypadne toto http://www.cs.utexas.edu/ftp/AI-Lab/tech-reports/UT-AI-TR-90-135.pdf

Nebo další zajímavé odkazy https://devblogs.nvidia.com/parallelforall/understanding-natural-language-deep-neural-networks-using-torch/, https://mindmodeling.org/cogsci2014/papers/083/paper083.pdf

A další https://www.safaribooksonline.com/library/view/natural-language-processing/9780596803346/ch08s03.html, https://github.com/usami/pcfg.

Jednodušší závislosti můžete implementovat pomocí modifikované PEG gramatiky, která vám umožní z textu vybírat kontextově závislé sentence, aniž by gramatika musela přijmout všechny symboly, umí nevyhovující symboly přeskakovat.
Název: Re:Analýza jazyka v kontextu
Přispěvatel: Polymath 07. 02. 2017, 11:52:40
Do Google zadejte "neural net context gramar", mimo jiné vám vypadne toto http://www.cs.utexas.edu/ftp/AI-Lab/tech-reports/UT-AI-TR-90-135.pdf

Nebo další zajímavé odkazy https://devblogs.nvidia.com/parallelforall/understanding-natural-language-deep-neural-networks-using-torch/, https://mindmodeling.org/cogsci2014/papers/083/paper083.pdf

A další https://www.safaribooksonline.com/library/view/natural-language-processing/9780596803346/ch08s03.html, https://github.com/usami/pcfg.

Jednodušší závislosti můžete implementovat pomocí modifikované PEG gramatiky, která vám umožní z textu vybírat kontextově závislé sentence, aniž by gramatika musela přijmout všechny symboly, umí nevyhovující symboly přeskakovat.
"Context-sensitive" nemá nic společného s kontextem daným diskursem. To prvé jen klasifikuje výpočetní sílu gramatiky (omezuje syntax), kdežto v dotazu jde o pragmatiku (sémantický parsing + interpretace). Čili odpověď úplně mimo.
Název: Re:Analýza jazyka v kontextu
Přispěvatel: robotron 07. 02. 2017, 13:18:19
ivan Nový je zatim posledni chat bot implementovanej pomoci neuronovy site na FAV ZCU. Na kontext nezbylo dost synapsi, tak byl pouzit trik podobnej jako u Elizy, staceni hovoru na preddefinovane tema (axiom dokonale samoregulace ekonomickych soustav).
Název: Re:Analýza jazyka v kontextu
Přispěvatel: Ivan Nový 07. 02. 2017, 14:31:17
Do Google zadejte "neural net context gramar", mimo jiné vám vypadne toto http://www.cs.utexas.edu/ftp/AI-Lab/tech-reports/UT-AI-TR-90-135.pdf

Nebo další zajímavé odkazy https://devblogs.nvidia.com/parallelforall/understanding-natural-language-deep-neural-networks-using-torch/, https://mindmodeling.org/cogsci2014/papers/083/paper083.pdf

A další https://www.safaribooksonline.com/library/view/natural-language-processing/9780596803346/ch08s03.html, https://github.com/usami/pcfg.

Jednodušší závislosti můžete implementovat pomocí modifikované PEG gramatiky, která vám umožní z textu vybírat kontextově závislé sentence, aniž by gramatika musela přijmout všechny symboly, umí nevyhovující symboly přeskakovat.
"Context-sensitive" nemá nic společného s kontextem daným diskursem. To prvé jen klasifikuje výpočetní sílu gramatiky (omezuje syntax), kdežto v dotazu jde o pragmatiku (sémantický parsing + interpretace). Čili odpověď úplně mimo.

Vy jste ty odkazy nečetl, že :-))) I diskurs můžete popsat gramatikou, je to taky jen jazyk. Takže problém se redukuje na naučení neuronové sítě gramatiky diskursu, neuronová síť bude pak schopná asociací na základě diskursu. Z textu vyzobete jen pojmy a vágní vazby mezi nimi.

Nasměrování neznamená poskytnutí přesného návodu, který stačí zkopírovat, ale asociaci, která by vás nenapadla a může vás přivést k jiným vlastním asociacím. Třeba přes negaci původní cizí asociace. Jednoduše jde o posunutí do místa stavového prostoru řešení, kam byste se jinak nedostal. Nestačí jen pudově reagovat na slovo context :-))) To vám právě naskočí naučená asociace, a tím se nehnete z místa, uváznete v lokálním optimu.



Název: Re:Analýza jazyka v kontextu
Přispěvatel: Radovan. 07. 02. 2017, 17:41:30
ivan Nový je zatim posledni chat bot implementovanej pomoci neuronovy site na FAV ZCU. Na kontext nezbylo dost synapsi, tak byl pouzit trik podobnej jako u Elizy, staceni hovoru na preddefinovane tema (axiom dokonale samoregulace ekonomickych soustav).
Lépe bych to nenapsal ;D
Název: Re:Analýza jazyka v kontextu
Přispěvatel: kek 07. 02. 2017, 18:07:12
Existuje nějaký algoritmus umožňující analýzu jazyka (přirozeného) v kontextu nějakého diskursu? Diskursem myslím buď předchozí průběh dialogu, nebo obecnou (sdílenou) znalost. Jde mi jen o nakopnutí správným směrem, jak se dá formalizovat a případně implementovat analýza jazyka ne doslovná, ale v rámci kontextu, například při tvorbě chatovacího bota. Google vyhazuje vesměs články o formální gramatice, což jde ovšem použít jen pro doslovou analýzu.

jazyk nema kontext. kontext ma uzivatel a prijemce. to je prvni "nepodstatny" detail, ktery je i v zakladech teorie cisel.
teprve pokud si jeden z nich vybere topologii, kde na kontextu nema zalezet, tak dostanes tu kravinu na kterou se ptas.
a teprve, kdyz se vsichni shodnou na jejim uziti, tak bude fungovat.
Název: Re:Analýza jazyka v kontextu
Přispěvatel: kek 07. 02. 2017, 18:20:12
teprve, kdyz si uvedomis, ze jazyk je prirozena forma matematickeho zapisu kde

https://www.youtube.com/watch?v=vVsXO9brK7M
ti rika v podstate 1+2=3 akorat otazky i odpovedi maji jinde polozene hranice a vazby oproti matematickemu zapisu.

teprve, kdyz to zacnes rozebirat az pod hranici axiomu a zacnes se dotazovat v ktere topologii se kazdy vztah vaze ke ktere tride rekrurze, tak zacnes mit ucelenejsi vhled.


Název: Re:Analýza jazyka v kontextu
Přispěvatel: Ivan Nový 07. 02. 2017, 18:22:56
Existuje nějaký algoritmus umožňující analýzu jazyka (přirozeného) v kontextu nějakého diskursu? Diskursem myslím buď předchozí průběh dialogu, nebo obecnou (sdílenou) znalost. Jde mi jen o nakopnutí správným směrem, jak se dá formalizovat a případně implementovat analýza jazyka ne doslovná, ale v rámci kontextu, například při tvorbě chatovacího bota. Google vyhazuje vesměs články o formální gramatice, což jde ovšem použít jen pro doslovou analýzu.

jazyk nema kontext. kontext ma uzivatel a prijemce. to je prvni "nepodstatny" detail, ktery je i v zakladech teorie cisel.
teprve pokud si jeden z nich vybere topologii, kde na kontextu nema zalezet, tak dostanes tu kravinu na kterou se ptas.
a teprve, kdyz se vsichni shodnou na jejim uziti, tak bude fungovat.

Kontext v tomto případě je dříve řečené či uložené v paměti, například stav skladu výrobků, a předpokládám úkol je vygenerovat více či méně smysluplnou odpověď, tedy nepříliš vzdálenou kontextu. Například:

A: Včera byla Neděle.
B: Mrzlo
A: Zamrzl mi zámek u auta.
B: Na to je nejlepší Rozmrazol. Odkaz do eshopu.

Kde B je stroj.

:-)))
Název: Re:Analýza jazyka v kontextu
Přispěvatel: Ivan Nový 07. 02. 2017, 18:40:02
teprve, kdyz si uvedomis, ze jazyk je prirozena forma matematickeho zapisu kde

https://www.youtube.com/watch?v=vVsXO9brK7M
ti rika v podstate 1+2=3 akorat otazky i odpovedi maji jinde polozene hranice a vazby oproti matematickemu zapisu.

teprve, kdyz to zacnes rozebirat az pod hranici axiomu a zacnes se dotazovat v ktere topologii se kazdy vztah vaze ke ktere tride rekrurze, tak zacnes mit ucelenejsi vhled.

To je maximální pojetí, pro praxi toto nemusí být naplněno. Kdy úkol asi bude, pouze navázat v konverzaci smysluplně a vybrat odpověď z omezené množiny, či položit dotaz, který dialog posouvá sémanticky taky k omezené množině, například produktů, které chci takto prodat.

Je otázka, zda by to měl modelem být rozhovor dvou lidí a nebo modelem měl být třeba rozhovor člověka a psa, ze strany psa.
Název: Re:Analýza jazyka v kontextu
Přispěvatel: Polymath 07. 02. 2017, 20:10:05
Existuje nějaký algoritmus umožňující analýzu jazyka (přirozeného) v kontextu nějakého diskursu? Diskursem myslím buď předchozí průběh dialogu, nebo obecnou (sdílenou) znalost. Jde mi jen o nakopnutí správným směrem, jak se dá formalizovat a případně implementovat analýza jazyka ne doslovná, ale v rámci kontextu, například při tvorbě chatovacího bota. Google vyhazuje vesměs články o formální gramatice, což jde ovšem použít jen pro doslovou analýzu.
Na to se obvykle používá stejný postup, jaký využívá lidský mozek, tedy abdukce. Jde to buď pravděpodobnostně, nebo symbolicky, tedy přes bayesovské sítě nebo nějaké abdukční dokazovače. Princip je jednoduchý, ale známé algoritmy jsou náročnější než NP-úplné, takže v praxi smůla. Různé matematické aproximace se pak dost podobají neuronovým sítím, takže nejlepší je asi zaměřit se na deep learning. Bez znalosti matematiky na úrovni kvantové teorie a diferenciální geometrie to ovšem nepůjde ;)
Název: Re:Analýza jazyka v kontextu
Přispěvatel: kek 07. 02. 2017, 20:57:20
A: Včera byla Neděle.
B: Mrzlo

B1 mrzlo musis dokazat rozhodnout:
cekat na pokracovani A1 v A2
aktivita/pasivita
ukoncene A1 nebo otevrene A1
ani jedno z techto rozhodnuti neni obsazeno ve sdeleni, ale v metavysledcich z ostatnich domen interakce
Název: Re:Analýza jazyka v kontextu
Přispěvatel: Ivan Nový 07. 02. 2017, 22:27:50
A: Včera byla Neděle.
B: Mrzlo

B1 mrzlo musis dokazat rozhodnout:
cekat na pokracovani A1 v A2
aktivita/pasivita
ukoncene A1 nebo otevrene A1
ani jedno z techto rozhodnuti neni obsazeno ve sdeleni, ale v metavysledcich z ostatnich domen interakce

No nemusíte, člověk se doménově stroji přizpůsobí, pokud udržíte jeho pozornost. Klidně stroj může přeskakovat z tématu na téma. Komunikace není založena logice, ale na dojmech a emocích.

Název: Re:Analýza jazyka v kontextu
Přispěvatel: kek 08. 02. 2017, 12:36:50
jednu aktualne ozivlou formu mas ted na dosah pod mandella effect.
pracuje presne s pravdepodobnostmi tech domenovych topologii a jak se prizusobuji, kdyz informace putuje
Název: Re:Analýza jazyka v kontextu
Přispěvatel: robotron 10. 02. 2017, 15:35:07
Komunikace není založena logice, ale na dojmech a emocích.

Tento klic k pochopeni vasich prispevku uz ale mezitim vetsina nasich neuronovych siti odhalila ::)::)::)
Název: Re:Analýza jazyka v kontextu
Přispěvatel: Ivan Nový 12. 02. 2017, 10:50:22
Komunikace není založena logice, ale na dojmech a emocích.

Tento klic k pochopeni vasich prispevku uz ale mezitim vetsina nasich neuronovych siti odhalila ::)::)::)

:-)))

Nejen mé, ale i reklamy, například, nebo komunikace rostlin s hmyzem, který ho opyluje (vůně a barevnost květů), nebo komunikace psa s člověkem.

Emoce a dojmy nejsou jen základem komunikace, ale i jakéhokoliv poznání, nejprve je dojem-nápad, a pak dochází na méně záživnou a nudnou práci s dokázáním toho dojmu, nápadu. Nápad je v podstatě taky druh emoce vázané na interní mentální svět. Spojení s realitou je pak třeba prokázat. Někdy se potvrdí, jindy ne. Kdo se ale bojí riskovat, nic nového ho nenapadne.

Nadměrná společenská penalizace neověřených nápadů taky vede k oslabení kognitivních schopností společenství. S tím mají problémy hlavně totalitní společnosti, které chtějí kontrolovat všechny a vše. Proto taky nebývají dlouhodobě úspěšné. Ale to už víte, protože jste to jistě sám zažil.