Analýza jazyka v kontextu

Chimpsky

Analýza jazyka v kontextu
« kdy: 06. 02. 2017, 23:33:25 »
Existuje nějaký algoritmus umožňující analýzu jazyka (přirozeného) v kontextu nějakého diskursu? Diskursem myslím buď předchozí průběh dialogu, nebo obecnou (sdílenou) znalost. Jde mi jen o nakopnutí správným směrem, jak se dá formalizovat a případně implementovat analýza jazyka ne doslovná, ale v rámci kontextu, například při tvorbě chatovacího bota. Google vyhazuje vesměs články o formální gramatice, což jde ovšem použít jen pro doslovou analýzu.


Ivan Nový

Re:Analýza jazyka v kontextu
« Odpověď #1 kdy: 07. 02. 2017, 05:10:56 »
Do Google zadejte "neural net context gramar", mimo jiné vám vypadne toto http://www.cs.utexas.edu/ftp/AI-Lab/tech-reports/UT-AI-TR-90-135.pdf

Nebo další zajímavé odkazy https://devblogs.nvidia.com/parallelforall/understanding-natural-language-deep-neural-networks-using-torch/, https://mindmodeling.org/cogsci2014/papers/083/paper083.pdf

A další https://www.safaribooksonline.com/library/view/natural-language-processing/9780596803346/ch08s03.html, https://github.com/usami/pcfg.

Jednodušší závislosti můžete implementovat pomocí modifikované PEG gramatiky, která vám umožní z textu vybírat kontextově závislé sentence, aniž by gramatika musela přijmout všechny symboly, umí nevyhovující symboly přeskakovat.

Polymath

Re:Analýza jazyka v kontextu
« Odpověď #2 kdy: 07. 02. 2017, 11:52:40 »
Do Google zadejte "neural net context gramar", mimo jiné vám vypadne toto http://www.cs.utexas.edu/ftp/AI-Lab/tech-reports/UT-AI-TR-90-135.pdf

Nebo další zajímavé odkazy https://devblogs.nvidia.com/parallelforall/understanding-natural-language-deep-neural-networks-using-torch/, https://mindmodeling.org/cogsci2014/papers/083/paper083.pdf

A další https://www.safaribooksonline.com/library/view/natural-language-processing/9780596803346/ch08s03.html, https://github.com/usami/pcfg.

Jednodušší závislosti můžete implementovat pomocí modifikované PEG gramatiky, která vám umožní z textu vybírat kontextově závislé sentence, aniž by gramatika musela přijmout všechny symboly, umí nevyhovující symboly přeskakovat.
"Context-sensitive" nemá nic společného s kontextem daným diskursem. To prvé jen klasifikuje výpočetní sílu gramatiky (omezuje syntax), kdežto v dotazu jde o pragmatiku (sémantický parsing + interpretace). Čili odpověď úplně mimo.

robotron

Re:Analýza jazyka v kontextu
« Odpověď #3 kdy: 07. 02. 2017, 13:18:19 »
ivan Nový je zatim posledni chat bot implementovanej pomoci neuronovy site na FAV ZCU. Na kontext nezbylo dost synapsi, tak byl pouzit trik podobnej jako u Elizy, staceni hovoru na preddefinovane tema (axiom dokonale samoregulace ekonomickych soustav).

Ivan Nový

Re:Analýza jazyka v kontextu
« Odpověď #4 kdy: 07. 02. 2017, 14:31:17 »
Do Google zadejte "neural net context gramar", mimo jiné vám vypadne toto http://www.cs.utexas.edu/ftp/AI-Lab/tech-reports/UT-AI-TR-90-135.pdf

Nebo další zajímavé odkazy https://devblogs.nvidia.com/parallelforall/understanding-natural-language-deep-neural-networks-using-torch/, https://mindmodeling.org/cogsci2014/papers/083/paper083.pdf

A další https://www.safaribooksonline.com/library/view/natural-language-processing/9780596803346/ch08s03.html, https://github.com/usami/pcfg.

Jednodušší závislosti můžete implementovat pomocí modifikované PEG gramatiky, která vám umožní z textu vybírat kontextově závislé sentence, aniž by gramatika musela přijmout všechny symboly, umí nevyhovující symboly přeskakovat.
"Context-sensitive" nemá nic společného s kontextem daným diskursem. To prvé jen klasifikuje výpočetní sílu gramatiky (omezuje syntax), kdežto v dotazu jde o pragmatiku (sémantický parsing + interpretace). Čili odpověď úplně mimo.

Vy jste ty odkazy nečetl, že :-))) I diskurs můžete popsat gramatikou, je to taky jen jazyk. Takže problém se redukuje na naučení neuronové sítě gramatiky diskursu, neuronová síť bude pak schopná asociací na základě diskursu. Z textu vyzobete jen pojmy a vágní vazby mezi nimi.

Nasměrování neznamená poskytnutí přesného návodu, který stačí zkopírovat, ale asociaci, která by vás nenapadla a může vás přivést k jiným vlastním asociacím. Třeba přes negaci původní cizí asociace. Jednoduše jde o posunutí do místa stavového prostoru řešení, kam byste se jinak nedostal. Nestačí jen pudově reagovat na slovo context :-))) To vám právě naskočí naučená asociace, a tím se nehnete z místa, uváznete v lokálním optimu.





Radovan.

Re:Analýza jazyka v kontextu
« Odpověď #5 kdy: 07. 02. 2017, 17:41:30 »
ivan Nový je zatim posledni chat bot implementovanej pomoci neuronovy site na FAV ZCU. Na kontext nezbylo dost synapsi, tak byl pouzit trik podobnej jako u Elizy, staceni hovoru na preddefinovane tema (axiom dokonale samoregulace ekonomickych soustav).
Lépe bych to nenapsal ;D

kek

Re:Analýza jazyka v kontextu
« Odpověď #6 kdy: 07. 02. 2017, 18:07:12 »
Existuje nějaký algoritmus umožňující analýzu jazyka (přirozeného) v kontextu nějakého diskursu? Diskursem myslím buď předchozí průběh dialogu, nebo obecnou (sdílenou) znalost. Jde mi jen o nakopnutí správným směrem, jak se dá formalizovat a případně implementovat analýza jazyka ne doslovná, ale v rámci kontextu, například při tvorbě chatovacího bota. Google vyhazuje vesměs články o formální gramatice, což jde ovšem použít jen pro doslovou analýzu.

jazyk nema kontext. kontext ma uzivatel a prijemce. to je prvni "nepodstatny" detail, ktery je i v zakladech teorie cisel.
teprve pokud si jeden z nich vybere topologii, kde na kontextu nema zalezet, tak dostanes tu kravinu na kterou se ptas.
a teprve, kdyz se vsichni shodnou na jejim uziti, tak bude fungovat.

kek

Re:Analýza jazyka v kontextu
« Odpověď #7 kdy: 07. 02. 2017, 18:20:12 »
teprve, kdyz si uvedomis, ze jazyk je prirozena forma matematickeho zapisu kde

https://www.youtube.com/watch?v=vVsXO9brK7M
ti rika v podstate 1+2=3 akorat otazky i odpovedi maji jinde polozene hranice a vazby oproti matematickemu zapisu.

teprve, kdyz to zacnes rozebirat az pod hranici axiomu a zacnes se dotazovat v ktere topologii se kazdy vztah vaze ke ktere tride rekrurze, tak zacnes mit ucelenejsi vhled.



Ivan Nový

Re:Analýza jazyka v kontextu
« Odpověď #8 kdy: 07. 02. 2017, 18:22:56 »
Existuje nějaký algoritmus umožňující analýzu jazyka (přirozeného) v kontextu nějakého diskursu? Diskursem myslím buď předchozí průběh dialogu, nebo obecnou (sdílenou) znalost. Jde mi jen o nakopnutí správným směrem, jak se dá formalizovat a případně implementovat analýza jazyka ne doslovná, ale v rámci kontextu, například při tvorbě chatovacího bota. Google vyhazuje vesměs články o formální gramatice, což jde ovšem použít jen pro doslovou analýzu.

jazyk nema kontext. kontext ma uzivatel a prijemce. to je prvni "nepodstatny" detail, ktery je i v zakladech teorie cisel.
teprve pokud si jeden z nich vybere topologii, kde na kontextu nema zalezet, tak dostanes tu kravinu na kterou se ptas.
a teprve, kdyz se vsichni shodnou na jejim uziti, tak bude fungovat.

Kontext v tomto případě je dříve řečené či uložené v paměti, například stav skladu výrobků, a předpokládám úkol je vygenerovat více či méně smysluplnou odpověď, tedy nepříliš vzdálenou kontextu. Například:

A: Včera byla Neděle.
B: Mrzlo
A: Zamrzl mi zámek u auta.
B: Na to je nejlepší Rozmrazol. Odkaz do eshopu.

Kde B je stroj.

:-)))

Ivan Nový

Re:Analýza jazyka v kontextu
« Odpověď #9 kdy: 07. 02. 2017, 18:40:02 »
teprve, kdyz si uvedomis, ze jazyk je prirozena forma matematickeho zapisu kde

https://www.youtube.com/watch?v=vVsXO9brK7M
ti rika v podstate 1+2=3 akorat otazky i odpovedi maji jinde polozene hranice a vazby oproti matematickemu zapisu.

teprve, kdyz to zacnes rozebirat az pod hranici axiomu a zacnes se dotazovat v ktere topologii se kazdy vztah vaze ke ktere tride rekrurze, tak zacnes mit ucelenejsi vhled.

To je maximální pojetí, pro praxi toto nemusí být naplněno. Kdy úkol asi bude, pouze navázat v konverzaci smysluplně a vybrat odpověď z omezené množiny, či položit dotaz, který dialog posouvá sémanticky taky k omezené množině, například produktů, které chci takto prodat.

Je otázka, zda by to měl modelem být rozhovor dvou lidí a nebo modelem měl být třeba rozhovor člověka a psa, ze strany psa.

Polymath

Re:Analýza jazyka v kontextu
« Odpověď #10 kdy: 07. 02. 2017, 20:10:05 »
Existuje nějaký algoritmus umožňující analýzu jazyka (přirozeného) v kontextu nějakého diskursu? Diskursem myslím buď předchozí průběh dialogu, nebo obecnou (sdílenou) znalost. Jde mi jen o nakopnutí správným směrem, jak se dá formalizovat a případně implementovat analýza jazyka ne doslovná, ale v rámci kontextu, například při tvorbě chatovacího bota. Google vyhazuje vesměs články o formální gramatice, což jde ovšem použít jen pro doslovou analýzu.
Na to se obvykle používá stejný postup, jaký využívá lidský mozek, tedy abdukce. Jde to buď pravděpodobnostně, nebo symbolicky, tedy přes bayesovské sítě nebo nějaké abdukční dokazovače. Princip je jednoduchý, ale známé algoritmy jsou náročnější než NP-úplné, takže v praxi smůla. Různé matematické aproximace se pak dost podobají neuronovým sítím, takže nejlepší je asi zaměřit se na deep learning. Bez znalosti matematiky na úrovni kvantové teorie a diferenciální geometrie to ovšem nepůjde ;)

kek

Re:Analýza jazyka v kontextu
« Odpověď #11 kdy: 07. 02. 2017, 20:57:20 »
A: Včera byla Neděle.
B: Mrzlo

B1 mrzlo musis dokazat rozhodnout:
cekat na pokracovani A1 v A2
aktivita/pasivita
ukoncene A1 nebo otevrene A1
ani jedno z techto rozhodnuti neni obsazeno ve sdeleni, ale v metavysledcich z ostatnich domen interakce

Ivan Nový

Re:Analýza jazyka v kontextu
« Odpověď #12 kdy: 07. 02. 2017, 22:27:50 »
A: Včera byla Neděle.
B: Mrzlo

B1 mrzlo musis dokazat rozhodnout:
cekat na pokracovani A1 v A2
aktivita/pasivita
ukoncene A1 nebo otevrene A1
ani jedno z techto rozhodnuti neni obsazeno ve sdeleni, ale v metavysledcich z ostatnich domen interakce

No nemusíte, člověk se doménově stroji přizpůsobí, pokud udržíte jeho pozornost. Klidně stroj může přeskakovat z tématu na téma. Komunikace není založena logice, ale na dojmech a emocích.


kek

Re:Analýza jazyka v kontextu
« Odpověď #13 kdy: 08. 02. 2017, 12:36:50 »
jednu aktualne ozivlou formu mas ted na dosah pod mandella effect.
pracuje presne s pravdepodobnostmi tech domenovych topologii a jak se prizusobuji, kdyz informace putuje

robotron

Re:Analýza jazyka v kontextu
« Odpověď #14 kdy: 10. 02. 2017, 15:35:07 »
Komunikace není založena logice, ale na dojmech a emocích.

Tento klic k pochopeni vasich prispevku uz ale mezitim vetsina nasich neuronovych siti odhalila ::)::)::)