Hm a proč by umělý neuron nemohl být dokonce lepší než ten biologický? Možná to chce hledat trochu jiný model využívající dostupné prostředky, například různé formy interpolace výstupů neuronové sítě. Jinak to že reálný neuron má jednobitovou sběrnici inspirovalo právě ty váhy a potenciál umělého neuronu. Reálný neuron pracuje na určité frekvenci, a právě toto jakoby reflektují ty váhy. Určitá nelinearita v závislosti na míře je excitace pak určuje jeho potenciál, a ten se pak matematicky abstrahoval jako váha s konstantím vstupem 1 aby se s tím lépe počítalo. Největší nevýhodu sítí jako je backpropagation vidím v tom že se velice snadno přeučí, no zkuste si s tím třeba aproximovat graf funkce z=x^2+y^2 (síť má dva vstupy a jeden výstup, trénovací množina T={((x1,y1),z1),...}), výsledek bude pěkně hrbolatý. Chce to něco lepšího, co bude používat snadno spočítatelné matematické funkce, protože kdyby neuronovka měla v sobě "neuron" který každý vstupní parametr umocní na hodnotu váhy a pak je sečte a to hodí na výstup, tak by to řešení našla přímo, otázkou je jak by se taková věc učila, pravděpodobně opět něco s derivací tak jako v BPm akorát by se pro daný neuron aplikoval jiný vzorec. Síť by pak byla kombinací více typů neuronů, vedle "klasických" by obsahovala i specializované pro případ, že by trénovací data byla více méně spojitá.
Ono se nesmí zapomínat, že neuronová síť není nic jiného než funkční aproximátor N vstupů na M výstupů který se snaží správně postihnout co nejvíce dat z trénovací množiny, způsob jakým se ten blackbox naprogramuje je pak už naprosto nepodstatný, důležité je aby to fungovalo. Takže pokud by bylo nekonečně paměti, tak si síť každý prvek trénovací množiny může uložit a pokud dostane nějaký neznámý tak vezme dva jemu nejbližší známe již uložené vzory, spočítá si vzdálenost toho vstupu od obou, pak vezme jejich odpovídající uložené výstupy a na jejich spojnici v M-rozměrném prostoru najde bod který má od výstupu toho nejbližšího relativně stejnou vzdálenost od výstupu toho druhého jako na tom vstupu - tedy se provede jednoduchá interpolace. Tohle by klidně mohlo fungovat pro spoustu "školních" přikladů na kterých se testují neuronové sítě a zvládnout to naprogramovat by měl být schopen i blbec. Pro spoustu věcí to samozřejmě fungovat nebude, ale to se dá vyřešit zvýšením velikosti použité paměti...
97 Odpovědí
13577 Zhlédnutí