Která vysoká škola mi poskytne kvalitní machine learning?

[Milan Straka]

Milan Straka - Ten predmet Machine Learning a Deep Learning je Magistersky predmet?

Ano, je to (trochu pokročilejší) magisterský předmět.

Myslite, ze je mozne si to nastudovat napriklad s tychto prednasok univerzit, aby bolo mozne nieco vytvorit?

Je otázka, co přesně pro Vás znamená "něco vytvořit", ale naše zaměření je "na aplikace" a ne "na výzkum jako takový" -- cíl přednášek je naučit se vytvářet fungující implementace (s co nejlepší úspěšností, ale vždy je to kompromis mezi úspešností a rychlostí+paměťovou náročností), takže půl času mluvíme o teorii a půl času zadáváme úkoly, které se začnout řešit a je třeba na nich pak pracovat doma (bez toho, aby si člověk něco sám vyzkoušel a implementoval, se skoro nic nenaučí). Jednoduchá ukázka toho, co se sítěmi děláme, je například  http://lindat.mff.cuni.cz/services/udpipe/ (analýza z plain textu do syntaktických stromečků; by default to analyzuje češtinu a po provedení analýzy je asi dobré dát Show Trees).

Nepotrebujem tam zlozitu matematiku, na ktorej budem strugglovat?

Momentalne som na urovni v ML, ze som ukoncil na coursere ML - Andrew NG. Ked tam riesil tie vzorce, gradient descent napriklad, nechapal som tomu. Podstate ano, ale konkretne tym vzorcom nie, co presne co robi.

Ve vysvětlování teorie ("jak a proč to funguje") nějaká matematika je (především parciální derivace kvůli tomu SGD, hodně se používají různé maticové operace, je dobré mít představu co je to entropie [protože jedno z používaných minimalizačních kritérií je cross-entropy]), ale pokud nechcete vymýšlet nové metody nebo vytvářet vlastní low-level implementaci, tak stačí mít představu, že existuje algoritmus, kterým se to nějak naučí, a má takové a takové parametry, které dělají přibližně to a to.

Naopak je třeba naučit se jak s tím zacházet -- když člověk vytvoří nějaký model, který má takovou a takovou úspěšnost, je třeba se naučit mít představu, zda

• je to rozumně nejlepší úspěšnost, kterou lze dosáhnout
• pokud ne, jak to vylepšit, tj. zda zvýšit kapacitu modelu, pracovat na zmenšení generalizační chyby, zvětšit trénovací data (nebo použít nějakou semi-supervised metodu), změnit architekturu sítě, ...

K tomu už moc matematiky třeba není, ale je třeba získat zkušenosti (vlastní prací).

[Reklama]

[davkol]

Často vídám doporučení jít studovat primárně matematiku a AI/ML si k tomu přibrat jako aplikaci až později. On se fakt hodí solidní základ v pravděpodobnosti&statistice, lingebře a diskrétce vůbec.

[Dezo Demeter]

Machine learning momentalne je stale jeste neco na pomezi tragedie a zoufalstvi.

Typicky konvolucni site zpracovavaji paralelne vsechny permutace moznosti. Takovy postup neodpovida obvyklemu zpusobu rozhodovani, ale psychotickemu jedinci. Problem spociva u bezneho chovani s omezenou pravdepodobnosti zaveru ke kterym muze jedinec dojit. V mamtematice nejlepe tento problem demonstruje "Penney's game" (viz treba video na kanalu numberphile)

Obdobne pak vsechny pristupy trpi na nevyresene algoritmy "neurogenze" a "neurodegenerace".
A model neuroplasticity odpovidajici psychitickemu rozhodovani.

[Dezo Demeter]

Samostatnou kategorii selhani je pak navrhova chyba zvana zkresleni vyzkumnikem. Protoze se ML obvykle pouziva nikoliv jako kontinualni solver, ale jako deterministicky matematicky nastroj s pevne urcenym nejzassim terminem rozhodnuti.

Tento pozadavek pak zjevne u konvolucek vyustil v navrhy v podobe paralelizace permutaci. V dusledku pak lze ocekavat jev obdobny pretrenovanosti a to i pri peclivem hierarchickem uskupeni.

Typicky rozhodovaci system je definovan "objemem", ale pri kontinualnim vyhodnocovani je tento objem pocitanych rozhodnuti promenny. S touto skutecnosti souvisi dosud nevyreseny algoritmus "vzpominek". Vzpominky by mohly vychazet prave z promenlivosti zpracovani. Biologicky tomu odpovida dynamicka nestabilita mikrotubuli, ktera jednak tlaci tvar bunky do konkretnich mist a soucasne tvori kanal s kvantovymi vlastnostmi pro prenos signalu smerem, kterym je zrovna tubule slozena. Pri kontinuite vyhodnovani a promenlivosti site zapojenych bunek by samotne dynamicke nestabilite mikrotubuli a zpusobu sestaveni cesty a propagaci rozhodnuti mohl odpovidat algoritmus "inverse query" toho casu vyrazeny z DNS. (jen netestovana domenka) Ale castecne ji podporuje i nedavna publikace na tema snimkovani mozku pri vybavovani vzpominek. Bohuzel ale technicky nedostatecne "plynulych" snimku.

[letranger]

V podstatě je třeba si říct, co na machine learning potřebuješ umět. Napadá mě následující:

Statistiku
Lineární algebru
Numerické metody
Algoritmy (složitost)
Základy programování
(Teorie grafů)

To by ti ta škola měla hlavně dát. Pokud jde o nějaké dva nebo tři specializované předměty, to už je skoro jedno, kde si je dáš. Ale dělat to bez výhledu pak dělat ještě doktorát, to bych asi nedělal. Různé joby typu Data Scientist nejsou žádná super zábava, 90% času strávíš přípravou dat a možná 10% nějakým výběrem algoritmů.

[Reklama]

[balki]

Na FIIT STU sme nieco take mali. Skolu neporadim, len opisem, ako som to mal ja.

V bakalarovi bol hrozny predmet, co sa volal Umela inteligencia plny nezazivnych omacok.

V inzinierovi boli
Neuronove siete - predmet plny integralov etc. Na druhy pokus som tomu uz nejak rozumel, ale kebyze sa ma spytate o, com to bolo, tak nezadrem ani prd.

Evolucne algoritmy - seminar, kde sme si naprogramovali niekolko zadani a porobili referaty. Tiez si nic nepamatam.

Objavovanie znalosti - ci nejaky taky hlupy nazov to malo. Clovek dostal dataset a bolo treba pomocou klasifikatora robit predpovde. Uplne zbytocny predmet. Nemali sme lincenciu na matlab, tak sme pouzivali R-ko.

Nemal som z tych predmetov dobry pocit, ale zasa som sa o tieto veci moc nezaujimal. Machine learning povazujem za burzoaznu pavedu Ak nieco budem potrebovat, su na to nastroje.

Ako uz predo mnou povedali, matika sa velmi hodi, ked sa tomu clovek chce seriozne venovat, vediet co to robi, preco to robi, pripadne nieco vylepsit/objavit.

Statistiku
Lineární algebru
Numerické metody
Algoritmy (složitost)
Základy programování
(Teorie grafů).

K tomuto by som dodal este matematicku analyzu , matematicku logiku a algebru (vseobecnu).

[ivoszz]

Machine learning momentalne je stale jeste neco na pomezi tragedie a zoufalstvi.

Typicky konvolucni site zpracovavaji paralelne vsechny permutace moznosti. Takovy postup neodpovida obvyklemu zpusobu rozhodovani, ale psychotickemu jedinci. Problem spociva u bezneho chovani s omezenou pravdepodobnosti zaveru ke kterym muze jedinec dojit. V mamtematice nejlepe tento problem demonstruje "Penney's game" (viz treba video na kanalu numberphile)

Obdobne pak vsechny pristupy trpi na nevyresene algoritmy "neurogenze" a "neurodegenerace".
A model neuroplasticity odpovidajici psychitickemu rozhodovani.

Na to, že je to na pomezí tragédie a zoufalství, má machine learning v některých oblastech až neuvěřitelné výsledky. To jsem zvědav, co předvede až to nebude ta tragédie a zoufalství...

[čumil]

V ČR žádná, tady u nás sou na úrovni školky pro děti co se týče AI. Stáhni si nějaké materiáli z univerzit v cizině.

Český univerzity sou ztráta času.

[iwtu]

V ČR žádná, tady u nás sou na úrovni školky pro děti co se týče AI. Stáhni si nějaké materiáli z univerzit v cizině.

Český univerzity sou ztráta času.

Tiež som si to myslel ale ľudia typu Milan Straka dokážu v krátkom čase zmeniť veľmi veľa vecí a jeho názor by som určite bral v úvahu. Je to vynikajúci učiteľ, matfyzák, veľmi ľudskej povahy. Odborne je to z tej kategórie ľudí, ktorí môžu pracovať v ľubovoľnej firmne na svete a bezproblémov môžu sekundovať učiteľom na MIT alebo Standford.

Ďalšia vec je tá, že Matematickú lingivistiku na MFF CUNI má rozhodne zmysel študovať.

[prezek]

Před pár lety jsme se nějaké věci učili na Fakultě elektrotechniky VUT Brno. Neuronové sítě, genetické algoritmy, strojové vidění...

[Ivan Nový]

V ČR žádná, tady u nás sou na úrovni školky pro děti co se týče AI. Stáhni si nějaké materiáli z univerzit v cizině.

Český univerzity sou ztráta času.

No jo, ale Cortanu v češtině nám nikdo neudělá, to musíme sami. Tam se rozhodne, zda se jako národ ještě udržíme a nebo čeština eroduje a zanikne. Dnes to ještě jde, ale jakmile do hry přijdou podpůrné mozkové implantáty, ohrožení češtiny bude mnohem pravděpodobnější.

[Tuxik]

V ČR žádná, tady u nás sou na úrovni školky pro děti co se týče AI. Stáhni si nějaké materiáli z univerzit v cizině.

Český univerzity sou ztráta času.

No jo, ale Cortanu v češtině nám nikdo neudělá, to musíme sami. Tam se rozhodne, zda se jako národ ještě udržíme a nebo čeština eroduje a zanikne. Dnes to ještě jde, ale jakmile do hry přijdou podpůrné mozkové implantáty, ohrožení češtiny bude mnohem pravděpodobnější.

Jazyk je jen formou předávání informací. Proč by měl implantát předávat informaci v nějakém jazyce, což by vedlo ke zbytečné cestě mozkem oklikou přes interpretaci jazyka, zpracování informace, přes krátkodobou paměť a poté až do paměti dlouhodobé, ale pouze v případě, že to mozek uzná za vhodné? Navíc tím stále riskuji nepřesnou interpretaci. Proč tuto informaci nezapsat do paměti přímo? Buď do krátkodobé, pokud není zásadní a mozek sám rozhodne, co s ní, nebo přímo do dlouhodobé, má-li to význam? Já vím, stimulace sluchových, nebo zrakových nervů je mnohem jednodušší, než přistupovat přímo do paměti a v tomto směru už jsou jisté úspěchy, ale tuto technologii nemá cenu používat pro slyšícího a vidícího člověka, který si může dát na uši sluchátka, před oči display a nemusí podstupovat zákroky, u kterých mu hrozí, že se něco pokazí a o zrak nebo sluch přijde.

[zboj]

V ČR žádná, tady u nás sou na úrovni školky pro děti co se týče AI. Stáhni si nějaké materiáli z univerzit v cizině.

Český univerzity sou ztráta času.

Tiež som si to myslel ale ľudia typu Milan Straka dokážu v krátkom čase zmeniť veľmi veľa vecí a jeho názor by som určite bral v úvahu. Je to vynikajúci učiteľ, matfyzák, veľmi ľudskej povahy. Odborne je to z tej kategórie ľudí, ktorí môžu pracovať v ľubovoľnej firmne na svete a bezproblémov môžu sekundovať učiteľom na MIT alebo Standford.

Ďalšia vec je tá, že Matematickú lingivistiku na MFF CUNI má rozhodne zmysel študovať.

Cca. před deseti lety si na ÚFALu hráli jen se svým treebankem a světové dění v komp. lingvistice víceméně ignorovali. Možná jdou teď víc se světovým proudem (evidentně se zapojili do evropských projektů), nicméně v tomto oboru je stále lepší Saarbrücken nebo Edinburgh.

[njn]

Tak si rikam, jestli tuhle Dezo Demeter a ted co vysel ten clanek o AI a pokeru maji nejakou souvislost. Prece jen je to tu forum "od fochu" a chodi sem kupa vysokoskolaku...

Protoze Dezo uz jednu poradnou pokrovou partii hraje ve vetsim https://forum.root.cz/index.php?topic=9278.msg99450#msg99450

[Jerry]

... hele brouku a ty si opravdu myslíš že jako když vystuduješ Deep Learning (nebo AI na UK MFF/CUNI) takže
jako najdeš práci v oboru tady v čr ... si blázen. koukni jak dopadla snaha Googlu o autonomní auto - zkrachovalo to protože prostě nefunguje. bylo z toho fiasko. vrcholem technologie je automatickej parkovací systém, kterej ale má hodně omezení. mnohem perspektivnější obor budeš mít ekonomii, práva nebo strojařinu.... koukni třeba na takovýho Marka Bendu, vystudoval asi možná práva a bere 200táců měsíčně, má 4 děti a je vysmátej a bude aj v důchodu. Myslíš si že jako Ing. s oborem AI budeš brát 200 táců měsíčně ? to asi těžko ... ten obor se tak rychle vyvíjí že to co se tam naučíš tak za 10-15 let v podstatě nebude existovat .... derivace sou pořád stejný ale po tom co se třeba z neuronovejch sítí učilo v 90 letech dneska ani neštěkne pes.