nová specializace jinak: proč končím s datama

asd

nová specializace jinak: proč končím s datama
« kdy: 19. 03. 2017, 16:09:02 »
diskutující na tomhle fóru mají vysoký IQ a to mě baví :) díky za to!
volně navazuju na: https://forum.root.cz/index.php?topic=15068.0

poslední cca 4 roky jsem začal dělat data a povím vám příběh, proč už je asi
dělat nebudu.

na začátku mi to celý připadalo nepřehledný a nečitelný a začal jsem se o
datech vzdělávat ve škole a potom doma (naopak v programování to bylo
tak že jsem ve 13ti začal a kdybych se doma nevzdělával, tak jsem dneska nula).
naučil jsem rozhodovací stromy, regrese a nějaký alternativní přístupy jako
neuronky, genetický algoritmy a jiný srandy. šel jsem do praxe kde jsem dělal
business intelligence ale ve smyslu excel, dashboardy, potýkaní se s vizualizaci
a jak jednoduchý věci dát do grafu a umět složit pro manažera příběh co ten
graf říká, proč to tak řiká atd... problé je v tom, že to není žádná věda a
jednou bude takových lidí tolik jako je dneska lidí na
php / python / možná javu...

takže co dál? šel jsem se dívat právě na ty alternativní metody. a tam jsem se
samozřejmě nabil prtože nejsem matematik. jak tu vzpomínal kolega kde hledat
výzvy: http://www.youtube.com/playlist?list=PLrAXtmErZgOfMuxkACrYnD2fTgbzk2THW
jenže bohužel, tohle co tam říkají plus mínus znám ale je to všechno hello world
věci - gradientni metoda, feature normalization. jenže praxe si žádá aby jste tomu
rozuměli. uměli udělat cost function nebo hypotézu. rozuměli tomu a věděli proč
tohle tady atd. velmi doporučovanou prerekvizitou je, že máte dobrý background
VŠ matiky a to já nemám. když se podívám na lidi z matematických škol (technický,
přírodovědný obory...) tak nemám šanci věcem do rozumný hloubky rozumět. prostě
nemám.

takže? zbývá data engineering, který jsem dělal minimálně. paradoxně si nejsem
jistý jestli tohle je cesta. dělat ETL? no nevim co je to za výzvu. hustý už je
se vyznat ve světě not-only SQL databází.být kovaný jestli elasticsearch nebo
cassandra, hbase nebo snowflake. zase dělat v BI datový sklady taky nemusí
být špatný. jenže tohle je spíš o učení se. asi jako když se učíte puppet,
centos nebo nginx akorát se učíte databáze. a to já raději programuju
(mluvím o principu. jinak se učíte když se učíte javu a jinak se učíte, když
se učíte cisco... to dá rozum)

tady hezky dostávám k tématu který jsem už založil. dneska jsou "webový
appky" na takovým místě, že jen na fulltime můžete řešit Kafku a streaming
architekturu. a tady si nějak kladu otázky kolem paralelních a distribuovaných
sys.....

a je tu problém který to celé korunuje. nemám žádnou pořádnou business doménu,
ve které bych data dělal. (jako asi mám, ale je to pycho...) příklad.
jste doktor, znáte kontext a když umíte regresi, tak jste všechno vyhráli.
jste kovaný v nějaké problematice a data spolu s metodou vám dají do ruky
samurajský meč. není to o neuronce jak vám úžasně klasifikuje. "neuronka" totiž
nahrazuje váš mozek a zkušenosti. data a regrese vám dává jistotu rozhodnutí
udělat.

takže co radíte? :)


Michal Kovačič

Re:nová specializace jinak: proč končím s datama
« Odpověď #1 kdy: 19. 03. 2017, 16:36:01 »
Hmmm...

Nemusí to být úplně v tomhle pořadí - ale 1-2 panáky, teplou sprchu, 10 hodin spánku, tak 2-4 týdny dovolené (bez počítače). Pak si znovu přečíst tento článek, dát mu nějakou strukturu a nejspíše na 2 roky přijmout místo správce horské chaty...

No a já to budu sledovat, zda se Vám povedlo vyvolat flame (tak 2000 odpovědí) nebo to po 10-ti zhebne :-)

asd

Re:nová specializace jinak: proč končím s datama
« Odpověď #2 kdy: 19. 03. 2017, 17:14:43 »
Hmmm...

Nemusí to být úplně v tomhle pořadí - ale 1-2 panáky, teplou sprchu, 10 hodin spánku, tak 2-4 týdny dovolené (bez počítače). Pak si znovu přečíst tento článek, dát mu nějakou strukturu a nejspíše na 2 roky přijmout místo správce horské chaty...

No a já to budu sledovat, zda se Vám povedlo vyvolat flame (tak 2000 odpovědí) nebo to po 10-ti zhebne :-)

jakože plácám nesmysly? vůbec nechápu co timto chcete říct.

lol

Re:nová specializace jinak: proč končím s datama
« Odpověď #3 kdy: 19. 03. 2017, 17:16:48 »
Hmmm...

Nemusí to být úplně v tomhle pořadí - ale 1-2 panáky, teplou sprchu, 10 hodin spánku, tak 2-4 týdny dovolené (bez počítače). Pak si znovu přečíst tento článek, dát mu nějakou strukturu a nejspíše na 2 roky přijmout místo správce horské chaty...

No a já to budu sledovat, zda se Vám povedlo vyvolat flame (tak 2000 odpovědí) nebo to po 10-ti zhebne :-)

nechtel jsem byt prvni, kdo to navrhne :) https://cs.wikipedia.org/wiki/Sabatikl protoze mam dojem, ze jde o NN bota, ktery lepi chunky komentaru odjinud a nekdo si jen testuje ucinnost.

javaman ()

Re:nová specializace jinak: proč končím s datama
« Odpověď #4 kdy: 19. 03. 2017, 17:19:33 »
OMG ;D


lol

Re:nová specializace jinak: proč končím s datama
« Odpověď #5 kdy: 19. 03. 2017, 17:24:58 »
algoritmus vypada na modifikovany deepstack AI. ve vedlejsim vlakne neprosel call (nekomentovan) ani rise (odpoved ve vlakne). tak vznikl pass = forknutim vlakna.

a vybrala se pribuzny komentar k odkazu podle jmen prednasek na playlistu a ten se pak vyeditoval rekurizni substituci. nediriv odcitala RNN kde je vysek zacatku a konce tematu a pak slovnik vybral pribuznou podmnozinu s parametry dle playlistu.

javaman ()

Re:nová specializace jinak: proč končím s datama
« Odpověď #6 kdy: 19. 03. 2017, 17:27:15 »
Jasný, tak vem léky a běž si odpočinout.

balki

Re:nová specializace jinak: proč končím s datama
« Odpověď #7 kdy: 19. 03. 2017, 17:37:49 »
takže co dál? šel jsem se dívat právě na ty alternativní metody. a tam jsem se
samozřejmě nabil prtože nejsem matematik. jak tu vzpomínal kolega kde hledat
výzvy: http://www.youtube.com/playlist?list=PLrAXtmErZgOfMuxkACrYnD2fTgbzk2THW
jenže bohužel, tohle co tam říkají plus mínus znám ale je to všechno hello world
věci - gradientni metoda, feature normalization. jenže praxe si žádá aby jste tomu
rozuměli. uměli udělat cost function nebo hypotézu. rozuměli tomu a věděli proč
tohle tady atd. velmi doporučovanou prerekvizitou je, že máte dobrý background
VŠ matiky a to já nemám. když se podívám na lidi z matematických škol (technický,
přírodovědný obory...) tak nemám šanci věcem do rozumný hloubky rozumět. prostě
nemám.

Vysokoskolske skripta z matematiky su v kazdej univerzitnej, alebo technickej kniznici. Staci mat dostatocne hranatu zadek a clovek si potrebne znalosti moze doplnit aj sam. Dobra literatura je zaklad, lepsie ako stipanie sa do nohy na prednaske. (Na slovensku mame paradne skripta zo 60-tych rokov kluvanek-misik-svec, lepsie ako mnohe novsie) Pripadne, univerzity sa stale biju do prs, ako poskytuju celozivotne vzdelavanie. Mozno by tu matematiku islo aj navstevovat.

Len neviem, co stale vsetci s tym deep learningom maju, podla mna je to celkom nuda.

balki

Re:nová specializace jinak: proč končím s datama
« Odpověď #8 kdy: 19. 03. 2017, 18:12:40 »
Hmmm...

Nemusí to být úplně v tomhle pořadí - ale 1-2 panáky, teplou sprchu, 10 hodin spánku, tak 2-4 týdny dovolené (bez počítače). Pak si znovu přečíst tento článek, dát mu nějakou strukturu a nejspíše na 2 roky přijmout místo správce horské chaty...

No a já to budu sledovat, zda se Vám povedlo vyvolat flame (tak 2000 odpovědí) nebo to po 10-ti zhebne :-)

nechtel jsem byt prvni, kdo to navrhne :) https://cs.wikipedia.org/wiki/Sabatikl protoze mam dojem, ze jde o NN bota, ktery lepi chunky komentaru odjinud a nekdo si jen testuje ucinnost.

Kua, ten je dobry, ved by uz mohol pisat politicke prejavy. :(

Re:nová specializace jinak: proč končím s datama
« Odpověď #9 kdy: 19. 03. 2017, 19:24:25 »
Kua, ten je dobry, ved by uz mohol pisat politicke prejavy. :(
Naznacujes tim, ze politicky "projevy" pisou lidi? Proboha...
Děkuji za možnost editace příspěvku.

asd

Re:nová specializace jinak: proč končím s datama
« Odpověď #10 kdy: 19. 03. 2017, 20:28:22 »
Vyjádřil jsem se rychle a vy jste to nepochopili. Učil jsem se za peníze druhých v korporátech, startupech i konzultačních firmách. Viděl jsem spoustu věcí a ve zkratce jsem nastřelil pár myšlenek. Ale jinak se bavím s vámi :)

YF

Re:nová specializace jinak: proč končím s datama
« Odpověď #11 kdy: 19. 03. 2017, 21:39:16 »
Vyjádřil jsem se rychle a vy jste to nepochopili. Učil jsem se za peníze druhých v korporátech, startupech i konzultačních firmách. Viděl jsem spoustu věcí a ve zkratce jsem nastřelil pár myšlenek. Ale jinak se bavím s vámi :)
zatimco vetsina studentu vsech moznych skol se rozhodne nic neuci za penize druhych - at uz rodicu nebo spolecnosti ... je dobre nikomu nic nedluzit

lol

Re:nová specializace jinak: proč končím s datama
« Odpověď #12 kdy: 19. 03. 2017, 22:11:01 »
trvam na svem i kdyby to melo byt ve fazi asistovaneho uceni, kde vystup projde postprocessingem clovekem
http://metamind.io/research/learning-when-to-skim-and-when-to-read