Projekt s využitím Elasticsearch

gggg

Projekt s využitím Elasticsearch
« kdy: 18. 04. 2018, 14:29:37 »
Ahoj, hraju si s ElasticSearch enginem (zatim jenom ukazkove tutorialy) a rad bych v nem vytvoril i neco jineho nez standardni analyzu logu. Nemate nejaky tip na zajimavy projekt pripadne zajimava data k analyze?  :)
« Poslední změna: 18. 04. 2018, 14:39:04 od Petr Krčmář »


thump

Re:Projekt s využitím Elasticsearch
« Odpověď #1 kdy: 18. 04. 2018, 17:51:35 »
Zalezi, jestli si chces porad jen hrat, nebo rovnou delat neco uzitecnyho a ucit se za pochodu. Pokud si chces jen hrat, muzes zkusit zaindexovat treba dokumenty z volne dostupnych zdroju (doporucuju treba anglicke novinove clanky) a v Kibane si nad tim udelat nejake analyzy a vizualizace. Muzes si pohrat s analyzerama, atd.

Co se uzitecnych veci tyce, myslim si, ze hodne zajimavej projekt je https://github.com/zombodb/zombodb. Zatim jsem nemel osobne moznost to zkusit na realnych datech, ale chystam se to zaintegrovat do jednoho projektu a "odemknout" tak advance search.

Youda

Re:Projekt s využitím Elasticsearch
« Odpověď #2 kdy: 18. 04. 2018, 23:19:49 »
Pokudnchces delat neco uzitecneho, zkus vyrobit nad ES SIEM extenzi, nejaky parametrizovateljy engine, ktery bude v datech vyhledavat patterny a notifikovat je.

Dddy

Re:Projekt s využitím Elasticsearch
« Odpověď #3 kdy: 19. 04. 2018, 09:08:58 »
Pokudnchces delat neco uzitecneho, zkus vyrobit nad ES SIEM extenzi, nejaky parametrizovateljy engine, ktery bude v datech vyhledavat patterny a notifikovat je.

IMHO to uz je urobene. Pozri machine learning v Elastic stacku https://www.elastic.co/products/x-pack/machine-learning


gggg

Re:Projekt s využitím Elasticsearch
« Odpověď #4 kdy: 19. 04. 2018, 10:20:00 »
Diky vsem za napady!

Pokudnchces delat neco uzitecneho, zkus vyrobit nad ES SIEM extenzi, nejaky parametrizovateljy engine, ktery bude v datech vyhledavat patterny a notifikovat je.

IMHO to uz je urobene. Pozri machine learning v Elastic stacku https://www.elastic.co/products/x-pack/machine-learning

Tohle je hodne hezke. Nemate tip na nejake verejna data, na kterych bych to mohl zkusit?


Dddy

Re:Projekt s využitím Elasticsearch
« Odpověď #5 kdy: 19. 04. 2018, 11:03:03 »
Tohle je hodne hezke. Nemate tip na nejake verejna data, na kterych bych to mohl zkusit?
Je to pekne na papiery, ale:
- robit job na kazdu metriku je hmmm - tazkopadne
- robi to iba s cislami (county, field values), pricom Elastic je hlavne o texte

Ked si uz nazhaveny, tak ta poprosim zanalyzovat najcastejsie pouzivane slova na tomto fore na casovej osi. Potom cez ML najdi anomalie v case pre slovo "lopata" + jeho predikciu na dalsi vyskyt. Ako to chces urobit poriadne, tak nezabudni budes potrebovat asi stemovanie a lematizaciu (lopata moze byt vysklonovana), normalizaciu (slova mozu byt aj s/bez diakritiky). Ked uz budes hotovy tak to napchaj do Tensoflowu a vytvor generator prispevkov (https://www.zive.cz/clanky/hratky-s-umelou-inteligenci-od-googlu-zkusil-jsem-vytvorit-kopii-sebe-samotneho/sc-3-a-184986/default.aspx) - dufam ze nebude stale generovat posty o lopatach a mzdach :-D.