Projekt s využitím Elasticsearch

[gggg]

Ahoj, hraju si s ElasticSearch enginem (zatim jenom ukazkove tutorialy) a rad bych v nem vytvoril i neco jineho nez standardni analyzu logu. Nemate nejaky tip na zajimavy projekt pripadne zajimava data k analyze? 

[Reklama]

[thump]

Zalezi, jestli si chces porad jen hrat, nebo rovnou delat neco uzitecnyho a ucit se za pochodu. Pokud si chces jen hrat, muzes zkusit zaindexovat treba dokumenty z volne dostupnych zdroju (doporucuju treba anglicke novinove clanky) a v Kibane si nad tim udelat nejake analyzy a vizualizace. Muzes si pohrat s analyzerama, atd.

Co se uzitecnych veci tyce, myslim si, ze hodne zajimavej projekt je https://github.com/zombodb/zombodb. Zatim jsem nemel osobne moznost to zkusit na realnych datech, ale chystam se to zaintegrovat do jednoho projektu a "odemknout" tak advance search.

[Youda]

Pokudnchces delat neco uzitecneho, zkus vyrobit nad ES SIEM extenzi, nejaky parametrizovateljy engine, ktery bude v datech vyhledavat patterny a notifikovat je.

[Dddy]

Pokudnchces delat neco uzitecneho, zkus vyrobit nad ES SIEM extenzi, nejaky parametrizovateljy engine, ktery bude v datech vyhledavat patterny a notifikovat je.

IMHO to uz je urobene. Pozri machine learning v Elastic stacku https://www.elastic.co/products/x-pack/machine-learning

[gggg]

Diky vsem za napady!

Pokudnchces delat neco uzitecneho, zkus vyrobit nad ES SIEM extenzi, nejaky parametrizovateljy engine, ktery bude v datech vyhledavat patterny a notifikovat je.

IMHO to uz je urobene. Pozri machine learning v Elastic stacku https://www.elastic.co/products/x-pack/machine-learning

Tohle je hodne hezke. Nemate tip na nejake verejna data, na kterych bych to mohl zkusit?

[Reklama]

[Dddy]

Tohle je hodne hezke. Nemate tip na nejake verejna data, na kterych bych to mohl zkusit?

Je to pekne na papiery, ale:
- robit job na kazdu metriku je hmmm - tazkopadne
- robi to iba s cislami (county, field values), pricom Elastic je hlavne o texte

Ked si uz nazhaveny, tak ta poprosim zanalyzovat najcastejsie pouzivane slova na tomto fore na casovej osi. Potom cez ML najdi anomalie v case pre slovo "lopata" + jeho predikciu na dalsi vyskyt. Ako to chces urobit poriadne, tak nezabudni budes potrebovat asi stemovanie a lematizaciu (lopata moze byt vysklonovana), normalizaciu (slova mozu byt aj s/bez diakritiky). Ked uz budes hotovy tak to napchaj do Tensoflowu a vytvor generator prispevkov (https://www.zive.cz/clanky/hratky-s-umelou-inteligenci-od-googlu-zkusil-jsem-vytvorit-kopii-sebe-samotneho/sc-3-a-184986/default.aspx) - dufam ze nebude stale generovat posty o lopatach a mzdach :-D.