Fórum Root.cz
Hlavní témata => Vývoj => Téma založeno: gggg 18. 04. 2018, 14:29:37
-
Ahoj, hraju si s ElasticSearch enginem (zatim jenom ukazkove tutorialy) a rad bych v nem vytvoril i neco jineho nez standardni analyzu logu. Nemate nejaky tip na zajimavy projekt pripadne zajimava data k analyze? :)
-
Zalezi, jestli si chces porad jen hrat, nebo rovnou delat neco uzitecnyho a ucit se za pochodu. Pokud si chces jen hrat, muzes zkusit zaindexovat treba dokumenty z volne dostupnych zdroju (doporucuju treba anglicke novinove clanky) a v Kibane si nad tim udelat nejake analyzy a vizualizace. Muzes si pohrat s analyzerama, atd.
Co se uzitecnych veci tyce, myslim si, ze hodne zajimavej projekt je https://github.com/zombodb/zombodb. Zatim jsem nemel osobne moznost to zkusit na realnych datech, ale chystam se to zaintegrovat do jednoho projektu a "odemknout" tak advance search.
-
Pokudnchces delat neco uzitecneho, zkus vyrobit nad ES SIEM extenzi, nejaky parametrizovateljy engine, ktery bude v datech vyhledavat patterny a notifikovat je.
-
Pokudnchces delat neco uzitecneho, zkus vyrobit nad ES SIEM extenzi, nejaky parametrizovateljy engine, ktery bude v datech vyhledavat patterny a notifikovat je.
IMHO to uz je urobene. Pozri machine learning v Elastic stacku https://www.elastic.co/products/x-pack/machine-learning
-
Diky vsem za napady!
Pokudnchces delat neco uzitecneho, zkus vyrobit nad ES SIEM extenzi, nejaky parametrizovateljy engine, ktery bude v datech vyhledavat patterny a notifikovat je.
IMHO to uz je urobene. Pozri machine learning v Elastic stacku https://www.elastic.co/products/x-pack/machine-learning
Tohle je hodne hezke. Nemate tip na nejake verejna data, na kterych bych to mohl zkusit?
-
Tohle je hodne hezke. Nemate tip na nejake verejna data, na kterych bych to mohl zkusit?
Je to pekne na papiery, ale:
- robit job na kazdu metriku je hmmm - tazkopadne
- robi to iba s cislami (county, field values), pricom Elastic je hlavne o texte
Ked si uz nazhaveny, tak ta poprosim zanalyzovat najcastejsie pouzivane slova na tomto fore na casovej osi. Potom cez ML najdi anomalie v case pre slovo "lopata" + jeho predikciu na dalsi vyskyt. Ako to chces urobit poriadne, tak nezabudni budes potrebovat asi stemovanie a lematizaciu (lopata moze byt vysklonovana), normalizaciu (slova mozu byt aj s/bez diakritiky). Ked uz budes hotovy tak to napchaj do Tensoflowu a vytvor generator prispevkov (https://www.zive.cz/clanky/hratky-s-umelou-inteligenci-od-googlu-zkusil-jsem-vytvorit-kopii-sebe-samotneho/sc-3-a-184986/default.aspx) - dufam ze nebude stale generovat posty o lopatach a mzdach :-D.