Software pro prohlížení logů

[prezek]

Zdravím.
Při vývoji programů generuji logy, ve kterých pak hledám zajímavé informace.
Dopředu nevím, co zrovna budu potřebovat, a tak do nich sypu cca 5000 řádků/minutu.
Důležité záznamy pak hledám pomocí regulárních výrazů v PSPadu. Je to ale pomalé a někdy mi chybí porovnání pořadí dějů.
Líbilo by se mi:

• barevně zvýrazněné pozice určitých textů.
• přepínat mezi vyhledanými řádky a celým souborem se zaměřením daných řádků.
• vygenerování grafu s časovou s několika řadami dat z textu
• historie hledání

Jak procházíte logy vy? Znáte nějaký user friendly sw pro Windows/Linux Mint, který by splňoval mé představy, případně měl jiné užitečné vychytávky?
Díky, Petr

[Reklama]

[andy]

Ukládej to do elasticsearche a prohledávej kibanou.

[karlik]

Já vim. 

[Petr]

Řeším to takto:
cat logfile |grep -v tohlenechci |grep -v tohleTakyNechci |grep -v aniTohleNechci |less (prohlédnu a hned přidám další grep -v).
Čísla původních řádků: cat logfile |nl|grep -i error |less
Na opravdu velké logy používám perl, dokáže "grep -v" i 10x rychleji: cat logfile |perl -e 'while(<>){if ($_=~/tohlenechci/){}else{print $_}} velmi ošklivé a velmi účinné, pokud máte 2GB log, kde je 98% jedna otravná hláška.
Pořadí dějů ve více log souborech: logy jedině s timestampem, pak používám konstrukci: cat log1 log2 |sort|grep -v

[Lol Phirae]

Ukládej to do elasticsearche a prohledávej kibanou.

Jojo, a pořiď si na to rovnou i nový stroj, min. tak 16GB RAM. Případně raději rovnou cluster.

[Reklama]

[javaman ()]

Ukládej to do elasticsearche a prohledávej kibanou.

Jojo, a pořiď si na to rovnou i nový stroj, min. tak 16GB RAM. Případně raději rovnou cluster.

Tak kvalita něco stojí. Můžeš to jako lopata hledat grepem, proč ne

[Lol Phirae]

Ano, nová kvalitní závodní jachta, například... 

[nobody(ten pravej)]

cat logfile |grep -v tohlenechci |grep -v tohleTakyNechci |grep -v aniTohleNechci |less (prohlédnu a hned přidám další grep -v).[...]

btw: grep -v -e tohlenechci -e tohleTakyNechci -e aniTohleNechci logfile | less

[JardaP .]

Tak kvalita něco stojí. Můžeš to jako lopata hledat grepem, proč ne

Jiste, lopata hleda grepem, javaman hleda javovou aplikaci, co bezi na serverove farme v prilehle stodole.

[drobaxis]

Zdravím.
Při vývoji programů generuji logy, ve kterých pak hledám zajímavé informace.
Dopředu nevím, co zrovna budu potřebovat, a tak do nich sypu cca 5000 řádků/minutu.
Důležité záznamy pak hledám pomocí regulárních výrazů v PSPadu. Je to ale pomalé a někdy mi chybí porovnání pořadí dějů.
Líbilo by se mi:

• barevně zvýrazněné pozice určitých textů.
• přepínat mezi vyhledanými řádky a celým souborem se zaměřením daných řádků.
• vygenerování grafu s časovou s několika řadami dat z textu
• historie hledání

Jak procházíte logy vy? Znáte nějaký user friendly sw pro Windows/Linux Mint, který by splňoval mé představy, případně měl jiné užitečné vychytávky?
Díky, Petr

A proč už dávno na to nemáš svou vlastní aplikaci?

[andrej]

egrep -v "nechcem|tiez nechcem|vobec nechcem" subor.log | less

[Tuxik]

echo "Proc jsem si jen ty logy nerozdelil do nekolika tematickych souboru, kdyz musim logovat takove mnozstvi bordelu"; rm -rf /home/tuxik/projects; echo "Mas co jsi chtel, zajdi na pivo, zapij zal a priste to delej poradne, ted mas tri dny cas na premysleni"; sleep $((60*60*24*3)); PRPOPR="/home/tuxik/projects/prvni_poradny_projekt"; mkdir -p $PRPOPR; cd $PRPOPR; vim main.c

[X]

egrep -v "nechcem|tiez nechcem|vobec nechcem" subor.log | less

Jasny, trubky co v zivote prohledali dva a pul logu, se tu ted budou hecovat kdo napise nejnepraktictejsi prikaz...

[JardaP .]

BTW, melo by byt mozne udelat si vlastni syntax highlighting pro mcedit na to barevne zvyraznovani. Ale kdyz nekdo generuje gigabajtove logy, tak mam pochybnosti, ze by to bylo rychlejsi, nez PSPad a nejspis by to narazilo na nejakou mezni velikost souboru. Kdyz nekdo chce rychle prohrabavat takova kvanta textu, tak to aby si udelal nejakou indexovanou databazi. Jsem jeste neslysel, ze by jedinec z logu udelal big data problem. To tak jeste nejaka smirovaci agenture.

[prezek]

Řeším to takto:
cat logfile |grep -v tohlenechci |grep -v tohleTakyNechci |grep -v aniTohleNechci |less (prohlédnu a hned přidám další grep -v).
Čísla původních řádků: cat logfile |nl|grep -i error |less
Na opravdu velké logy používám perl, dokáže "grep -v" i 10x rychleji: cat logfile |perl -e 'while(<>){if ($_=~/tohlenechci/){}else{print $_}} velmi ošklivé a velmi účinné, pokud máte 2GB log, kde je 98% jedna otravná hláška.
Pořadí dějů ve více log souborech: logy jedině s timestampem, pak používám konstrukci: cat log1 log2 |sort|grep -v

Díky, timestampy mám, takže profiltrované řádky hledám v původním textu podle nich, jen jsem si představoval něco klikacího. Příkazového řádku se trochu bojím. Perl vyzkouším, díky.

A proč už dávno na to nemáš svou vlastní aplikaci?

Na grafy jsem si prográmek udělal, na zobrazování textu zvýrazňování a vyhledávání si netroufnu (zabralo by to více času, než kolik by to ušetřilo). Říkal jsem si, že to je věc, kterou potřebuje každý druhý embedded vývojář i spousta PC/web/... softwérářů. Čekal jsem, že na to existuje spousta malých ale výkonných programů plných barviček s ideálním počtem klikátek, aby se v tom dokázal zorientovat i každý začínající arduinista.

echo "Proc jsem si jen ty logy nerozdelil do nekolika tematickych souboru, kdyz musim logovat takove mnozstvi bordelu"; rm -rf /home/tuxik/projects; echo "Mas co jsi chtel, zajdi na pivo, zapij zal a priste to delej poradne, ted mas tri dny cas na premysleni"; sleep $((60*60*24*3)); PRPOPR="/home/tuxik/projects/prvni_poradny_projekt"; mkdir -p $PRPOPR; cd $PRPOPR; vim main.c

loguju většinou embedded zařízení přes sériovou linku do PC, tedy jedním streamem (někdy více zařízení najednou do více souborů).  Pokud bych to pokaždé dělil na 20 souborů (nebo kolik parametrů vlastně sleduju), tak bych v tom měl imho ještě větší zmatek než teď.


Ve chvíli kompilace a spouštění programu nevím, co jsem udělal špatně a co se při tomto spuštění pokazí a tak loguju všechno, co by se pokazit mohlo (o čem vím, že už se někdy pokazilo). Ve chvíli, kdy narazím na nesprávnou funkci začnu prohrabovat log. Kontrolou jednoho logu pak trávím nejčastěji 10 minut - 2 hodiny, přijde mi tak zbytečné data sypat do nějaké databáze, ale možná by to taky bylo řešení.