Kam ukládat statistiky o běhu programu

[logger]

Potreboval bych poradit, kam ukladat statistiky o behu programu. Jedna se o vetsi mnozstvi malych programu ve vba a .net. Potrebuju zjistit statistiky pouzivanosti.
Bohuzel nemuzu kvuli internim restrikcim pouzit interni sql server (ano pracujeme na nahozeni web service, ale to je u nas na mesice).
Melo by jit odesilat statistiky odkudkoliv z internetu. Jedna se vzdy o kratkou spravu "Tool-xy, datum, pocet zpracovanych radek a asi i hash uzivatelskeho jmena)

Existuje neco otevreneho a idealne neplaceneho?

Dekuju

[Reklama]

[Ondra Satai Nekola]

Kolik toho tak zhruba bude?

(btw: hash uzivatelskeho jmena neni sam o sobe moc dobre zabezpeceni, protoze tech jmen je malo, takze k hashi jmeno, vetsinou, snadno dohledas)

[logger]

rekneme tak max 100 denne.

Me jde o pocet unikatnich uzivatelu a ten has by mel zabezpecit, ze to nepujde zpetne zneuzit na spamovani firmy. Mozna ale bude bezpecnejsi uzivatele nijak neuvadet.

[Ondra Satai Nekola]

V tehle poctech, maximalne na kolenou - napriklad volat echo server (nebo echo service v existujicim serveru) a pak si vysledky vygrepovat z logu. (Ovsem tezko radit, kdyz nevim, co mate, jak a kde, ja bych trebas sahnul pro primitivni reporty po Splunku, kdyby existoval...)

A nebo pokud nevadi cloud, tak vzit nejaky BaaS.

[lobo]

napis si webservice a z VBA bude celkom pouzitelne  xmlHttpRequest
na .NET by som pouzil NLog, pripadne si napis NLog extension.

[Reklama]

[lobo]

vypadlo mi ze kam to ukladat -  ElasticSearch je celkom fajn.
ukladam tam Trace,Debug,Info,Warn,Error,Fatal k aplikaciam aj s hromadou metadat okolo (par milionov zaznamov mesacne)

[logger]

lobo: diky za tip.

Poskytuje nekdo rovnou sluzbu, kam by to slo ukladat? (tj. s jednoduchou registraci, treba na rok zdarma)

Ten elasticSearch vypada zajimave v dlouhodobem horizontu. Trial je tam jen 14dni. (Nasadit server pripadne schvalit objednani sluzby je opravdu nadlouho)

[Ondra Satai Nekola]

Poskytuje nekdo rovnou sluzbu, kam by to slo ukladat? (tj. s jednoduchou registraci, treba na rok zdarma)

Hledej BaaS. (Backend as a Service.)
Tech variant je kopec, zalezi na tom, jake API se ti bude libit.

[lobo]

ElasticSearch ako taky je opensource a nemusis kvoli tomu zivit cely server, mozno by si to vedel prihodit na nejaky co ti uz bezi.

Napriklad AWS (Amazoni) ma trial account na rok, ale musis si to vsetko nakonfigurovat sam.
Mozno by ti to stacilo na vyskusanie https://aws.amazon.com/elasticsearch-service/

[logger]

kluci diky, ted mam co zkouset :-)

[john]

Preco nie Google Analytics - je to service zdarma na ktory existuje dost nastrojov. Custom metriky sa daju napriklad poslat ako eventy. Curl priklad:
curl -ks -o /dev/null "http://www.google-analytics.com/r/collect?v=1&tid=UA-XXXXXXXX-X&cid=<ID>&t=event&ec=<CATEGORY>&ea=<EA>&el=<LABEL>&ev=<VALUE>...." &> /dev/null

Skombinujes spravne CATEGORY/LABEL/... a mas to. Nevyhodou je, ze akceptuje iba integery (takze pripadny float si musis upravit na integer).

[logger]

to je jeste lepsi a uz si s tim hraju. Jde to krasne pouzit i z vba

[cmato]

U google analytics treba ratat s tym, ze data starsie ako 3 mesiace su agregovane a vseliako "zazracne" vypocitavane. V googli je zaujimave "Big Query" no je to uz platena sluzba, po cenach som este nepatral.

[john]

O pouziti big data (BigTable u Google, Amazon Athena nad S3 bucketom, ...) na micro data som tiez niekedy uvazoval. Cenovo to vyjde na par centov + este je tam zvycajne free tier na spracovanie dat. Je to vsak velke tazke specificke kladivo na micro data a kniznice na to su dost velke/zlozite. Doteraz u mna vzdy zvitazil primitivny GET request do Google Analytics.

[ZamestnanecGooglu]

Na 100 zaznamov denne staci aj tabulkovy procesor a CSV. V Google Sheets su aj SQL query (=QUERY) ak je treba lepsiu analyzu.

V googli je zaujimave "Big Query" no je to uz platena sluzba, po cenach som este nepatral.

Ako vies, ze je Big Query dobre, ked nepoznas ani ceny a podla prispevku si to ani nepouzival?
Big Query vychadza z internej sluzby Dremel, co je dotazovaci engine nad datami - fungovanie a starsie benchmarky su v http://static.googleusercontent.com/media/research.google.com/en//pubs/archive/36632.pdf

Viacnasobne join, group by a partition na datach velkostiach az PB s malymi vysledkami to zvlada dost rychlo. Velke vysledky su uz horsie, ale tahat TB dat z databazy byva pomale.

Ked sa da analyza vyjadrit ako SQL a vyhovuje cena, tak BigQuery moze byt dobra sluzba.

O pouziti big data (BigTable u Google, Amazon Athena nad S3 bucketom, ...) na micro data som tiez niekedy uvazoval.

BigTable je vykonne NoSQL ale musis si okolo toho pisat kod na pouzitie dat. Na male data je to teda nevhodne, to rychlejsie spocita rucne.