Fórum Root.cz
Hlavní témata => Server => Téma založeno: logger 27. 03. 2017, 12:03:13
-
Potreboval bych poradit, kam ukladat statistiky o behu programu. Jedna se o vetsi mnozstvi malych programu ve vba a .net. Potrebuju zjistit statistiky pouzivanosti.
Bohuzel nemuzu kvuli internim restrikcim pouzit interni sql server (ano pracujeme na nahozeni web service, ale to je u nas na mesice).
Melo by jit odesilat statistiky odkudkoliv z internetu. Jedna se vzdy o kratkou spravu "Tool-xy, datum, pocet zpracovanych radek a asi i hash uzivatelskeho jmena)
Existuje neco otevreneho a idealne neplaceneho?
Dekuju
-
Kolik toho tak zhruba bude?
(btw: hash uzivatelskeho jmena neni sam o sobe moc dobre zabezpeceni, protoze tech jmen je malo, takze k hashi jmeno, vetsinou, snadno dohledas)
-
rekneme tak max 100 denne.
Me jde o pocet unikatnich uzivatelu a ten has by mel zabezpecit, ze to nepujde zpetne zneuzit na spamovani firmy. Mozna ale bude bezpecnejsi uzivatele nijak neuvadet.
-
V tehle poctech, maximalne na kolenou - napriklad volat echo server (nebo echo service v existujicim serveru) a pak si vysledky vygrepovat z logu. (Ovsem tezko radit, kdyz nevim, co mate, jak a kde, ja bych trebas sahnul pro primitivni reporty po Splunku, kdyby existoval...)
A nebo pokud nevadi cloud, tak vzit nejaky BaaS.
-
napis si webservice a z VBA bude celkom pouzitelne xmlHttpRequest
na .NET by som pouzil NLog, pripadne si napis NLog extension.
-
vypadlo mi ze kam to ukladat - ElasticSearch je celkom fajn.
ukladam tam Trace,Debug,Info,Warn,Error,Fatal k aplikaciam aj s hromadou metadat okolo (par milionov zaznamov mesacne)
-
lobo: diky za tip.
Poskytuje nekdo rovnou sluzbu, kam by to slo ukladat? (tj. s jednoduchou registraci, treba na rok zdarma)
Ten elasticSearch vypada zajimave v dlouhodobem horizontu. Trial je tam jen 14dni. (Nasadit server pripadne schvalit objednani sluzby je opravdu nadlouho)
-
Poskytuje nekdo rovnou sluzbu, kam by to slo ukladat? (tj. s jednoduchou registraci, treba na rok zdarma)
Hledej BaaS. (Backend as a Service.)
Tech variant je kopec, zalezi na tom, jake API se ti bude libit.
-
ElasticSearch ako taky je opensource a nemusis kvoli tomu zivit cely server, mozno by si to vedel prihodit na nejaky co ti uz bezi.
Napriklad AWS (Amazoni) ma trial account na rok, ale musis si to vsetko nakonfigurovat sam.
Mozno by ti to stacilo na vyskusanie https://aws.amazon.com/elasticsearch-service/
-
kluci diky, ted mam co zkouset :-)
-
Preco nie Google Analytics - je to service zdarma na ktory existuje dost nastrojov. Custom metriky sa daju napriklad poslat ako eventy. Curl priklad:
curl -ks -o /dev/null "http://www.google-analytics.com/r/collect?v=1&tid=UA-XXXXXXXX-X&cid=<ID>&t=event&ec=<CATEGORY>&ea=<EA>&el=<LABEL>&ev=<VALUE>...." &> /dev/null
Skombinujes spravne CATEGORY/LABEL/... a mas to. Nevyhodou je, ze akceptuje iba integery (takze pripadny float si musis upravit na integer).
-
to je jeste lepsi a uz si s tim hraju. Jde to krasne pouzit i z vba
-
U google analytics treba ratat s tym, ze data starsie ako 3 mesiace su agregovane a vseliako "zazracne" vypocitavane. V googli je zaujimave "Big Query" no je to uz platena sluzba, po cenach som este nepatral.
-
O pouziti big data (BigTable u Google, Amazon Athena nad S3 bucketom, ...) na micro data som tiez niekedy uvazoval. Cenovo to vyjde na par centov + este je tam zvycajne free tier na spracovanie dat. Je to vsak velke tazke specificke kladivo na micro data a kniznice na to su dost velke/zlozite. Doteraz u mna vzdy zvitazil primitivny GET request do Google Analytics.
-
Na 100 zaznamov denne staci aj tabulkovy procesor a CSV. V Google Sheets su aj SQL query (=QUERY) ak je treba lepsiu analyzu.
V googli je zaujimave "Big Query" no je to uz platena sluzba, po cenach som este nepatral.
Ako vies, ze je Big Query dobre, ked nepoznas ani ceny a podla prispevku si to ani nepouzival?
Big Query vychadza z internej sluzby Dremel, co je dotazovaci engine nad datami - fungovanie a starsie benchmarky su v http://static.googleusercontent.com/media/research.google.com/en//pubs/archive/36632.pdf
Viacnasobne join, group by a partition na datach velkostiach az PB s malymi vysledkami to zvlada dost rychlo. Velke vysledky su uz horsie, ale tahat TB dat z databazy byva pomale.
Ked sa da analyza vyjadrit ako SQL a vyhovuje cena, tak BigQuery moze byt dobra sluzba.
O pouziti big data (BigTable u Google, Amazon Athena nad S3 bucketom, ...) na micro data som tiez niekedy uvazoval.
BigTable je vykonne NoSQL ale musis si okolo toho pisat kod na pouzitie dat. Na male data je to teda nevhodne, to rychlejsie spocita rucne.
-
Na 100 zaznamov denne staci aj tabulkovy procesor a CSV. V Google Sheets su aj SQL query (=QUERY) ak je treba lepsiu analyzu.
Dobry postreh. Urobis si google form, ktoreho vysledky nechas ukladat do google sheets. Nasledne do formulata potom mozes postovat aj svoje data (POST HTTP requestom). Upozornujem z vlastnej skusenosti, ze pokial budes mat par 10k zaznamov v Google Sheets, tak praca s nim bude velmi pomala (aj ked ho vyexportujes a otvoris lokalne v MS/Libre Office).
-
Libovolny webserver s apache a php. Bud u vas nebo v hostingu. A pak minimalni php kod:
<?php
file_put_contents("post.log",print_r($_POST,true));
?>
Z aplikaci pak staci POST request a vsechno bude logovat do souboru. Fantazii se meze nekladou, klidne muzete nahodit nejaky Pear extension co bude umet logovat rovnou do excel souboru. Nebo do XML, nebo do JSON, nebo do SQLite. To je jedno.
-
Na 100 zaznamov denne staci aj tabulkovy procesor a CSV. V Google Sheets su aj SQL query (=QUERY) ak je treba lepsiu analyzu.
Dobry postreh. Urobis si google form, ktoreho vysledky nechas ukladat do google sheets. Nasledne do formulata potom mozes postovat aj svoje data (POST HTTP requestom). Upozornujem z vlastnej skusenosti, ze pokial budes mat par 10k zaznamov v Google Sheets, tak praca s nim bude velmi pomala (aj ked ho vyexportujes a otvoris lokalne v MS/Libre Office).
Vyzkousim. Vyhodou je, ze muzu mit lepsi kategorizaci. U google analytics je zase vyhodou, ze rovnou sleduje pocty unikatnich uzivatelu (pro unikatni CID asi) a zobrazuje i geo lokace.