Aplikace pro analýzu měřených dat

[Petkal]

Jsme město, máme realizovaný sběr dat spotřeb (plyn, voda, teplo, elektřina…) na různých městských objektech. Data se nám scházejí v jedné aplikaci, ale ta s daty toho moc neumí.

Budeme mít potřebu data zobrazovat, analyzovat, porovnávat mezi sebou. Většina toho by se mělo dít automaticky, a když se narazí na nějakou odchylku, tak bude následovat manuální vyhodnocování.
Jsme na začátku a až postupem času se bude vyjasňovat, co vlastně pro nás bude zajímavé.

Špatně se tak pokládá dotaz, když ani kloudně nevíme co chceme, ale přesto… Někdo si možná něčím podobným prošel nebo třeba existuje projekt, který by byl v něčem obecnější a šel by napasovat na naše potřeby. Ideálně něco, kde by se jako kostičkami lega poskládalo v něco, co nebude třeba z hlediska výkonu rychlé, ale účel to splní.

V tomto směru jsem narazil na projekt R (https://www.r-project.org)  a zatím to je náš favorit.
 

[Reklama]

[_Tomáš_]

do R nechoďte, zbytečně komplikované a náročné na znalosti.

Existují poměrně levné nástroje jako Prometheus/victoria metrics, Grafana, Influxdb, timescaledb, na tom jsme schopní budovat i enterprise systémy. Robustní řešení pak třeba nabízí cloudový PowerBI (tam by se šlo dostat i na rozumné peníze).

Doplnění nějakých transformací a prací lze použít věci jako vector.dev, fluent-bit. Pokud byste potřebovali dělat hlubší datové analýzy a modely, opět MS nabízí v PowerBI silné nástroje, na vlastním triku je možné provozovat věci jako Trino, iceberg, spark/dask/pytorch/pandas a s tím se dají dělat.

Předpokládám, že na to nemáte velký rozpočet a nejste schopní si nechat udělat projekt na míru. Možná by šla domluvit nějaká bezplatná spolupráce na dobrovolné bázi či výměnou za PR. Mám k dispozici tým 40 lidí, kteří dělají jen tohle. Stejně tak jsem schopný poskytnout nějaké konzultace sám, záleží o jaké lokalitě se bavíme.

[hmmmw]

Zvolit vhodnou databázi, kam se budou sypat data, nejlépe nějaká time-series jako již zmíněné InfluxDB nebo Prometheus. - je to stavěno na přesně taková data, kdy se jedná o vzorek v nějakém čase.

Z toho si pak velice snadno můžete tahat data do Grafany, kde se dá hezky vyhrát s různým porovnáním. Ale samozřejmě i kamkoliv jinam.

Grafana má i alerting, takže stačí si nadefinovat pravidla.

Problémem je si tu databázi dobře navrhnout aby se s tím dobře pracovalo (udělat labely). Navíc to není relační databáze, takže to funguje jinak, než jsou správci běžně zvyklí a každá používá svůj Query Language.