Home Automation / Machine learning

Karmelos

  • *****
  • 1 088
    • Zobrazit profil
    • E-mail
Re:Home Automation / Machine learning
« Odpověď #15 kdy: 17. 02. 2022, 14:21:16 »
Komunikační model je jednoduchý senzor <-> gateway <-> mqtt <-> řídící software. já bych rád přidal k řídícímu software modul AI/ML, který by se učil z nasbíraných dat


Který by se učil co?

Velmi zjednodušeně řečeno, AI a ML je povětšinou založené na tom, že máte dostatek dat/informací  o zadání/vstupu do AI a pro tato zadání máte správný/žádoucí výstup.
Tedy víte z "čeho" se má udělat "co".  Pak necháte AI se na těchto datech naučit - sebe sama při tom koriguje tím správným výstupem.
Výsledkem je naučená AI (algoritmus), co vám pro reálný vstup (rychle) vytvoří výstup, který by měl ideálně odpovídat správnému výstupu podle kterého se učila.
Gréta je nejlepší.


Re:Home Automation / Machine learning
« Odpověď #16 kdy: 17. 02. 2022, 14:26:17 »
zbytecna namaha investovat vlastni cas, energii a knowhow do anonymniho pokusu posbirat material pro skolskou praci nebo jentak  zabit cas

pokud vidim neustale tisice vymluv misto jedine rychleho hmotneho faktu (detailu, schematu nebo fotky), tak mi to jen potvrzuje puvodni podezreni.

sorry za zobecnovani, ale tohle je tu kazdou chvili.



Komunikační model je jednoduchý senzor <-> gateway <-> mqtt <-> řídící software. já bych rád přidal k řídícímu software modul AI/ML, který by se učil z nasbíraných dat


Který by se učil co?

Velmi zjednodušeně řečeno, AI a ML je povětšinou založené na tom, že máte dostatek dat/informací  o zadání/vstupu do AI a pro tato zadání máte správný/žádoucí výstup.
Tedy víte z "čeho" se má udělat "co".  Pak necháte AI se na těchto datech naučit - sebe sama při tom koriguje tím správným výstupem.
Výsledkem je naučená AI (algoritmus), co vám pro reálný vstup (rychle) vytvoří výstup, který by měl ideálně odpovídat správnému výstupu podle kterého se učila.

xyz

  • ***
  • 249
    • Zobrazit profil
Re:Home Automation / Machine learning
« Odpověď #17 kdy: 17. 02. 2022, 14:49:20 »
Rád bych si nechal poradit ohledně domácí automatizace. chci začít experimentovat s machine learning. Každou minutu sbírám data ze všech čidel, senzorů, vypínačů, spotřebě vody, plynu, elektriky, počasí a další (více než 130 různých dat).

Rád bych začal krmit těmito daty nějakou asi ideální online službu, nebo i integroval nějaký vyvynutý software, který by mi na základě vstupních dat dělal nejprve nějakou predikci, doporučení s určitou úrovní správnosti odhadu. Příklad: nyní zapne světlo před domem, neboť bylo splněno několik podmínek a předpoklad je vyšší než 80%

Také očekávám, že mi může najít nějaké patterns, které jsem si nevšiml a bylo by je zajímavě integrovat

Poznáte něco, kde začít, resp. doporučit nějakou službu.
Předem díky

Doporucuji tento kurs:
https://www.coursera.org/learn/machine-learning

Na tu predikci by se dal asi pouzit - supervised learning
Na ty patterny - unsupervised learning

A pak by mohlo byt jeste zajimave - Anomaly detection.

Vsechno tohleto se z teoretickeho hlediska probira v tom kurzu. A pak je otazka, jak to "napasovat" na vase data. Obecne se AI pouziva tam, kde klasicke algoritmy nejsou dostupne nebo selhavaji.


Re:Home Automation / Machine learning
« Odpověď #18 kdy: 17. 02. 2022, 15:08:14 »
Ja bych o tom moc rad diskutoval, ale priznam se, ze stejne jako kolegove vidim par konkretnich varovnych signalu :) a vzhledem k tomu, ze to je fakt slozite tema, nerad bych travil hafo casu rozepisovanim se v diskusi o nicem...

Tak zatim teda aspon heslovite a uvidi se, jestli ma smysl pokracovat:

Mám spoustu dat ze všech komponent, tato data bych rád využil k analyze a výuce AI, následně bych propojil AI a můj software řídící HA.
Jak jsou ta data ulozena (uloziste, popr. format)? Jake mas zatim analyzy (predpokladam, ze alespon grafy)? Cim delas ty dosavadni analyzy a cim je vizualizujes?

pokud zarízení nepodporuje přímo MQTT
Mohl bys pls pro priklad uvest pet konkretnich zarizeni (tj. vyrobce a model), ktera primo podporuji MQTT?

mnoho algoritmů pracují is více než 10 proměnnými aby dokázaly vhodně reagovat.
dokonce jsem systém odladil tak, že když není 100% jistý,
Pokud je to algoritmus, ktery jsi naprogramoval, v cem spociva ta nejistota?

nerozumím proč rozporujete validitu mé otázky, resp. prosby o doporučení
Ja bych ji zpochybnoval hlavne proto, ze staci jeden dotaz do googlu a vypadne ti takovych sluzeb nejmin pet na prvni strane. Nepises nic o tom, ze ses na nekterou z nich dival, co se ti na ni nezdalo, jak jsi ji zkousel aplikovat apod. Nezminujes o literature, kterou jsi o tematu zatim nastudoval, ani nezadas zadnou doporucit.

Aplikace ML v jakekoliv oblasti je dost komplikovana vec a v tehle domene to neni ani tak komplikovane jako spis sci-fi. Takze uprimne receno, necekal bych, ze by se cokoli kloudneho podarilo udelat v tehle oblasti nekomu, kdo neni schopen zadat dotaz do googlu... Sorry za uprimnost.

Nezádám navod step-by-step, stačilo by vodítko napr. na analyzu dat s možností detekce vzoru zkus tohle, pro ML a typ dat je zase tahle knihovna pro python
https://letmegooglethat.com/?q=data+analysis+tools+online
https://letmegooglethat.com/?q=python+ml+library

Re:Home Automation / Machine learning
« Odpověď #19 kdy: 17. 02. 2022, 16:32:30 »
Citace
Doporucuji tento kurs:
https://www.coursera.org/learn/machine-learning
Dekuji, urcite se na to podivam.

Citace
Jak jsou ta data ulozena (uloziste, popr. format)? Jake mas zatim analyzy (predpokladam, ze alespon grafy)? Cim delas ty dosavadni analyzy a cim je vizualizujes?
data su v dvoch typoch databaz - mysql a influxdb
k jednoduché vizualizaci používám grafanu

Citace
Mohl bys pls pro priklad uvest pet konkretnich zarizeni (tj. vyrobce a model), ktera primo podporuji MQTT?
hodně pouzivam zařízení s firmware tasmota, resp. kde jsem povodní vyměnil za tasmota a také zařízení od firmy shelly, ale mnoho čidel mám is vlastním kodem /arduino + knihovna pro mqtt/

Citace
Pokud je to algoritmus, ktery jsi naprogramoval, v cem spociva ta nejistota?
nejistota je hlavně k příkladu v případě, že to algoritmu vstupuje počasí, nebo jsou mezní hodnoty barevných proměnných, např. připadne-li akce na den, kdy je podle kalendáře státní svátek a systém neumí s jistou říct, že přijdou popeláři a je třeba otevřít branku pro popelnici

Citace
Ja bych ji zpochybnoval hlavne proto, ze staci jeden dotaz do googlu a vypadne ti takovych sluzeb nejmin pet na prvni strane. Nepises nic o tom, ze ses na nekterou z nich dival, co se ti na ni nezdalo, jak jsi ji zkousel aplikovat apod. Nezminujes o literature, kterou jsi o tematu zatim nastudoval, ani nezadas zadnou doporucit.
chápu, ale věřil jsem, že se už někdo něčím podobným zabýval a nasměruje mě konkrétně. Ale asi jsem se mylil, a možná to celé je blbost. Ale před tím, než to úplně zavrhnu si o tom chci co nejvíce nastudovat a popřípadě otestovat na jednoduchých usecase




Re:Home Automation / Machine learning
« Odpověď #20 kdy: 17. 02. 2022, 18:23:26 »
Ok, tak s tim by se pracovat dalo, minimalne si pekne pohrajes. Byl bych teda dost skepticky k moznosti nejakeho vyrazne zajimaveho vysledku, ale pro uceni dobry a treba v prubehu zkouseni cile predefinujes na neco trochu realistictejsiho :)

Dekuji, urcite se na to podivam.
K problematice ML existuje strasne moc materialu a bez studia aspon zakladnich pojmu/konceptu nema vubec smysl se o neco pokouset. xyz uvedl spravny klicovy slova. Ke kazdemu tomu konceptu existuje nekolik ruznych implementaci. Je potreba si nastudovat alespon highlevel, jake maji vlastnosti (jake vyzaduji vstupy, jake realisticky muzou nebo nemuzou poskytnout vystupy apod.).

Nastesti uz existuje dost nastroju, se kteryma se da hrat i kdyz clovek zna fakt jenom zaklady. Neni nutne potreba znat detaily implementace jednotlivych metod, na to uz je fakt dostatek knihoven a/nebo i klikacich nastroju.

influxdb
InfluxDB ma pro ucely analyzy dat nectnost v tom, ze je dost komplikovane az nemozne z nej rozumne dostat vetsi objemy dat. Nastesti v tom tvem pidiobjemu se to nejspis vubec neprojevi. Trochu prace budes mit s dostanim dat do potrebneho tvaru, ale velky plus je, ze sql i influxdb ti aspon zaruci spravne typy dat per measurement, nemuze se ti stat, ze bys tam mel nejake vylozene smeti...

Citace
Pokud je to algoritmus, ktery jsi naprogramoval, v cem spociva ta nejistota?
nejistota je hlavně k příkladu v případě, že to algoritmu vstupuje počasí, nebo jsou mezní hodnoty barevných proměnných, např. připadne-li akce na den, kdy je podle kalendáře státní svátek a systém neumí s jistou říct, že přijdou popeláři a je třeba otevřít branku pro popelnici
To neni nejistota. Bud algoritmus vi, ze je svatek a ve svatek popelari nejezdi, takze (spravne) branku neotevre, nebo to nevi a branku (chybne) otevre. To je mozna chybejici vstup nebo nedokonaly algoritmus, ale ne nejistota. Nejistota je, kdyz ti treba predpoved pocasi rika, ze za tri dny bude kolem poledne prset, ale je to jenom s 60%ni pravdepodobnosti.

chápu, ale věřil jsem, že se už někdo něčím podobným zabýval a nasměruje mě konkrétně. Ale asi jsem se mylil, a možná to celé je blbost. Ale před tím, než to úplně zavrhnu si o tom chci co nejvíce nastudovat a popřípadě otestovat na jednoduchých usecase
Neni to blbost. Ale je to prilis velke sousto a existuji konkretni argumenty, proc se lze opravnene domnivat, ze to nebude uspesne tak, jak si to predstavujes :)

Kazdou aplikaci ML musis zacit tim, ze si udelas poradek ve svych myslenkach. Co bych vlastne presne chtel, aby ten system umel? Ma umet zapnout topeni pul hodiny pred tim, nez obvykle prijizdim domu (aniz bych mu rikal, kdy to je - sam si to rozpozna)?  Ma umet stahnout markyzu pul hodiny pred tim, nez zacne vitr? apod.

Tohle zabere dost casu a neni moc jasny, jak presne to udelat. Fantazii se meze nekladou, ale cim min mezi, tim z toho vypadne slozitejsi a hur uchopitelne zadani.

Mne osobne prijde strasne inspirativni pribeh, jak Jeff Hawkins vymyslel PDA. Udelal si dreveny model sve predstavy PDAcka a kdyz mel nejakou schuzku, tak predstiral, ze si tam zapisuje poznamky, udalosti do kalendare...[1] Pecka jak svina! :)

Mozna bych takhle nejak zacal i s tou analyzou HA. Predstirej, ze nejaka genialni AI neco s tim barakem sama dela. A zapisuj si, co a kdy udelala. Treba ti z toho nejaky dobry zadani vzejde. Anebo taky uz v tehle fazi zjistis, ze cela ta myslenka je pitomost. Coz je taky cennej objev :)

Kazdopadne v zadnym pripade nedoporucuju cestu "tady mam nejaky data a neco s nima chci delat". To nikdy nikam nevede, je to zarucene slepa cesta, mnohokrat overeno mnoha lidmi a projekty...

[1] viz napr. https://albertosavoia.medium.com/the-palm-pilot-story-1a3424d2ffe4
« Poslední změna: 17. 02. 2022, 18:28:17 od Mirek Prýmek »

Re:Home Automation / Machine learning
« Odpověď #21 kdy: 17. 02. 2022, 18:24:45 »
P.S. Pokud jsem te od toho zameru neodradil, tak sem urcite po nejake dobe napis, jak postupujes, muze to byt dobra inspirace pro ostatni.

luvar

  • ***
  • 240
    • Zobrazit profil
    • E-mail
Re:Home Automation / Machine learning
« Odpověď #22 kdy: 17. 02. 2022, 22:16:06 »
Ja len jeden dnesny zapisok z kategorie rozpoznavania obrazu a viac:

AI mi povedala rano, ze bude fukat dost silny narazovy vietor a nejaky somar nechal vonku postaveny hlinnikovy rebrik a ze asi spadne a mozno daco po ceste poskodi... A tiez tie skatule vedla domu mozu zmoknut a predsalen karton moze premoknut...

A jeden asi praktickejsie realizovatelny:

Kamera pri prijazdovke vidi prichadzat auto s spztkou XX-XXXX. To ide susedovi na navstevu frajerka a zase si navecer asi nalozi do krbu nejake to drevo. Zapnem teda rekuperaciu naplno, kym je vonku cerstvy vzduch, bo potom vetrat par hodin nebudeme vzhladom na smer a silu vetru v predpovedi pocasia.

PS: Ked si predstavujem nejaku AI, ako riadi dom, tak mi k tomu sedi videoklip zo skladby "Mafia Greyhound" od "Swedish House" :)

Re:Home Automation / Machine learning
« Odpověď #23 kdy: 18. 02. 2022, 08:20:48 »
Citace
P.S. Pokud jsem te od toho zameru neodradil, tak sem urcite po nejake dobe napis, jak postupujes, muze to byt dobra inspirace pro ostatni.

Díky za tvůj příspěvek, určitě se chci dané tému věnovat, více nastudovat a pak zkusit aplikovat na ta data co neustále sbírám. Možná selžem a možná uspěju.

Re:Home Automation / Machine learning
« Odpověď #24 kdy: 18. 02. 2022, 09:58:59 »
určitě se chci dané tému věnovat, více nastudovat a pak zkusit aplikovat na ta data co neustále sbírám. Možná selžem a možná uspěju.
Hodne stesti! ... and keep us informed ;)

P.S. Jeste me napadlo, ze pokud ses vic takovej experimentalni/hackerskej typ (cemuz by konstrukce vlastnich sensoru nasvedcovala), tak jeste jinej moznej pristup je udelat si radost nejakym vylozene hands-on pokusem, kterej bude mit vyrazne uzsi zadani, nebude moc inovativni, ale zase si u nej dobre vyhrajes. Ted mi treba shodou okolnosti v emailu pristalo upozorneni na tenhle projekt: https://www.hackster.io/kutluhan-aktar/o3-enabled-ble-weather-station-predicting-air-quality-w-tf-ee1c37
Docela pekny. Sice edge computing, coz asi uplne nechces, ale skvelej pokus. A zkusenost s Tensor Flow je skvela, ta se ti rozhodne hodit bude i u pripadnyho dalsiho "vetsiho" projektu.
« Poslední změna: 18. 02. 2022, 10:06:10 od Mirek Prýmek »