Zobrazit příspěvky

Tato sekce Vám umožňuje zobrazit všechny příspěvky tohoto uživatele. Prosím uvědomte si, že můžete vidět příspěvky pouze z oblastí Vám přístupných.


Příspěvky - GloGlo

Stran: [1] 2 3 4
1
Podle mě ta nutnost moderace nevhodného obsahu je dneska zásadnější z pohledu provozu než vlastní platforma - třeba fejsbůk si myslim najímá armádu lidských moderátorů pravděpodobně někde z asie.

Já osobně, kdybych byl provozovatel platformy, bych nevěděl jak to mám jinak zařídit, než najmutím lidského modcentra, minimálně do začátku, než na ostrém provozu natrénuju tu AI.

Úplně nevím, jestli sem pochopil, jak to autor myslí, ale myslím, že kdyby se to udělalo chytře, tak by bylo možné přenést odpovědnost na majitele každého jednotlivého fora.

2
Zde je můj sázecí AI projekt - aktuálně se nesnaží docílit co nejvyššího zisku, ale co nejvyšší úspěšnosti predikcí. Co říkáte? :))

http://194.163.128.167:1414/

http://194.163.128.167:1414/history

Current status: 89 games, good predictions: 57 (64.04%), wrong: 32 (35.96%)
Gain: 16670 // Profitability: +18.73% (per game)

3
taky si myslim, ze takovy model je podobne slozity jako modelovani pocasi a staci jen 3 (diferencialni) rovnice a dostanete nepredvidatelny chaos jako pri modelovani pocasi.

lorenzuv system a lorenzuv atraktor ukazuji vznik chaosu a dlouhodobou nepredvidatelnost v jednoduchem systemu.

Tak vždyť systém veřejné dopravy - tzn. zjednodušeně řečeno systém železničních a autobusových linek a jednotlivých spojů - tu existuje desítky let. Normálně ze zkušenosti cestujícího - v některých oblastech (krajích) je ten systém relativně promyšlenej, linky na sebe nějak navazují - jinde je ten systém ale třeba i mizernej, některý spoje si jako naschvál ujíždějí před nosem, takže se pak musí dlouho čekat na přestup, nebo jezdí mnoho spojů "vozících vzduch" a potom naopak některý spoje kapacitně nedostačujou a jsou zbytečně přeplněný. Proto si říkám, jestli by náhodou systém, který by vytvořil AI na základě mnoha dat, nebyl mnohem lepší. Obecně vzato to vidím tak, že by to byla jedna hodně složitá funkce a hledalo by se globální maximum tý funkce.


4
- skutečná poptávka po dopravě je velmi variabilní - jestli se člověk rozhodne použít MHD, kolo, auto nebo jít pěšky záleží na jeho předchozích zkušenostech s cestou, počasí, náladě, jestli včas vstal ...
- pokud chcete sledovat děti do školy/ze školy, tak budete muset vyhodnocovat i jejich rozvrh hodin -> kdy končí, kam chodí na oběd ...

Hrát si na "vševědoucího Boha" je velmi náročné (příliš mnoho vstupních databází v nekonečně mnoho formátech - navíc se budou časem měnit) a výsledek stejně bude +/- 20%.

To už je podle mě lépe sledovat reálné anonymizované toky lidí (kolik na které zastávce vystoupilo/nastoupilo lidí) a hledat vazby k předvídatelným událostem (prázdniny/školní rok, víkend, počasí, akce v Kauflandu ...).

Pro lidi je mnohem užitečnější, když někdo ví, proč byl nějaký autobus zrušen a snese nějakou zpětnou vazbu cestujích, než "to nám řekl počítač a takto je to nejlepší a nic jiného není možné!".

Kdyby ten systém reálně fungoval, tak by samozřejmě bylo možné některá data vkládat manuálně. Takže by se udělal nějakej webovej systém, do něhož by měli přístup třeba jednotlivý obecní úřady - a ty by potom mohli editovat takový data jako kdy končí/začíná vyučování konkrétních škol, kdy končí/začínají směny v nějakých velkých továrnách atd. V tom principiálně nevidím problém.

I to, že se všechny tyhle data časem mění, je přeci úplně normální. A však i jízdní řády se mění každej rok a někdy/někde i víckrát za rok.

A jinak nejde o to hrát si na "všemohoucího Boha". Principiálně jde o toto: je lepší systém veřejné dopravy, který nějak sestavil člověk bez AI - tzn. nejspíš na základě zkušeností z minulosti, feedbacku lidí, ale někde s asi i dost arbitrárníma zásahama - a nebo je lepší systém vytvořený na základě zpracování velkýho množství dat? Já si neumím pomoct, ale prostě mi přijde, že systém založený na datech, by měl být mnohem lepší. Potom je otázka, kolik by vytvoření takovýho systému stálo. Kdyby jen dejme tomu pár milionů - tak není co řešit a můžeme tlačit na politiky, aby se to aspoň zkusilo. Kdyby to mělo stát řádově miliardy, tak potom to asi nikdy nevznikne, no.

5
mysli ze nejmene dat je v bodu 2)

smwruje do skoly 50% deti z mesta a 50% z vesnic, nebo je to 40/60 uz to muze zamavat odhadem ve vytizenosti dopravy.

Zrovna u těch škol by neměl bejt problém zjistit, odkud má žáky, protože školy musí odevzdávat výkazy na ministerstvo. Tak jako tak ten systém stejně musí bejt trochu robustní - nebudou se překopávat jízdní řády kvůli tomu, že někde byl žák, kterej někam dojížděl, ale rodina se odstěhovala a už není potřeba, aby tam zajížděl bus.

6
pochybuji o existenci dat, ktere rikaji 30% lidi z proseka jezdi na smichov do prace. 10% ze smichova jezdi na jizni mesto atd.

spojit jde vsecky data i umrtnost tam jde pridat. nejslozitejsi je spojit chytre.

Tak když opomeneme to, že trvalé bydliště se často nerovná skutečné bydliště, tak když je člověk zaměstnanec, tak za něj zaměstnavatel platí odvody a tak známe sídlo firmy, kde pracuje. Potom samozřejmě záleží na tom, jak je ta firma velká a jestli nemá nějaký pobočky atd, takže by to všechno byly nedokonalý odhady. Ale na druhou stranu se dají zpřesnit pak skutečným sčítáním pohybů cestujících, který občas dopravní podnik stejně dělá.

7
zdravim,

resite systemy resici kvalitu zivota a za par let to bude neco, co bude bezne. Neco jako ve stylu "rekni mi, kde se zije nejlepe" nebo "kde, mam koupit dum". Treba toto: https://www.obcevdatech.cz/ .

Aby to neco umelo a umelo to neco odprezentovat, tak bych to videl na 6-12 clovekomesicu. V teto fazi by mela byt aplikace pouzitelna a nekde na zacatku. Jinak pocitejte 3 roky. Co se tyce odhadu, tak varim hodne z vody.

Nejvetsi problem jsou data. Ty nedostanete. A na tom to cele stoji. S open-daty si nevystacite.

Nejdrive se podivejte na zdroje dat, legislativu a pak muzete (mozna?) resit architekturu a vyvoj.

Stat Vam ty data jen tak neda. Mozna za par let v omezene mire. Ten kdo ty data ma jsou banky. Jedna stacit nebude. A tady pro ne neni zajimavy obchodni model. Nic tim neziskaji. A ziskat data tim, ze neco stahnete z internetu a udelate nejakou aproximaci, tak to taky stacit nebude. To by bylo nepresne.

AI je asi to posledni, co Vas bude zajimat. Pred tim je hromada algoritmu, co se budete muset naucit, aby jste neco spocital.

gf

Díky za odpověď, ale úplně nevím, jestli jste mě pochopil. Já osobně se rozhodně na takový projekt nechystám. Nemám na to potřebné znalosti ani čas. ALE říkám si: kdyby vytvoření takového systému tedy opravdu bylo tak jednoduché, že by na to stačilo dejme tomu "jen" 3 roky práce jednoho programátora - tzn. dejme tomu že by to stálo 3 miliony korun - no tak by to vhledem k možnému benefitu z toho vyplývajícího bylo extrémně levné a téměř zadarmo - když se to porovná s tím, že stát a kraje každý rok na regionální dopravu vynaloží asi 30 miliard korun (!) (a včetně MHD v Praze a dalších větších městech cca 60 miliard Kč (!)

8
/dev/null / Vytvoření "dokonalý" veřejný dopravy pomocí AI
« kdy: 04. 09. 2022, 22:44:28 »
Mám jenom takovej nápad, nechystám se ho realizovat a profesně se pohybuju úplně mimo IT, (veřejnou) dopravu, demografii atd a ani nejsem úředník nebo politik:) Jsem v této oblasti v podstatě BFU, nemám s něčím takovým zkušenosti. Možná si to celý představuju jako Hurvínek válku, nevím :)

1) Na jedné straně máme stát a ten má různý "databáze" jako např. katastr nemovitostí, registr obyvatel, různý daňový registry, údaje o platbách sociálního pojištění, výdajích zdravotních pojišťoven atd. Dále údaje ze sčítání obyvatel.

Když vůbec nebudu řešit v jaký formě ty data jsou a jak moc těžký by bylo je všechny nějak (anonymizovaně) vyexportovat, prostě stát má hafo různejch údajů - a dále má samozřejmě možnost si další potřebný údaje opatřit.

Když se všechny data dají dohromady, tak by se v podstatě dal udělat plus mínus přesnej model toho, kde lidi bydlí, kde pracujou, kam chodí do školy, k lékaři/do zdravotních zařízení, na úřady atd. Takže bychom měli jakousi první "vrstvu". V ni vidíme, že třeba město má 10 tisíc obyvatel s trvalým pobytem, odhadujeme, že reálně tam bydlí 9000 lidí, dalších 500 lidí tam stráví 5-10 dní za měsíc (víkendy). Víme, že tam jsou 3 základky, 2 střední školy (známe počet žáků), dále víme, kolik tam je lékařů, kolik mají pacientů a kolik mají ti lékaři průměrně návštěv týdně, dále máme údaje o zaměstnavatelích - víme, kolik lidí ve městě pracuje, nejenom, že tam jsou 2 velké továrny se stovkami zaměstnanců, ale dokážeme odhadnout i počty zaměstnanců malých firem. A dále víme, jaký v tom městě jsou služby - kolik je tam restaurací, kadeřnictví, autoservisů, pobočet bank, obchodů atd a dokážeme odhadnout, kolik asi mají průměrně zákazníků.

2) Druhá vrstva by byla, že se vezmou data o tom, kam lidi typicky směřujou (viz výše) a pokusí se určit jednak to, odkud ty lidi tam směřujou a pak v jakém čase. V první vrstvě třeba vidíme, že základka má 300 žáků a odhadujeme, že 250 žáků je přímo z města, tak ve druhém kroku odhadujeme z jakých vesnic okolo se do tý školy pohybuje zbývajících 50 žáků a dále v jakém čase (tzn. před začátkem vyučování). Něco podobnýho by se samozřejmě udělalo i pro ty další cíle jako jsou úřady, zdravotní zařízení, služby, zaměstnavatelé atd. V konečném důsledku bychom tedy měli jakýsi model toho, k jakým pohybům lidí dochází a přibližně kdy.

3) Třetí vrstva je veřejná doprava. Máme jednak statická data - mapy. Na mapách jsou nejenom údaje o tom, kde lidi bydlí, pracujou, chodí do škol atd, ale taky tam máme silnice, železnice a body jako jsou autobusový zastávky s vlakový nádraží. Známe cestovní rychlosti dosažitelný na každým úseku silnice, železnice atd. Známe různý omezení (např. na jednokolejné železnici může jet v jednu chvíli jen 1 vlak, vlaky se někde musí křižovat, po některých silnicích busy nemůžou nebo to nechceme atd). Další omezení jsou třeba směny zaměstnanců a reálnej počet dopravních prostředků.

4) Další vrsta je budget na veřejnou dopravu. Každý kraj rozhoduje o tom, kolik dá na dopravu peněz (řádově miliardy). Doprava se objednává jako "vlakokilometry" a "busokilometry". Jeden kilometr jízdy vlaku stojí třeba 200 kč, u busu je to třeba 100 kč. Dejme tomu že ty ceny jsou fixní.

No a teď co je cíl celého projektu/modelu: Máme kraj a ten alokoval nějaký budget na dopravu. Dejme tomu miliardu korun. A tu miliardu chce utratit co nejlépe - cílem tedy je najít takovou kombinaci vlakokilometrů+busokilometrů, aby to celkově vzato mělo co největší užitek. Víme odkud&kam&kdy se lidi pohybujou (viz výše) -> a chceme jím v tom "helfnout" tím, že jim na to objednáme vlaky a busy. Cílem je co nejvíc lidí co nejvíc přiblížit místu, kam reálně směřujou - a to samozřejmě co nejrychleji (tzn. co nejpříměji).

Máme ale samozřejmě nějaký systém priorit/pravidel. Např. chceme, aby každý žák, který to má do školy déle než 2 kilometry, měl možnost jet vlakem nebo busem, další priorita třeba je, že z každé vesnice s více než 100 obyvateli má každý pracovní den jet aspoň 1 spoj do nejbližšího zdravotnickýho zařízení a po 3-4 hodinách zpátky atd. Takových pravidel/priorit asi může být hodně.

Cílem projektu/modelu je v podstatě dokonalá veřejná doprava. Dokonalá v tom smyslu, že by došlo k nejoptimálnějšímu utracení rozpočtu. Model by vytvořil takovou veřejnou dopravu, že s daným budgetem na dopravu by prostě nemohla být lepší. (Lepší by mohla být jedině kdyby se zvýšil ten budget.)

Šlo by něco takovýho naprogramovat, jak náročný by to asi bylo? Kolik by na to asi bylo potřeba lidí, jak dlouho by trval vývoj a jaký by byly náklady?

9
Právěže mechanismus Powella neznám a nechce se mi studovat
Ale můžu ti předem prozradit, že to je celé nesmysl a přijdeš akorát na to, že favoritem je favorit. Abys vykoumal něco navíc, tak musíš mít informace navíc. A ty nemáš.

No tak samozřejmě, že mám informace navíc! Na tom to je celý postavený. Dám příklad: třeba někdo by měl teorii, že výsledek zápasu záleží na počasí. No tak potom stačí každej zápas a jeho výsledek propojit s datama z nějaký mateorologický databáze a nějak z toho udělat model. (Moje informace se netýkají počasí, ale principiálně to je podobný. Prostě to propojuju s jinou databází.)

A jinak pracuju s datama z free API jedný společnosti, která poskytuje data sázkovým kancelářím. Mají tam třeba i průměr kurzů asi 20 velkých světových sázkovek. Ty mají dohromady průměrnou marži kolem 6,5%. Moje aktuální metoda - když vezmu všechny zápasy dohromady, teď jich je asi 135 tisíc, má celkovou ziskovost na zápas +0,98% (přičemž si myslím, že globální maximum tý mý funkce je kolem 1,5%, ale důkaz pro to v současnosti nemám).  Jedno procento je samozřejmě slabý a nemám šanci na tom zbohatnout - obzvlášť vzhledem k tomu, že český sázkovky mají obecně vzato marži vyšší než těch 6,5% - spíš se pohybuje kolem 8%. Ale na druhou stranu - na to moje jedno procento zisku je nutný se dívat tak, že překonává tu marži 6,5% - takže vlastně to o cca 7,5% překonává práh pravděpodobnosti. To podle mě když už nic jinýho aspoň dokládá, že ty informace, s nimiž pracuju, prostě výsledek ovlivňujou, byť ne nijak zásadně.

10
zihani a jeho parametr teplota nezasahuje do powellovy nebo jine metody, ktera nalezne vhodny nasledny bod s mensi funkcni hodnotou. ale jen do testu zda se nova iterace vezme, normalne se vezme jen novy bod, ktery ma mensi funkcni hodnotu. zihani ale muze vzit i bod, ktery ma vyssi hodnotu objektivni funkce.

teplota jen urcuje sanci, ze se muze vzit i horsi iterace. a teplota postupne klesa a tak i klesa sance, ze v dalsich iteracich polezeme do kopce.

teplota muze klesat linearne, logaritmicky nebo ji lze obcas i zvysit a ohrat system.

Aha, už rozumím. Takže vzít hodnoty, které mi dal Powell, nechat je projet tím žíháním, a zase poslat do Powella. Takhle to je myšleno, že?

Mně teď nějaký vývojář JAXu poradil, jak tu mojí funkci malinko upravit, aby nebyla derivace zero gradient, takže mi možná nakonec půjde gradient descent, pokud ne, tak to tvoje žíhání zkusím.


11
Vývoj / Re:Do jakého projektu se pustit?
« kdy: 30. 08. 2022, 00:38:58 »
Mám nápad, jak pomocí AI zlepšit veřejnou dopravu. Kdyby to někdo realizoval a ujalo se to, tak si myslím, že by to bylo svým způsobem revoluční. Ale netuším, jak moc náročný by bylo něco takovýho vytvořit - pravděpodobně hodně, takže by někdo musel mít touhu vytvořit něco novýho - a taky by musel mít spoustu času a zdrojů - vývoj by asi nějakou dobu trval. A pak by asi byly potřeba politický konexe, aby se to prosadilo v praxi  ;D ;D ;D

12
ale potom nerozumiem ako ziskas z 15 faktorov 500+ premennych ako si pisal vyssie


Možná není dobrý, že to nazývám slovem faktor - je to v podstatě objekt a ten má určitý vlastnosti. Každá z vlastností má určitý počet možných hodnot, některý třeba 12, jiný 144 nebo i víc. Takže celkově vzato ten objekt má nějakou sílu, která je daná určitým produktem těch hodnot. No a těch objektů mám 15 :D

13
jestli ma 500+ parametru tak si na tech rezech vykouka ocicka :-)

tolik parametru by mohly mit nejake obchodni transakce?

nebo muze hledat nejlepsi konformaci molekuly a 500 parametru jsou uhly mezi atomy v molekule a pocita nejjnizsi konformacni energii.

Haha, ne. Snažím se předpovídat výsledky sportovních zápasů podle určité mé metody, která je zřejmě na světě unikátní, ale otázka je, zda to celý vůbec funguje - klidně můžu dospět k tomu, že to nefunguje a že celej tenhle projekt byl jen ztráta času. (Každopádně maximum mé funkce vyjadřuje celkovou ziskovost tý mý metody - proto čím vyšší hodnota tý funkce, tím líp pro mě :)) Aktuálně sem na cca +0,98 % ziskovosti (proti průměru kurzů sázkovek) To je samozřejmě slabý. Na druhou stranu - sázkovky mají cca 3% marži a tu marži to teda asi o procento překonává, takže celkově ta moje metoda asi o 4% překonává práh pravděpodobnosti. (Další věc je, že mám v zásobě metody, který by měly bejt mnohem lepší než ta moje současná, uvidíme.)
.
simulovane zihani jen k jakekoliv optimalizacni metode pridava upraveny test na mensi nalezenou hodnotu, simulovane zihani v zavislosti na teplote jen umoznuje prijmout i vysledek, ktery ma vyssi hodnotu objektivni funkce a umoznuje tak vylezt na kopec z lokalniho minima.

Moc tomu nerozumím, ale jak to propojit s tím Powellem? Právěže mechanismus Powella neznám a nechce se mi studovat (mám za sebou jen středoškolskou matiku tak bych tomu asi stejně nerozuměl). Nicméně to vypadá, že Powell ty směrový vektory nevybírá náhodně, ale podle nějakýho danýho algoritmu - snadno se to dá ověřit tím, že když to opakovaně spustím se stejnejma parametrama, tak to vždycky dá úplně stejnej výsledek a stejný koeficienty. Takže bych nejspíš musel vzít zdroják Powella a to žíhání teda zapracovat do něj, aby to ty směrový vektory nevybíralo podle algoritmu Powella, ale podle toho žíhání ne? Tím bych teda vytvořil úplně novou metodu, jakýhosi žíhanýho Powella, haha. Každopádně toto určitě dělat nebudu :))

14
Já dělám optimalizace fyzikálních úloh, kde jsou parametry vždy omezeny, aby měl výsledek fyzikálně smysl. Jde to i ve tvé úloze?
Mají ty optimalizační parametry nějaký reálný základ, tedy obor hodnot, které mohou nabývat? Nebo jsou hodnoty zcela libovolné.

V podstatě mám nějakejch 15 základních faktorů, kdy každej má určitou základní "sílu", jenže každej z těch faktorů má několik vlastností, který ovlivňujou celkovou sílu toho faktoru - no a jednak nevím, jak velkou váhu/důležitost ty vlastnosti mají a pak hlavně mají x možných hodnot a každá z těch hodnot zase hraje jinou roli, pravděpodobně v tom není nějaká zákonitost nebo jí minimálně neznám. V podstatě je ale teda pravda, že mám základní faktory a zbytek jsou jen koeficienty, kdy se to může pohybovat v určitém rozmezí, třeba 0.0-1.0 - tak sem podle toho zkusil nastavit ty bounds a je pravda, že se to zrychlilo - jedna iterace teď netrvá kolem 90 sekund, ale kolem 60. Nevýhoda tohoto postupu ale je, že to resetovalo současnej stav a začalo optimalizovat od začátku :)) Tím sem jakoby zahodil cca tejden výpočtů.. :)) Takže to spíš spouštím paralelně a sem zvědavej za jak dlouho ten novej thread dohoní ten starej :))

15
 :P
prvni video o powellove metode a bylo to jasne. vzdycky je to problem nalezeni vhodneho startovaciho bodu a smerovych vektoru kam dal pokracovat, nikdy nevis ze jsi spadl jen do lokalniho minima.

vylezt z lokalniho minima muze pomoct metoda simulovaneho zihani, ale jistota na globalni minimum neexistuje.

zrychleni jedine snad paralelnim prohledavanim prostoru parametru, tj. paralelne to apoustet s ruznymi startovacimi body a vektory.

Tohle sem našel na netu. Asi bych to měl nějak zkombinovat s tou scipy.optimize.minimize? Netuším jak.  Chvíli sem si s tím hrál a zkoušel upravovat ty parametry - ale že by to dávalo nějaký zajímavý výsledky samo o sobě, to teda fakt vůbec  :D

Kód: [Vybrat]
def simAnneal(utility_func, initial_params, data, numSteps=100000,
  noise_magnitude=0.00001, cooling_rate=0.999):
 
optimal_params = initial_params
params = initial_params.copy()  # lists are mutable, so .copy()
best_utility = utility = utility_func(initial_params, data)
temperature = 1.0

for i in range(numSteps):
temperature *= cooling_rate
# consider using numpy/scipy for params and noise
new_params = [param+gauss(0, noise_magnitude)
  for param in params]
# explicitly passing multiple parameters
new_utility = utility_func(new_params, data)

if (new_utility > best_utility
or random.random()*temperature > new_utility / best_utility):
params, utility = new_params, new_utility
if new_utility > best_utility:
optimal_params, best_utility = params, utility
# print (best_utility)
return optimal_params

Stran: [1] 2 3 4