Už se vás AI někdy na něco zeptala?

Mlocik97

  • *****
  • 901
  • Ubunťák, JS dev.
    • Zobrazit profil
    • E-mail
Re:Už se vás AI někdy na něco zeptala?
« Odpověď #15 kdy: 22. 11. 2024, 21:02:01 »
Tak teraz mi Gemini na otázku k výberu monitora odpovedal:

"Memory.Memory(creation_date=None, text='I bought a new shirt.')"

????


Zopper

  • *****
  • 811
    • Zobrazit profil
Re:Už se vás AI někdy na něco zeptala?
« Odpověď #16 kdy: 23. 11. 2024, 08:01:23 »
Inak osobne "AI" alebo presnejšie LLM považujem za nepoužiteľné. Z 1000 otázok to 500 odpovie totálny nezmysel, 498 otázok je aspoň k téme ale odpovie to nepresne, a 2 otázky to zvládne odpovedať správne a presne.

Ono strašně záleží jaký model, jaký má system prompt, a na co a jak přesně ho používáš. Změň model, zeptej se jiným způsobem, a budeš mít úplně jinou zkušenost. A taky je vhodné mít v mindsetu, že to "i" v AI není "intelligence" ale "intuition". A brát to jako odpověď někoho, kdo má načteno a pamatuje si spoustu věcí, ale odpovídá takovým tím duchem nepřítomným způsobem:
"... neposloucháš a koš taky nikdy nevyneseš!"
"To máš naprostou pravdu, miláčku."
<Uražené ticho, které zamyšlence probere z kómatu a začne si zpětně přehrávat posledních pět minut hovoru.>

Nemá to žádný koncept fyzických věcí, akcí, prostoru. Zná to jen a pouze slova. Takže chtít po tom něco mimo striktně textové úkoly je asi jako chtít po někom od narození nevidomém, aby ti pomohl s barvama. Jo, bude znát teoreticky, že existuje něco jako komplementarita barev. A asi dokáže i z paměti říct, že tyhle barvy se k sobě obvykle nehodí a tyhle ano. Ale pro toho nevidomého to je pořád zcela prázdný koncept. Jen to někdy dokáže dobře maskovat.

LLM jsou v obecné rovině skvělé na manipulaci textu: vezmi tenhle krátký naštvaný rant a udělej z něj slušný dopis na SVJ se správnou gramatikou. Jestli udělala práci dobře, nebo ne, nejspíš poznáš rychlým přečtením.

Relativně dobře (hlavně ty silnější modely ChatGPT přímo na OpenAI) taky zvládají řešit malé běžné programovací a podobné problémy, protože to je v princpu taky založené na manipulaci textu (běžné = spousta tréningového materiálu na stack overflow, v manuálech, atd), kde se dá relativně snadno a rychle zjistit, zda je odpověď správná (funguje/nefunguje, poradil správnou konfigurační volbu nebo ne), takže jsou fajn pomocník pokud zabloudíš mimo svůj hlavní obor. Třeba backend lopata, která chce spíchnout nějaký Javascript. A i ve tvém hlavním oboru to může být šikovná "gumová kachnička," když žádný kolega, co se v tom vyzná, není zrovna poblíž a ta ai reálně problém nevyřeší, ale v diskuzi s ní si to vyřešíš sám.

Ale chtěj po tom něco, co vyžaduje elementární chápání fyzického světa, nebo problém, se kterým se moc nesetkáš v diskuzích, a začne selhávat.

Nicméně i ta selhávající AI, která je aspoň typicky slušná, dokud neuděláš prompt-hacking, je asi lepší, než otrávený a uražený first-level zákaznický support, co zákazníka pošle v podstatě do zadele, nebo se ani neobtěžuje odpovědět na stížnost ohledně UX eshopu, a ten chat zavře bez odpovědi. Rejp rejp do Smarty a do Alzy, v pořadí. A pak se tihle lidé diví, že je firmy nahrazují chatboty.  ::)

Re:Už se vás AI někdy na něco zeptala?
« Odpověď #17 kdy: 23. 11. 2024, 09:44:22 »
AI - hlavně Claude umí odpovídat celkem dobře. Ale extrémně záleží na formulaci a obsáhlosti dotazu.

Re:Už se vás AI někdy na něco zeptala?
« Odpověď #18 kdy: 23. 11. 2024, 09:55:00 »
Tak teraz mi Gemini na otázku k výberu monitora odpovedal:

"Memory.Memory(creation_date=None, text='I bought a new shirt.')"

????

Za mě poměrně dobrá vtipná odpověď :-) Trochu absurdní a trochu programátorská.
To vypadá jako explicitní volání konstruktoru od objektu "class Memory".
Jako že "vycucejme si z prstu random vzpomínku ze života".

Nenavazuje to na nedávný kontext? Nezkoušel jste AI testovat nějakým programátorským zadáním?

Mne práve Gemini odpovedala že by som mal ponoriť vysávač (pod prúdom) do vody. Skutočne... ale jednoducho som to odignoroval a nechal vygenerovať novú odpoveď. Btw. otázka bola úplne o niečom inom, a s vysávačom to nemalo nič spoločné.

Tak tohle už je insult comedy :-D

Že vy jste chudáka LLM trápil pitomostma, záludnostma, dotazy na zakázaná témata apod? To člověk vážně dumá, jestli je ta věc tak chytrá, nebo jestli naproti sedí otrávený člověk (crowdsourced babosed).

Nebo možná se jedná o potají nasazenou testovací verzi, kde se model průběžně učí z probíhajících konverzací. Garbage in, garbage out.

Nicméně i ta selhávající AI, která je aspoň typicky slušná, dokud neuděláš prompt-hacking, je asi lepší, než otrávený a uražený first-level zákaznický support, co zákazníka pošle v podstatě do zadele

Část mé práce je zákaznický support. Musím sebekriticky uznat: touché pane kolego :-D Rozvádět to nebudu, už takhle jsem se odkopal až dost.

Re:Už se vás AI někdy na něco zeptala?
« Odpověď #19 kdy: 23. 11. 2024, 18:14:03 »
Taky už se mi stalo, že GPTChat začal halucinovat - vypadalo to, jako když ke mně probublává kontext nějakého jiného uživatele - text byl smysluplný, ale naprosto nesouvisející s aktuálně probíraným tématem.