Benchmark na měření svéprávnosti ChatGPT?

Re:Benchmark na měření svéprávnosti ChatGPT?
« Odpověď #30 kdy: 05. 12. 2023, 09:33:56 »
Chat GPT3.5 už je dnes obsolete.
Pro lepší výsledky doporučuji Claude-instant.


Ink

  • *****
  • 668
    • Zobrazit profil
    • E-mail
Re:Benchmark na měření svéprávnosti ChatGPT?
« Odpověď #31 kdy: 05. 12. 2023, 10:38:04 »
Chat GPT3.5 už je dnes obsolete.
Pro lepší výsledky doporučuji Claude-instant.

Zkouším, vypadá poměrně v pohodě (nemá zásadní levicový bias a snaží se o nestrannost). A rychlé programovací dotazy zodpověděl taky moc hezky!

Jose D

  • *****
  • 890
    • Zobrazit profil
Re:Benchmark na měření svéprávnosti ChatGPT?
« Odpověď #32 kdy: 05. 12. 2023, 13:01:06 »
nic takoveho na me strane.
Co je zajime, ze uz odpovida jinak nez o par hodin driv. Ted se vyhyba odpovedi.

jj, v podstatě ty různé odpovědi napříč tazateli a časem jsou důvodem, proč mě to téma zaujalo..

já se toho ptám přes API v sandboxu pro chat API, ne přes tu jejich hlavní stránku. Screenshot přikládám..

Potvrzuju že ta web chatgpt s 3.5. (nemám subscription) to odpovědět neumí. Zajímavé.

Re:Benchmark na měření svéprávnosti ChatGPT?
« Odpověď #33 kdy: 05. 12. 2023, 13:09:44 »
OK, to je jeste divnejsi. Ale proto jsem tohle vlakno otevrel.

Ja si puvodne myslel, ze tam bude nejaky rate limiter a neplatici si ve spickach proste pockaji.

Ale tohle vypada, ze nejak dynamicky omezuji velikost toho, co si natrenoval.(nikoli trenovacich dat, prolozte si to do terminologie neuralnich siti).Doslova orezavaji tu pseudointeligenci.

« Poslední změna: 05. 12. 2023, 13:17:08 od pruzkumbojem »

Re:Benchmark na měření svéprávnosti ChatGPT?
« Odpověď #34 kdy: 18. 12. 2023, 11:00:09 »
BTW, jsem se ve skutecnosti ptal na neco takoveho:
https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard

trochu legracni, ze s porovnavanim uspesnosti odpovedi jim pomaha GPT-4

ma to potom smysl?
tim nemyslim,ze uz GPT si uvedomuje sam sebe a fixluje. To uz zaridi autori.


Jose D

  • *****
  • 890
    • Zobrazit profil
Re:Benchmark na měření svéprávnosti ChatGPT?
« Odpověď #35 kdy: 18. 12. 2023, 11:52:15 »
...

používám gpt jako asistenta k psaní Ansible, a tu a tam zkouším, jestli už chatGPT u modulu "ansible.builtin.set_fact, že v případě použití více proměnných najednou se přiřazení hodnot děje najednou, a ne sekvenčně (jak by tomu snad bylo v jakémkoliv jiném normálním jazyce..)

Tenhle konkrétní případ není v Ansible dokumentaci zmíněný, je to spíše fakt, který vyplývá z obecných principů tohodle jazyka.., a všechny verze GPT to zatím neberou na vědomí, a klidně mi několik set_fact za sebou zminimalizují do jednoho..
 
Takže až tohle bude GPT "vědět", tak budu mít radost - to je teď můj interní benchmark :)