Benchmark na měření svéprávnosti ChatGPT?

[Ivo2003]

Chat GPT3.5 už je dnes obsolete.
Pro lepší výsledky doporučuji Claude-instant.

[Reklama]

[Ink]

Chat GPT3.5 už je dnes obsolete.
Pro lepší výsledky doporučuji Claude-instant.

Zkouším, vypadá poměrně v pohodě (nemá zásadní levicový bias a snaží se o nestrannost). A rychlé programovací dotazy zodpověděl taky moc hezky!

[Jose D]

nic takoveho na me strane.
Co je zajime, ze uz odpovida jinak nez o par hodin driv. Ted se vyhyba odpovedi.

jj, v podstatě ty různé odpovědi napříč tazateli a časem jsou důvodem, proč mě to téma zaujalo..

já se toho ptám přes API v sandboxu pro chat API, ne přes tu jejich hlavní stránku. Screenshot přikládám..

Potvrzuju že ta web chatgpt s 3.5. (nemám subscription) to odpovědět neumí. Zajímavé.

[pruzkumbojem]

OK, to je jeste divnejsi. Ale proto jsem tohle vlakno otevrel.

Ja si puvodne myslel, ze tam bude nejaky rate limiter a neplatici si ve spickach proste pockaji.

Ale tohle vypada, ze nejak dynamicky omezuji velikost toho, co si natrenoval.(nikoli trenovacich dat, prolozte si to do terminologie neuralnich siti).Doslova orezavaji tu pseudointeligenci.

[pruzkumbojem]

BTW, jsem se ve skutecnosti ptal na neco takoveho:
https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard

trochu legracni, ze s porovnavanim uspesnosti odpovedi jim pomaha GPT-4

ma to potom smysl?
tim nemyslim,ze uz GPT si uvedomuje sam sebe a fixluje. To uz zaridi autori.

[Reklama]

[Jose D]

...

používám gpt jako asistenta k psaní Ansible, a tu a tam zkouším, jestli už chatGPT u modulu "ansible.builtin.set_fact"  ví, že v případě použití více proměnných najednou se přiřazení hodnot děje najednou, a ne sekvenčně (jak by tomu snad bylo v jakémkoliv jiném normálním jazyce..)

Tenhle konkrétní případ není v Ansible dokumentaci zmíněný, je to spíše fakt, který vyplývá z obecných principů tohodle jazyka.., a všechny verze GPT to zatím neberou na vědomí, a klidně mi několik set_fact za sebou zminimalizují do jednoho..
 
Takže až tohle bude GPT "vědět", tak budu mít radost - to je teď můj interní benchmark