Dokumentaci jsem zkoumal, ptal se OpenAI a už to s ním řeším podruhé ale prostě to stále nechápu. Snad poradí člověk. Jde mi o to, že se snažím rozjet aplikaci, kterou mi napsal, abych mohl přes soubor odeslat delší požadavek jako rekapitulace studie co má 200 stránek A5 a ve výsledku je z toho asi 30 zpráv od ChatGPT. Tyhle data přepracuji do článku kde slučuji tři zprávy, ale článek je dlouhý. A budu po něm chtít, aby mi to rekapitulovat. Normálně bych to posílal třeba 10-15 zpráv přes ChatGPT. Ale je možné takto dlouhou věc zdarma poslat přes api, které jsem si s jeho pomocí napsal pro perl? Mám tedy takovýto jednoduchý požadavek.
{
"model": "text-davinci-002",
"prompt": "Once upon a time",
"temperature": 0.5,
"max_tokens": 50
}Prompt budu muset ve skutečnosti načíst ze souboru jako
my $request_prompt = read_file($request_prompt);
my $escaped_prompt = encode_json($request_prompt);
Ale háček je v délce zprávy.
Tabulka obsahuje
| Model | TPM Limit (Tokens per Minute) | RPM Limit (Requests per Minute) |
| davinci | 250,000 | 60 |
| curie | 25 | 60 |
| babbage | 100 | 20 |
| ada | 200 | 20 |
Dotaz na ChatGPT zněl:
Na kolik tokenů mám tedy nastavit max limit v tomto příkladu ZDARMA? (následoval výše uvedený kód toho json objektu)
Na dotaz: "Spočítejte jak dlouho by trvalo vygenerování odpovědi na předchozí dotaz."
ChatGPT mi napsal:
"1 token za minutu * 50 tokenů = 50 minut"
Mám toto brát vážně nebo to prostě jen nechápe? Netuším jak dlouhý je ten článek, ale zdá se, že počet odeslaných tokenů a počet přijatých tokenů se sčítají. Jako mě by asi nevadilo čekat na to třeba 20 minut. Proč ne. Ale jinak to nemá smysl, mohu mu to zadat ručně.
10 Odpovědí
2974 Zhlédnutí