Zobrazit příspěvky
1
Vývoj / Re:Nechápu limity a raty u OpenAI
« kdy: 18. 06. 2023, 19:19:39 »
Ano přesně tak limity počtu tokenů jsou na https://platform.openai.com/docs/models/overview. Vždy záleží na konkrétním použití. Pokud třeba chceš hledat pomocí openAI API v dokumentu, tak lze použít různé technicky dlouhodobé paměti. Na to slouží tzn. vektorové databáze.
Funguje to tak, že text dokumentu pošleš na embbeding model, ten ti vrátí velký matrix čísel - to je číselná reprezentace textu. Ten se uloží do vektorové databáze. Následně to funguje tak, že před dotazem na openAI API se nejprve provede hledání ve vektorové databázi a výsledek z tohoto hledání se pošle jako součast requestu. Tedy neposílá se celý dokument ale jen relevantní časti textu.
Tuto problematiku řeší třeba langchanin pro python a javascript což je framework, kde je většina těchto problémů již vyřešena: https://github.com/hwchase17/langchain
Pokud pak je třeba hledat v opravdu velkým množství dat, tak pak je asi potřeba použít fine tunning, tzn. doučení daného modelu. Ale to už je mnohem dražší.
Funguje to tak, že text dokumentu pošleš na embbeding model, ten ti vrátí velký matrix čísel - to je číselná reprezentace textu. Ten se uloží do vektorové databáze. Následně to funguje tak, že před dotazem na openAI API se nejprve provede hledání ve vektorové databázi a výsledek z tohoto hledání se pošle jako součast requestu. Tedy neposílá se celý dokument ale jen relevantní časti textu.
Tuto problematiku řeší třeba langchanin pro python a javascript což je framework, kde je většina těchto problémů již vyřešena: https://github.com/hwchase17/langchain
Pokud pak je třeba hledat v opravdu velkým množství dat, tak pak je asi potřeba použít fine tunning, tzn. doučení daného modelu. Ale to už je mnohem dražší.
