Lokální LLM AI moduly

[Lukáš Hejtmánek]

Ja jsem o nasi zkusenosti s LLM napsal blog https://blog.e-infra.cz/blog/run-llm/. Pro jakesi info o cestine lze pouzit na huggingface leaderboard: https://huggingface.co/blog/benczechmark

[Reklama]

[nonius]

Velice vám děkuji. Ten článek jsem si přečetl a těším se na pokračování. Ty tabulky mně pomohly, ještě se musím rozhodnout, které modely stáhnout a vyzkoušet je.

[Tomáš Rollo]

Ja jsem o nasi zkusenosti s LLM napsal blog https://blog.e-infra.cz/blog/run-llm/. Pro jakesi info o cestine lze pouzit na huggingface leaderboard: https://huggingface.co/blog/benczechmark

Skvely clanek (btw i stylisticky)!

Trochu me to utvrdilo v tom ze pro experimentovani s ruznymi (hlavne velkymi) modely je asi lepsi pouzivat je z cloudu bud rovnou jako API nebo je jet na pronajatem cloud HW - a platit ciste jen za use.

V domacich podminkach se mozna "uzivi" vic male modely site na miru konkretnim use cases, ktere tim padem nezaberou tunu mista (disk, RAM/VRAM) a daji se rychleji stridat.

Ja napr. hodne pouzivam VoiceLink pro diktovani s lokalnim Parakeet modelem, nejsem tak zavisly na latenci site (u diktovani muze byt otravna), mam lepsi pocit "privatnosti" ( ) a pritom mi to nezere 100% RAM.

Naopak v terminalu pouzivam https://github.com/simonw/llm vzdycky kdyz si nemuzu vzpomenout na ten spravny prikaz (jo, nikdy jsem se poradne nenaucil sed, awk atd) a ten mam napojeny na OpenAI GPT5-nano pres jejich API. Spotrebovava to tak malo tokenu (jedna otazka/odpoved zlomky haliru, nepotrebuje to velky context) ze se to vyplati nejet lokalne.

[nonius]

Zatím provozuji Ministral-8B a EuroLLM-9B a oba fungují dobře, jeden je chytrý druhý umí česky.
Zkouším OLMo-2-1124-13B-Instruct-Q6_K_L, ale chová se při prvním dotazu divně. Většinou buď neodpoví vůbec a objeví se prázdný řádek nebo začne vypisovat nahodilý text, většinou otázky. Zkoušel jsem různá nastavení, ale zdá se, že to nemá vliv na chování. Většinou pomůže jako první dotaz dát „Hello“ a jakmile odpoví, tak je možné se už dotazovat nebo zadávat úkoly. Pokud to spustím s parametry -p „dotaz“ -no-cnv, tak to většinou nic nevypíše a ukončí se. S parametrem -sys „Hello“ to občas funguje, občas nefunguje. Zkoušel jsem za -sys dát různé texty, ale vliv to nemá. Dělá to pouze tento model. Zkoušel jsem ještě menší verzi OLMo-2-0425-1B-Instruct a ta funguje bez problémů. Vše běží přes llama.cpp.
Setkal jste se už někdo s něčím takovým?

[a6b]

me docela zaujal clanek o cloveku, ktery vytrenoval llm model pouze literaturou do roku 1800
a ziskal nove poznatky, ktere historici nakonec potvrdili.

lze vubec trenovat model v cloudu od zacatku vlastnimi zdroji, aniz by byl model uz predtrenovany na beznem vzorku dat?
ja bych skoro cekal, ze na cloudu jsou uz predtrenovane modely, aby to bylo levnejsi.

takze mozna v techto specialnich pripadech je asi lepsi rozjet si domaci llm.

[Reklama]