Příspěvky

1

Hardware / Re:Hardware pro provoz lokálního LLM

« kdy: 06. 12. 2025, 13:13:18 »

Pokud model používá MoE (Mixture of Experts), tak běží o dost rychleji než ten, který to nepoužívá. Je docela rychlý i když běží pouze pomocí CPU+RAM, ale je větší, takže to chce více paměti RAM nebo VRAM nebo oboje dohromady.

Jazykové modely se dají stáhnout ze stránek huggingface.co, můžete si tam vybrat různé verze.

2

Hardware / Re:Hardware pro provoz lokálního LLM

« kdy: 05. 12. 2025, 22:29:34 »

Já se bude také opakovat. Chtělo by to vědět alespoň přibližně, jak velký jazykový model chcete provozovat.

Do 16GB VRAM GPU se vejde jazykový model o velikost asi 12GB, podle kvantizace (4-8 bit) 20B-10B parametrů. Odpověď se bude vypisovat velmi rychle. Pokud část poběží v RAM, bude to dost pomalé. Záleží na přenosové rychlosti paměti RAM.
Můžete použít grafiku s větší VRAM nebo dvě grafiky. Je dobré se také podívat na elektrický příkon (jak výkonný zdroj vyžaduje) a na přenosovou rychlost VRAM, která napoví, jak rychle se bude tvořit odpověď.

Také záleží na softwaru, Llama.cpp je vhodná pro jednu grafiku nebo ve spojení s CPU. VLLM nebo SGlang dokáží lépe využít více grafických karet.

3

Hardware / Re:Jaký stroj na inferenci AI?

« kdy: 19. 11. 2025, 21:48:50 »

Dejte si pozor na velikost karty, aby se vešla do skříně a zkontrolujte si, jestli máte dostatečně výkonný napájecí zdroj.

4

Hardware / Re:Jaký stroj na inferenci AI?

« kdy: 19. 11. 2025, 21:07:59 »

a6b:
Do 16GB VRAM se vejde jazykový model o velikost asi 12GB, podle kvantizace (4-8 bit) 20B-10B parametrů. Odpověď se bude vypisovat velmi rychle. Pokud část poběží v RAM, bude to dost pomalé. Záleží na přenosové rychlosti paměti.

tak tech 70k uz se blizi 100k za dgx spark, jdu hledat jak jsou vykonove porovnatelne.

Podle různých testů jsou srovnatelně výkonné.

Koukněte sem:
https://www.youtube.com/watch?v=Pww8rIzr1pg


Tady ten člověk testuje spoustu věcí, můžete se inspirovat:
https://www.youtube.com/@DigitalSpaceport/videos

5

Hardware / Re:jaky stroj na inferenci ai?

« kdy: 18. 11. 2025, 22:37:02 »

Záleží, jak velký jazykový model chcete provozovat. Sice s tím nějaké zkušenosti mám, ale nechám si také poradit.

6

Vývoj / Re:AI Inference - Qwen 30b Coder - drobné chybky

« kdy: 24. 10. 2025, 19:23:26 »

Můžete zkusit 6-bitovou verzi, ta by se mohla vyrovnat 8-bitové. Můžete zkusit jiný jazykový model, možná bude u vašich úloh dělat méně chyb. Každopádně si myslím, že ať budete používat jakýkoliv model a bude jakkoliv velký, tak bude dělat chyby a je nutné výsledek vždy zkontrolovat. Pokud současné lokální modely nevyhovují a nestačí na vaše potřeby, tak asi nezbývá než používat online služby do doby, kdy na svém domácím zařízení spustíte něco lepšího.

7

Vývoj / Re:AI Inference - Qwen 30b Coder - drobné chybky

« kdy: 23. 10. 2025, 18:37:08 »

Z vlastní zkušenosti vím, že 4-bitová verze LLM dělá o něco více chyb než 8-bitová verze LLM. Myslím si, že také záleží na konkrétní úloze. Dají se o tom najít články. Větší jazykové modely dělají také méně chyb než menší. Nicméně je vždy nutné výsledek zkontrolovat.

8

Sítě / Re:T-Mobile Fiber 2 Gbps a vlastní zařízení

« kdy: 04. 10. 2025, 15:07:32 »

Podle tohoto návodu to má 2,5Gb LAN port.
https://www.t-mobile.cz/dcpublic/Sagemcom_5670_cz_manual.pdf

Možná existuje více verzí., jedna má LAN, druhá má WAN. Je možné, že ten ONT převodník lze nastavit pouze na LAN1 (1Gb) a na ten 2,5Gb to nelze nastavit a také může záležet na FW. Tohle by měl vědět T-Mobile, když to nabízí.
Ten Huawei HG8010N-10 nabízí už minimálně dva roky většina poskytovatelů, takže jestli ho začne nabízet také tato firma, tak to bude dobře.

9

Sítě / Re:T-Mobile Fiber 2 Gbps a vlastní zařízení

« kdy: 04. 10. 2025, 13:36:14 »

T-mobile tomu říká modem. Je to multifunkční zařízení, které má v sobě ONT převodník, router a WiFi AP. Na požádání ho přepnou do bridge módu a využije se pouze ten ONT převodník. Ten Sagemcom nabízí pro 2000Mb/s tarif a má 2,5Gb/s LAN port.
Neznám nikoho, kdo má tento tarif, ale znám lidi, kteří mají tarif 1000Mb/s a mají ten Sagemcom 5670 přepnutý do bridge módu a vlastní router.

10

Sítě / Re:Optika od Cetinu - jen pro O2?

« kdy: 28. 09. 2025, 12:06:42 »

.

11

Sítě / Re:Optika od Cetinu - jen pro O2?

« kdy: 28. 09. 2025, 12:05:27 »

Aha, z té věty nebylo jasné, kdo ten switch hledal. Asi máte smůlu na technika. U souseda byl technik, který mu zapojoval optiku. Chvíli jsem si s ním povídal a měl docela přehled.
Sice CETIN není přímo pro koncové zákazníky, ale jejich sítě využívá více poskytovatelů. Jestli tam máte od nich optiku, se můžete dozvědět přes stránky CETINu, ale je možné že tam vaše místo nenajdete. Můžete také zkusit vyhledat vaši adresu přes stránky poskytovatele, který využívá jejich sítě, ale myslím si, že to stejně bude brát informace CETINu.
Například zde:
https://www.giganet.cz/pripojeni-v-cele-cr-po-kabelu.html

12

Sítě / Re:Optika od Cetinu - jen pro O2?

« kdy: 27. 09. 2025, 14:06:50 »

Tomáš Crhonek:
Záleží komu ta optika patří. Co vám řekli z O2? Zkoušel jste svou adresu hledat přes Cetin?
Proč jste pokaždé hledal switch na Cat5e kabel?

13

Software / Re:Lokální LLM AI moduly

« kdy: 06. 09. 2025, 21:14:26 »

Vyzkoušel jsem ještě OLMo-2-1124-7B-Instruct-Q6_K_L a OLMo-2-1124-13B-instruct-Q5_K_M, obě verze fungují hned od prvního dotazu jako ostatní LLM, takže jsem se přestal tou předchozí verzí modelu OLMo-2-1124-13B zabývat a smazal jsem ji.

14

Software / Re:Lokální LLM AI moduly

« kdy: 04. 09. 2025, 18:35:05 »

Zatím provozuji Ministral-8B a EuroLLM-9B a oba fungují dobře, jeden je chytrý druhý umí česky.
Zkouším OLMo-2-1124-13B-Instruct-Q6_K_L, ale chová se při prvním dotazu divně. Většinou buď neodpoví vůbec a objeví se prázdný řádek nebo začne vypisovat nahodilý text, většinou otázky. Zkoušel jsem různá nastavení, ale zdá se, že to nemá vliv na chování. Většinou pomůže jako první dotaz dát „Hello“ a jakmile odpoví, tak je možné se už dotazovat nebo zadávat úkoly. Pokud to spustím s parametry -p „dotaz“ -no-cnv, tak to většinou nic nevypíše a ukončí se. S parametrem -sys „Hello“ to občas funguje, občas nefunguje. Zkoušel jsem za -sys dát různé texty, ale vliv to nemá. Dělá to pouze tento model. Zkoušel jsem ještě menší verzi OLMo-2-0425-1B-Instruct a ta funguje bez problémů. Vše běží přes llama.cpp.
Setkal jste se už někdo s něčím takovým?

15

Studium a uplatnění / Re:Jak na angličtinu?

« kdy: 30. 08. 2025, 12:54:55 »

Mluvené slovo vysílají tato rádia:
BBC World Service - vysílá přes satelit a Internet neomezeně, večer a v noci je součástí vysílání českého rádia Prostor (DAB+, VKV FM, Internet).
BBC Radio 4 - vysílá přes Internet většinou neomezeně

Na stránce www.bbc.com/audio je nejen živé vysílání, ale také archív, mnoho pořadů se dá stáhnou jako mp3. Také je tam seznam pořadů, které se vysílají.
Pokud jste ještě nenašel způsob jak se naučit základy angličtiny, tak bych vám doporučil začít číst zjednodušené texty nebo knihy, které se dají se koupit a k tomu ten přehled gramatiky a ten slovník, o kterém jsem se už předtím zmiňoval. Pokud nemáte alespoň základní znalosti angličtiny, tak pouze poslouchání vám nemusí pomoct.