1
Hardware / Re:Jaký stroj na inferenci AI?
« kdy: 19. 11. 2025, 21:48:50 »
Dejte si pozor na velikost karty, aby se vešla do skříně a zkontrolujte si, jestli máte dostatečně výkonný napájecí zdroj.
Zobrazit příspěvky
Tato sekce Vám umožňuje zobrazit všechny příspěvky tohoto uživatele. Prosím uvědomte si, že můžete vidět příspěvky pouze z oblastí Vám přístupných.
2
Hardware / Re:Jaký stroj na inferenci AI?
« kdy: 19. 11. 2025, 21:07:59 »
a6b:
Do 16GB VRAM se vejde jazykový model o velikost asi 12GB, podle kvantizace (4-8 bit) 20B-10B parametrů. Odpověď se bude vypisovat velmi rychle. Pokud část poběží v RAM, bude to dost pomalé. Záleží na přenosové rychlosti paměti.
Podle různých testů jsou srovnatelně výkonné.
Koukněte sem:
https://www.youtube.com/watch?v=Pww8rIzr1pg
Tady ten člověk testuje spoustu věcí, můžete se inspirovat:
https://www.youtube.com/@DigitalSpaceport/videos
Do 16GB VRAM se vejde jazykový model o velikost asi 12GB, podle kvantizace (4-8 bit) 20B-10B parametrů. Odpověď se bude vypisovat velmi rychle. Pokud část poběží v RAM, bude to dost pomalé. Záleží na přenosové rychlosti paměti.
tak tech 70k uz se blizi 100k za dgx spark, jdu hledat jak jsou vykonove porovnatelne.
Podle různých testů jsou srovnatelně výkonné.
Koukněte sem:
https://www.youtube.com/watch?v=Pww8rIzr1pg
Tady ten člověk testuje spoustu věcí, můžete se inspirovat:
https://www.youtube.com/@DigitalSpaceport/videos
3
Hardware / Re:jaky stroj na inferenci ai?
« kdy: 18. 11. 2025, 22:37:02 »
Záleží, jak velký jazykový model chcete provozovat. Sice s tím nějaké zkušenosti mám, ale nechám si také poradit.
4
Vývoj / Re:AI Inference - Qwen 30b Coder - drobné chybky
« kdy: 24. 10. 2025, 19:23:26 »
Můžete zkusit 6-bitovou verzi, ta by se mohla vyrovnat 8-bitové. Můžete zkusit jiný jazykový model, možná bude u vašich úloh dělat méně chyb. Každopádně si myslím, že ať budete používat jakýkoliv model a bude jakkoliv velký, tak bude dělat chyby a je nutné výsledek vždy zkontrolovat. Pokud současné lokální modely nevyhovují a nestačí na vaše potřeby, tak asi nezbývá než používat online služby do doby, kdy na svém domácím zařízení spustíte něco lepšího.
5
Vývoj / Re:AI Inference - Qwen 30b Coder - drobné chybky
« kdy: 23. 10. 2025, 18:37:08 »
Z vlastní zkušenosti vím, že 4-bitová verze LLM dělá o něco více chyb než 8-bitová verze LLM. Myslím si, že také záleží na konkrétní úloze. Dají se o tom najít články. Větší jazykové modely dělají také méně chyb než menší. Nicméně je vždy nutné výsledek zkontrolovat.
6
Sítě / Re:T-Mobile Fiber 2 Gbps a vlastní zařízení
« kdy: 04. 10. 2025, 15:07:32 »
Podle tohoto návodu to má 2,5Gb LAN port.
https://www.t-mobile.cz/dcpublic/Sagemcom_5670_cz_manual.pdf
Možná existuje více verzí., jedna má LAN, druhá má WAN. Je možné, že ten ONT převodník lze nastavit pouze na LAN1 (1Gb) a na ten 2,5Gb to nelze nastavit a také může záležet na FW. Tohle by měl vědět T-Mobile, když to nabízí.
Ten Huawei HG8010N-10 nabízí už minimálně dva roky většina poskytovatelů, takže jestli ho začne nabízet také tato firma, tak to bude dobře.
https://www.t-mobile.cz/dcpublic/Sagemcom_5670_cz_manual.pdf
Možná existuje více verzí., jedna má LAN, druhá má WAN. Je možné, že ten ONT převodník lze nastavit pouze na LAN1 (1Gb) a na ten 2,5Gb to nelze nastavit a také může záležet na FW. Tohle by měl vědět T-Mobile, když to nabízí.
Ten Huawei HG8010N-10 nabízí už minimálně dva roky většina poskytovatelů, takže jestli ho začne nabízet také tato firma, tak to bude dobře.
7
Sítě / Re:T-Mobile Fiber 2 Gbps a vlastní zařízení
« kdy: 04. 10. 2025, 13:36:14 »
T-mobile tomu říká modem. Je to multifunkční zařízení, které má v sobě ONT převodník, router a WiFi AP. Na požádání ho přepnou do bridge módu a využije se pouze ten ONT převodník. Ten Sagemcom nabízí pro 2000Mb/s tarif a má 2,5Gb/s LAN port.
Neznám nikoho, kdo má tento tarif, ale znám lidi, kteří mají tarif 1000Mb/s a mají ten Sagemcom 5670 přepnutý do bridge módu a vlastní router.
Neznám nikoho, kdo má tento tarif, ale znám lidi, kteří mají tarif 1000Mb/s a mají ten Sagemcom 5670 přepnutý do bridge módu a vlastní router.
9
Sítě / Re:Optika od Cetinu - jen pro O2?
« kdy: 28. 09. 2025, 12:05:27 »
Aha, z té věty nebylo jasné, kdo ten switch hledal. Asi máte smůlu na technika. U souseda byl technik, který mu zapojoval optiku. Chvíli jsem si s ním povídal a měl docela přehled.
Sice CETIN není přímo pro koncové zákazníky, ale jejich sítě využívá více poskytovatelů. Jestli tam máte od nich optiku, se můžete dozvědět přes stránky CETINu, ale je možné že tam vaše místo nenajdete. Můžete také zkusit vyhledat vaši adresu přes stránky poskytovatele, který využívá jejich sítě, ale myslím si, že to stejně bude brát informace CETINu.
Například zde:
https://www.giganet.cz/pripojeni-v-cele-cr-po-kabelu.html
Sice CETIN není přímo pro koncové zákazníky, ale jejich sítě využívá více poskytovatelů. Jestli tam máte od nich optiku, se můžete dozvědět přes stránky CETINu, ale je možné že tam vaše místo nenajdete. Můžete také zkusit vyhledat vaši adresu přes stránky poskytovatele, který využívá jejich sítě, ale myslím si, že to stejně bude brát informace CETINu.
Například zde:
https://www.giganet.cz/pripojeni-v-cele-cr-po-kabelu.html
10
Sítě / Re:Optika od Cetinu - jen pro O2?
« kdy: 27. 09. 2025, 14:06:50 »
Tomáš Crhonek:
Záleží komu ta optika patří. Co vám řekli z O2? Zkoušel jste svou adresu hledat přes Cetin?
Proč jste pokaždé hledal switch na Cat5e kabel?
Záleží komu ta optika patří. Co vám řekli z O2? Zkoušel jste svou adresu hledat přes Cetin?
Proč jste pokaždé hledal switch na Cat5e kabel?
11
Software / Re:Lokální LLM AI moduly
« kdy: 06. 09. 2025, 21:14:26 »
Vyzkoušel jsem ještě OLMo-2-1124-7B-Instruct-Q6_K_L a OLMo-2-1124-13B-instruct-Q5_K_M, obě verze fungují hned od prvního dotazu jako ostatní LLM, takže jsem se přestal tou předchozí verzí modelu OLMo-2-1124-13B zabývat a smazal jsem ji.
12
Software / Re:Lokální LLM AI moduly
« kdy: 04. 09. 2025, 18:35:05 »
Zatím provozuji Ministral-8B a EuroLLM-9B a oba fungují dobře, jeden je chytrý druhý umí česky.
Zkouším OLMo-2-1124-13B-Instruct-Q6_K_L, ale chová se při prvním dotazu divně. Většinou buď neodpoví vůbec a objeví se prázdný řádek nebo začne vypisovat nahodilý text, většinou otázky. Zkoušel jsem různá nastavení, ale zdá se, že to nemá vliv na chování. Většinou pomůže jako první dotaz dát „Hello“ a jakmile odpoví, tak je možné se už dotazovat nebo zadávat úkoly. Pokud to spustím s parametry -p „dotaz“ -no-cnv, tak to většinou nic nevypíše a ukončí se. S parametrem -sys „Hello“ to občas funguje, občas nefunguje. Zkoušel jsem za -sys dát různé texty, ale vliv to nemá. Dělá to pouze tento model. Zkoušel jsem ještě menší verzi OLMo-2-0425-1B-Instruct a ta funguje bez problémů. Vše běží přes llama.cpp.
Setkal jste se už někdo s něčím takovým?
Zkouším OLMo-2-1124-13B-Instruct-Q6_K_L, ale chová se při prvním dotazu divně. Většinou buď neodpoví vůbec a objeví se prázdný řádek nebo začne vypisovat nahodilý text, většinou otázky. Zkoušel jsem různá nastavení, ale zdá se, že to nemá vliv na chování. Většinou pomůže jako první dotaz dát „Hello“ a jakmile odpoví, tak je možné se už dotazovat nebo zadávat úkoly. Pokud to spustím s parametry -p „dotaz“ -no-cnv, tak to většinou nic nevypíše a ukončí se. S parametrem -sys „Hello“ to občas funguje, občas nefunguje. Zkoušel jsem za -sys dát různé texty, ale vliv to nemá. Dělá to pouze tento model. Zkoušel jsem ještě menší verzi OLMo-2-0425-1B-Instruct a ta funguje bez problémů. Vše běží přes llama.cpp.
Setkal jste se už někdo s něčím takovým?
13
Studium a uplatnění / Re:Jak na angličtinu?
« kdy: 30. 08. 2025, 12:54:55 »
Mluvené slovo vysílají tato rádia:
BBC World Service - vysílá přes satelit a Internet neomezeně, večer a v noci je součástí vysílání českého rádia Prostor (DAB+, VKV FM, Internet).
BBC Radio 4 - vysílá přes Internet většinou neomezeně
Na stránce www.bbc.com/audio je nejen živé vysílání, ale také archív, mnoho pořadů se dá stáhnou jako mp3. Také je tam seznam pořadů, které se vysílají.
Pokud jste ještě nenašel způsob jak se naučit základy angličtiny, tak bych vám doporučil začít číst zjednodušené texty nebo knihy, které se dají se koupit a k tomu ten přehled gramatiky a ten slovník, o kterém jsem se už předtím zmiňoval. Pokud nemáte alespoň základní znalosti angličtiny, tak pouze poslouchání vám nemusí pomoct.
BBC World Service - vysílá přes satelit a Internet neomezeně, večer a v noci je součástí vysílání českého rádia Prostor (DAB+, VKV FM, Internet).
BBC Radio 4 - vysílá přes Internet většinou neomezeně
Na stránce www.bbc.com/audio je nejen živé vysílání, ale také archív, mnoho pořadů se dá stáhnou jako mp3. Také je tam seznam pořadů, které se vysílají.
Pokud jste ještě nenašel způsob jak se naučit základy angličtiny, tak bych vám doporučil začít číst zjednodušené texty nebo knihy, které se dají se koupit a k tomu ten přehled gramatiky a ten slovník, o kterém jsem se už předtím zmiňoval. Pokud nemáte alespoň základní znalosti angličtiny, tak pouze poslouchání vám nemusí pomoct.
14
Software / Re:Lokální LLM AI moduly
« kdy: 27. 08. 2025, 18:27:42 »
Velice vám děkuji. Ten článek jsem si přečetl a těším se na pokračování. Ty tabulky mně pomohly, ještě se musím rozhodnout, které modely stáhnout a vyzkoušet je.
