Poslední příspěvky

Stran: [1] 2 3 ... 10

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od ladislav.danis kdy Dnes v 08:37:35 »

Citace: František Ryšánek Dnes v 08:25:06

@ladislav.danis , odpusťte lamí dotaz: jestli správně chápu, Qwen3-coder publikovaný v rámci frameworku/projektu Unsloth.ai je hotový naučený model na bázi llama.cpp, který stáhnete z internetu a lokálně spustíte v režimu "inference", je to tak?

Ano, chápete to správně. LLama.cpp si ho umí i v rámci příkazu stáhnout sama, ale z důvodu používání příkazu jako službu systemd mám zadán model cestou k souboru.

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od František Ryšánek kdy Dnes v 08:25:06 »

@ladislav.danis , odpusťte lamí dotaz: jestli správně chápu, Qwen3-coder publikovaný v rámci frameworku/projektu Unsloth.ai je hotový naučený model na bázi llama.cpp, který stáhnete z internetu a lokálně spustíte v režimu "inference", je to tak?

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od ladislav.danis kdy Dnes v 07:47:32 »

Dnes při správném modelu i konfiguraci lze použít i zdánlivý šrot.

Na mém starém Dell OptiPlex Sff 3050
Intel(R) Core(TM) i5-7500 CPU @ 3,40 GHz
64 GB RAM DDR4
Tesla P4 8 GB VRAM

s příkazem:
llama-server \
--model /home/testbox/.cache/llama.cpp/unsloth_Qwen3-Coder-30B-A3B-Instruct-GGUF_Qwen3-Coder-30B-A3B-Instruct-UD-Q8_K_XL.gguf \
--threads 3 \
--batch-size 384 \
--ctx-size 40960 \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
--jinja \
--temp 0.7 --min-p 0.01 --top-p 0.80 --top-k 20 --repeat-penalty 1.05 \
--flash-attn on \
-a qwen3-coder-30-a3b-p4 \
--n-gpu-layers 48 \
--override-tensor ".blk.([1-9]|[1-3][0-9]|4[0-6]).ffn_._exps.*=CPU" \
--host 0.0.0.0 \
--port 4000

konzistentně dosahuje krásných přibližně 7 t/s

Kdybych neměl kvůli velikosti RAM snížený duální kanál (můj DELL oficiálně podporuje 32 GB RAM), věřím, že výsledek by byl ještě lepší.

Používám to jako konzultanta při programování pro opravu chyb z nepozornosti.

Záleží na tom, co od toho člověk očekává. Na speciální účely se lokální LLM hodí, ale pro takové to ChatGPT tlachání je to marná investice.

Bazar / Re:predaj fortiswtich 148F

« Poslední příspěvek od drunkezz kdy 05. 12. 2025, 22:32:31 »

Citace: drunkezz 05. 12. 2025, 22:26:33

...nikdy nebezal, nezaregistrovany

Jo, bratislava a okolie, osobne, inak sa to bude musiet poslat dobierkou
...cena nejaka ebay priemer alebo dohoda

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od nonius kdy 05. 12. 2025, 22:29:34 »

Já se bude také opakovat. Chtělo by to vědět alespoň přibližně, jak velký jazykový model chcete provozovat.

Do 16GB VRAM GPU se vejde jazykový model o velikost asi 12GB, podle kvantizace (4-8 bit) 20B-10B parametrů. Odpověď se bude vypisovat velmi rychle. Pokud část poběží v RAM, bude to dost pomalé. Záleží na přenosové rychlosti paměti RAM.
Můžete použít grafiku s větší VRAM nebo dvě grafiky. Je dobré se také podívat na elektrický příkon (jak výkonný zdroj vyžaduje) a na přenosovou rychlost VRAM, která napoví, jak rychle se bude tvořit odpověď.

Také záleží na softwaru, Llama.cpp je vhodná pro jednu grafiku nebo ve spojení s CPU. VLLM nebo SGlang dokáží lépe využít více grafických karet.

Bazar / Prodám FortiSwtich 148F

« Poslední příspěvek od drunkezz kdy 05. 12. 2025, 22:26:33 »

...nikdy nebezal, nezaregistrovany

Sítě / Re:Metronet končí, ke komu přejít?

« Poslední příspěvek od Martin Poljak kdy 05. 12. 2025, 22:05:33 »

Citace: ripper6 05. 12. 2025, 20:22:07

Maj to tak fikany ze naparej lidem splatky stejne, prvne daji slevu 200czk dolu, za 6 mesicu to prepalej

Co je na to fikaného? Tuhle "fikanost" používá kdejaký ISP (ne všichni teda naštěstí). O2 fakt nedělá nic, co nedělá řada ostatních. Ostatně očekával bych od vás jistou inteligenci, tedy že se jste schopný podívat na to, co je skutečná ceba a ne nějaké pohozené lízátko na prvního půl roku. To zvládnete, ne? Navíc s tím, jestli máte nebo nemáte vlastní zařízení to jinak nesouvisí. To pokud vím účtují zvlášť a minimálně u pevného 5G mi výslovně tvrdili, že klidně mohu použít vlastní, jen že negarantují, že na něm to 5G bude fungovat. Což mi ale nepřijde nelogické když není od nich.

Stran: [1] 2 3 ... 10