Poslední příspěvky

1

Vývoj / Re:Vezme AI ajťákům práci?

« Poslední příspěvek od František Ryšánek kdy Dnes v 09:02:45 »

evropa chudne, vidim to tak, ze zase budou mezi nami zebraci a nebo zacnou znova makat na poli.
ja chci, aby mi ai vzala programovaci praci, ja budu aspon moci venovat cas vymysleni jak to ai ma dobre udelat.

cely pokrok vede ke specializaci a postupne i k vyrovnavani hladin, tj. i bezdomovci dneska jsou bohaci proti bezdomovcum v minulosti.

Pokud se skutečně povede, že AI bude dál vzkvétat, a přebírat víc a víc práce, nejenom té duševní co se dá dělat "ve virtuálním prostředí", ale v kombinaci s robotikou a nějakou optimalizací začne třeba přebírat i práci manuální... a třeba se i podaří udržet AI na uzdě, aby prostě "neotočila list" a již zbytečného mezičlánku se nezbavila... tak tu vznikne rozsáhlá technogenní "infrastruktura civilizace", na které se původní biologická společnost stane plně závislou. Užitek jakékoli lidské práce půjde smykem do škarpy. Užitek pro koho vůbec? Jaká bude "hodnotící funkce"? Jaké aspirace a jaký smysl budou mít lidští jednotlivci? Chápu správně, že "etičtí fundamentalisti co málem rozložili OpenAI" dodnes řeší, zda AI nemá "duši" a neměla by mít lidská práva? Za mě je toto v rovině etické úplně marginální problém, třeba co do počtu ovlivněných "duší" (alespoň zpočátku), ve srovnání se společenskými důsledky hypotetického rozvoje AI na lidskou společnost, wetware, těch několik miliard jednotlivců nadaných biologickými pudy, motivy, mechanismy odměny a bolesti... Bude ta biologická hmota, udržovaná AI podporou, už jenom do ztracena řešit, kdo je čí kámoš, kdo se uměl narodit do správné rodiny, jak si udržet dopaminové receptory maximálně saturované... ? Jak si tu technogenní infrastrukturu přivlastnit CELOU, pro sebe osobně, pro svoji jedinou správnu rasu, pro svoji dědičnou dynastii... Nebo se celá společnost zaměstná jalovou byrokracií (= organizovanou šikanou svých bližních) a třeba celožitovním marným chozením do školy? :-) Trochu se obávám, ve více rovinách, že vyhodíme Darwina dveřmi, a ten zmetek se nám vrátí oknem. Rovin a variant je spousta, fantazie je na to krátká.

2

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od ladislav.danis kdy Dnes v 08:37:35 »

@ladislav.danis , odpusťte lamí dotaz: jestli správně chápu, Qwen3-coder publikovaný v rámci frameworku/projektu Unsloth.ai je hotový naučený model na bázi llama.cpp, který stáhnete z internetu a lokálně spustíte v režimu "inference", je to tak?

Ano, chápete to správně. LLama.cpp si ho umí i v rámci příkazu stáhnout sama, ale z důvodu používání příkazu jako službu systemd mám zadán model cestou k souboru.

3

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od František Ryšánek kdy Dnes v 08:25:06 »

@ladislav.danis , odpusťte lamí dotaz: jestli správně chápu, Qwen3-coder publikovaný v rámci frameworku/projektu Unsloth.ai je hotový naučený model na bázi llama.cpp, který stáhnete z internetu a lokálně spustíte v režimu "inference", je to tak?

4

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od ladislav.danis kdy Dnes v 07:47:32 »

Dnes při správném modelu i konfiguraci lze použít i zdánlivý šrot.

Na mém starém Dell OptiPlex Sff 3050
Intel(R) Core(TM) i5-7500 CPU @ 3,40 GHz
64 GB RAM DDR4
Tesla P4 8 GB VRAM

s příkazem:
llama-server \
--model /home/testbox/.cache/llama.cpp/unsloth_Qwen3-Coder-30B-A3B-Instruct-GGUF_Qwen3-Coder-30B-A3B-Instruct-UD-Q8_K_XL.gguf \
--threads 3 \
--batch-size 384 \
--ctx-size 40960 \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
--jinja \
--temp 0.7 --min-p 0.01 --top-p 0.80 --top-k 20 --repeat-penalty 1.05 \
--flash-attn on \
-a qwen3-coder-30-a3b-p4 \
--n-gpu-layers 48 \
--override-tensor ".blk.([1-9]|[1-3][0-9]|4[0-6]).ffn_._exps.*=CPU" \
--host 0.0.0.0 \
--port 4000

konzistentně dosahuje krásných přibližně 7 t/s

Kdybych neměl kvůli velikosti RAM snížený duální kanál (můj DELL oficiálně podporuje 32 GB RAM), věřím, že výsledek by byl ještě lepší.

Používám to jako konzultanta při programování pro opravu chyb z nepozornosti.

Záleží na tom, co od toho člověk očekává. Na speciální účely se lokální LLM hodí, ale pro takové to ChatGPT tlachání je to marná investice.

5

Bazar / Re:predaj fortiswtich 148F

« Poslední příspěvek od drunkezz kdy 05. 12. 2025, 22:32:31 »

...nikdy nebezal, nezaregistrovany

Jo, bratislava a okolie, osobne, inak sa to bude musiet poslat dobierkou
...cena nejaka ebay priemer alebo dohoda

6

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od nonius kdy 05. 12. 2025, 22:29:34 »

Já se bude také opakovat. Chtělo by to vědět alespoň přibližně, jak velký jazykový model chcete provozovat.

Do 16GB VRAM GPU se vejde jazykový model o velikost asi 12GB, podle kvantizace (4-8 bit) 20B-10B parametrů. Odpověď se bude vypisovat velmi rychle. Pokud část poběží v RAM, bude to dost pomalé. Záleží na přenosové rychlosti paměti RAM.
Můžete použít grafiku s větší VRAM nebo dvě grafiky. Je dobré se také podívat na elektrický příkon (jak výkonný zdroj vyžaduje) a na přenosovou rychlost VRAM, která napoví, jak rychle se bude tvořit odpověď.

Také záleží na softwaru, Llama.cpp je vhodná pro jednu grafiku nebo ve spojení s CPU. VLLM nebo SGlang dokáží lépe využít více grafických karet.

7

Bazar / Prodám FortiSwtich 148F

« Poslední příspěvek od drunkezz kdy 05. 12. 2025, 22:26:33 »

...nikdy nebezal, nezaregistrovany

8

Sítě / Re:Metronet končí, ke komu přejít?

« Poslední příspěvek od Martin Poljak kdy 05. 12. 2025, 22:05:33 »

Maj to tak fikany ze naparej lidem splatky stejne, prvne daji slevu 200czk dolu, za 6 mesicu to prepalej 

Co je na to fikaného? Tuhle "fikanost" používá kdejaký ISP (ne všichni teda naštěstí). O2 fakt nedělá nic, co nedělá řada ostatních. Ostatně očekával bych od vás jistou inteligenci, tedy že se jste schopný podívat na to, co je skutečná ceba a ne nějaké pohozené lízátko na prvního půl roku. To zvládnete, ne? Navíc s tím, jestli máte nebo nemáte vlastní zařízení to jinak nesouvisí. To pokud vím účtují zvlášť a minimálně u pevného 5G mi výslovně tvrdili, že klidně mohu použít vlastní, jen že negarantují, že na něm to 5G bude fungovat. Což mi ale nepřijde nelogické když není od nich.

9

Sítě / Re:Nemůžu se přihlásit na AP MikroTik

« Poslední příspěvek od mensinamlcici kdy 05. 12. 2025, 21:06:04 »

Kdysi se tvrdilo že iphony zlobí když je v provozu short preamble ...

10

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od Tomáš Rollo kdy 05. 12. 2025, 20:39:04 »

Jestli uz (rozumny) pocitac mas, tak asi levnejsi jen dokoupit grafickou kartu.
Jestli ne, asi bych premyslel nad Mac Mini M4, ale ve variante Pro (vetsi propustnost RAM), idealne s 48GB RAM. Ale to je samozrejme 50k+, ne 20