Poslední příspěvky

1

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od nonius kdy Dnes v 13:13:18 »

Pokud model používá MoE (Mixture of Experts), tak běží o dost rychleji než ten, který to nepoužívá. Je docela rychlý i když běží pouze pomocí CPU+RAM, ale je větší, takže to chce více paměti RAM nebo VRAM nebo oboje dohromady.

Jazykové modely se dají stáhnout ze stránek huggingface.co, můžete si tam vybrat různé verze.

2

Sítě / Re:Metronet končí, ke komu přejít?

« Poslední příspěvek od Radek Zajíc kdy Dnes v 11:02:34 »

vybral jsem ze mam svuj modem tj vlastni zarizeni.

To nesedí, protože v takovým případě jejich nabídka vypadá takhle, viz screenshot (399 Kč teď, 599 Kč později).

Tahle cena, která je mimochodem v některých případech podnákladová, v podstatě zabíjí konkurenci - ke konkurenci půjde jen ten, kdo chce služby typu lepší IPv6, veřejnou IPv4 adresu (ale i tam je O2 i s příplatkem 254 Kč/měsíc pořád celkem konkurenceschopná).

3

Vývoj / Re:Vezme AI ajťákům práci?

« Poslední příspěvek od Mintaka kdy Dnes v 10:29:09 »

Tedy se v novém hávu a s novými kulisami vracíme k otázkám, které tu víří prostorem tisíce a možná desetitisíce roků.

Odkud jsme, a kam kráčíme? A jaký to, celé tady, má smysl?
(42 nemusí být úplně uspokojivá odpověď.)

Pro mě osobně je to: "Život má ten smysl, který mu dáme.".

Vždy to bude v mantinelech nějakého omezení. A my k těm omezením můžeme přistupovat různým způsobem a volit cesty, které ta omezení budou zmenšovat, nebo je zvětšovat. Ani jedna z těch cest není sama o sobě "špatná".

Amíšové ...  kosmonauti.
Bezbřehá svoboda slova ... tvrdá cenzura omezující veškeré informační toky.

A realita umí pojmout celou škálu mezi těmi extrémy včetně různých odstínů a příchutí.

RE.  začne třeba přebírat i práci manuální:

Už teď je většina výrobků vyráběna se zapojením robotizace a automatizace.
Bez toho by bylo třeba několikanásobně víc lidí na Zemi, pro vytvoření stejných statků.
A s množstvím těch lidí by ale vzrostly nároky na pokrytí jejich potřeb. Z čehož vyplývá, že by to bylo buď extrémně obtížné, spíše nemožné.
Už teď jsme na technice mimořádně závislí, protože bychom nezvládli, v současné podobě "západní civilizace", fungovat bez ní.

Zatím to tak nějak vychází a v průměru se po hmotné stránce máme lépe a lépe. (Čert je schován v tom průměru, víme.)

Takže dozadu jít nechceme a dopředu jsou neznámé obzory.
I já jsem nadšený z nových objevů a možností, ale jsem pro, abychom postupovali vpřed rozvážně a opatrně.
Ale jak zklidnit ten dav fanaticky nadšených "děti", které se ženou vpřed, za pokladem?

Bez brutální celosvětové inkvizice, kterou nechceme. Ne že by to nešlo, ale těžko.

Jo, jsou před námi velké výzvy tak nám držím palce, abychom jimi se ctí prošli. Nebo aspoň prošli.
A když ne, předáme pískoviště jiným.

Ať se nám daří!

4

Vývoj / Re:Vezme AI ajťákům práci?

« Poslední příspěvek od Martin Poljak kdy Dnes v 10:10:07 »

Trochu se obávám, ve více rovinách, že vyhodíme Darwina dveřmi, a ten zmetek se nám vrátí oknem.

Návrat z ráje. Čestmír Vejdělek. Pro mě svým poselstvím a přesahem s přehledem nejlepší česká sci-fi. A kupodivu ne zas tolik známá. A jinak co se té manuální práce týká, v temných továrnach v Číně by mohli vyprávět. Kdekdo řeší vývoj softwaru, na což ta AI sama o sobě zatím opravdu nestačí ale vůbec si neuvědomuje, že velké plně automatizované továrny se masově staví už pár let.

Co se jinak obecné roviny AI týká, v tomhle ohledu se obávám, že to povede ještě k nerovnoměrnějšímu rozdělení bohatství než dříve. A to velmi výrazně. Fungovat to má šanci za předpokladu, že lidé v mediánu nezchudnou. Pokud by se to stalo, pak nám pomáhej pánbůh. Taky mohou superbohatí vlastníci těch výrobních prostředků, tedy AI, která jim bude poskytovat obrovskou moc usoudit, že 90 % lidstva je teď na Zemi vlastně zbytečně... Tohle dřív napadne člověka, ne AI.

5

Vývoj / Re:Vezme AI ajťákům práci?

« Poslední příspěvek od František Ryšánek kdy Dnes v 09:02:45 »

evropa chudne, vidim to tak, ze zase budou mezi nami zebraci a nebo zacnou znova makat na poli.
ja chci, aby mi ai vzala programovaci praci, ja budu aspon moci venovat cas vymysleni jak to ai ma dobre udelat.

cely pokrok vede ke specializaci a postupne i k vyrovnavani hladin, tj. i bezdomovci dneska jsou bohaci proti bezdomovcum v minulosti.

Pokud se skutečně povede, že AI bude dál vzkvétat, a přebírat víc a víc práce, nejenom té duševní co se dá dělat "ve virtuálním prostředí", ale v kombinaci s robotikou a nějakou optimalizací začne třeba přebírat i práci manuální... a třeba se i podaří udržet AI na uzdě, aby prostě "neotočila list" a již zbytečného mezičlánku se nezbavila... tak tu vznikne rozsáhlá technogenní "infrastruktura civilizace", na které se původní biologická společnost stane plně závislou. Užitek jakékoli lidské práce půjde smykem do škarpy. Užitek pro koho vůbec? Jaká bude "hodnotící funkce"? Jaké aspirace a jaký smysl budou mít lidští jednotlivci? Chápu správně, že "etičtí fundamentalisti co málem rozložili OpenAI" dodnes řeší, zda AI nemá "duši" a neměla by mít lidská práva? Za mě je toto v rovině etické úplně marginální problém, třeba co do počtu ovlivněných "duší" (alespoň zpočátku), ve srovnání se společenskými důsledky hypotetického rozvoje AI na lidskou společnost, wetware, těch několik miliard jednotlivců nadaných biologickými pudy, motivy, mechanismy odměny a bolesti... Bude ta biologická hmota, udržovaná AI podporou, už jenom do ztracena řešit, kdo je čí kámoš, kdo se uměl narodit do správné rodiny, jak si udržet dopaminové receptory maximálně saturované... ? Jak si tu technogenní infrastrukturu přivlastnit CELOU, pro sebe osobně, pro svoji jedinou správnu rasu, pro svoji dědičnou dynastii... Nebo se celá společnost zaměstná jalovou byrokracií (= organizovanou šikanou svých bližních) a třeba celožitovním marným chozením do školy? :-) Trochu se obávám, ve více rovinách, že vyhodíme Darwina dveřmi, a ten zmetek se nám vrátí oknem. Rovin a variant je spousta, fantazie je na to krátká.

6

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od ladislav.danis kdy Dnes v 08:37:35 »

@ladislav.danis , odpusťte lamí dotaz: jestli správně chápu, Qwen3-coder publikovaný v rámci frameworku/projektu Unsloth.ai je hotový naučený model na bázi llama.cpp, který stáhnete z internetu a lokálně spustíte v režimu "inference", je to tak?

Ano, chápete to správně. LLama.cpp si ho umí i v rámci příkazu stáhnout sama, ale z důvodu používání příkazu jako službu systemd mám zadán model cestou k souboru.

7

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od František Ryšánek kdy Dnes v 08:25:06 »

@ladislav.danis , odpusťte lamí dotaz: jestli správně chápu, Qwen3-coder publikovaný v rámci frameworku/projektu Unsloth.ai je hotový naučený model na bázi llama.cpp, který stáhnete z internetu a lokálně spustíte v režimu "inference", je to tak?

8

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od ladislav.danis kdy Dnes v 07:47:32 »

Dnes při správném modelu i konfiguraci lze použít i zdánlivý šrot.

Na mém starém Dell OptiPlex Sff 3050
Intel(R) Core(TM) i5-7500 CPU @ 3,40 GHz
64 GB RAM DDR4
Tesla P4 8 GB VRAM

s příkazem:
llama-server \
--model /home/testbox/.cache/llama.cpp/unsloth_Qwen3-Coder-30B-A3B-Instruct-GGUF_Qwen3-Coder-30B-A3B-Instruct-UD-Q8_K_XL.gguf \
--threads 3 \
--batch-size 384 \
--ctx-size 40960 \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
--jinja \
--temp 0.7 --min-p 0.01 --top-p 0.80 --top-k 20 --repeat-penalty 1.05 \
--flash-attn on \
-a qwen3-coder-30-a3b-p4 \
--n-gpu-layers 48 \
--override-tensor ".blk.([1-9]|[1-3][0-9]|4[0-6]).ffn_._exps.*=CPU" \
--host 0.0.0.0 \
--port 4000

konzistentně dosahuje krásných přibližně 7 t/s

Kdybych neměl kvůli velikosti RAM snížený duální kanál (můj DELL oficiálně podporuje 32 GB RAM), věřím, že výsledek by byl ještě lepší.

Používám to jako konzultanta při programování pro opravu chyb z nepozornosti.

Záleží na tom, co od toho člověk očekává. Na speciální účely se lokální LLM hodí, ale pro takové to ChatGPT tlachání je to marná investice.

9

Bazar / Re:predaj fortiswtich 148F

« Poslední příspěvek od drunkezz kdy 05. 12. 2025, 22:32:31 »

...nikdy nebezal, nezaregistrovany

Jo, bratislava a okolie, osobne, inak sa to bude musiet poslat dobierkou
...cena nejaka ebay priemer alebo dohoda

10

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od nonius kdy 05. 12. 2025, 22:29:34 »

Já se bude také opakovat. Chtělo by to vědět alespoň přibližně, jak velký jazykový model chcete provozovat.

Do 16GB VRAM GPU se vejde jazykový model o velikost asi 12GB, podle kvantizace (4-8 bit) 20B-10B parametrů. Odpověď se bude vypisovat velmi rychle. Pokud část poběží v RAM, bude to dost pomalé. Záleží na přenosové rychlosti paměti RAM.
Můžete použít grafiku s větší VRAM nebo dvě grafiky. Je dobré se také podívat na elektrický příkon (jak výkonný zdroj vyžaduje) a na přenosovou rychlost VRAM, která napoví, jak rychle se bude tvořit odpověď.

Také záleží na softwaru, Llama.cpp je vhodná pro jednu grafiku nebo ve spojení s CPU. VLLM nebo SGlang dokáží lépe využít více grafických karet.