Poslední příspěvky

1

Software / Re:Lokální AI modely pro citlivá data

« Poslední příspěvek od balkovic kdy 07. 06. 2026, 20:24:15 »

Pro pobavení - jak přemýšlí lokální model qwen 2.5-coder (jinak celkem solidní, ale zjevně má trochu problém s češtinou)

Je to pochopiteľná mýľka, lebo je nemecké pečivo, ktoré sa volá purzel (druh koblihy) a kotrmelec sa povie purzelbaum. Rozumiem, že je to nesprávne ale tuším, odkiaľ na to prišiel.

2

Software / Re:Lokální AI modely pro citlivá data

« Poslední příspěvek od noob kdy 07. 06. 2026, 16:58:57 »

A co treba aktualni Intel B70 (32GB, cca 20 tis) ?
Je to vykonove cca jako RTX PRO 4000 (24GB, cca 40-48 tis)
Viz testy zde: https://www.youtube.com/watch?v=RcIWhm16ouQ

Hmm, pěkný tip. Intel Arc Pro B70 32 GB ... u nás v obchodech cca 25k Kč bez DPH. Rychlé je to dost. Dokonce ECC RAM. Časem se dá přidat další karta a provozovat 64GB. Otázka zní jaká bude podpora - ovladače, potřeba extra knihovny pro ollama atd.

3

Bazar / Re:Prodám QNAP TS-832PXU

« Poslední příspěvek od David Lanc kdy 07. 06. 2026, 11:58:49 »

Prodáno

4

Software / Re:Lokální AI modely pro citlivá data

« Poslední příspěvek od RDa kdy 07. 06. 2026, 01:00:23 »

Z vlastní zkušenosti s Mac mini M4 / 24GB RAM, vyhrazeným pouze na hrátky s LLM:
- i starší RTX 3070 je několikanásobně rychlejší než M4  (ale taky žere 10x tolik elektřiny)

A co treba aktualni Intel B70 (32GB, cca 20 tis) ?
Je to vykonove cca jako RTX PRO 4000 (24GB, cca 40-48 tis)

Viz testy zde: https://www.youtube.com/watch?v=RcIWhm16ouQ

5

Software / Re:Lokální AI modely pro citlivá data

« Poslední příspěvek od noob kdy 06. 06. 2026, 23:05:58 »

To je skoro 2 roky starý model, ne? Je pro to nějaký důvod? (už je Qwen 3.6, obdobných velikostí).

Snažím se nechodit u modelů pod 4bit kvantizaci a nechávat místo pro 3GB kontextu. Nejmenší Qwen 3.6 IQ4_XS má 19GB a to už prostě nevychází

I když teď někde vychvalovali TurboQuant od Google, že umí solidně i 3bit, tak bych to mohl zkusit.

6

Software / Re:Lokální AI modely pro citlivá data

« Poslední příspěvek od _Jenda kdy 06. 06. 2026, 08:52:26 »

Pro pobavení - jak přemýšlí lokální model qwen 2.5-coder (jinak celkem solidní, ale zjevně má trochu problém s češtinou)

To je skoro 2 roky starý model, ne? Je pro to nějaký důvod? (už je Qwen 3.6, obdobných velikostí).

7

/dev/null / Re:JIVA's DOSBox Toolset

« Poslední příspěvek od Martin Koleček kdy 05. 06. 2026, 22:10:19 »

sestavil jsem program prohlížeče datových souborů. Program IRENA je připravený https://github.com/tigerhareram/DOS-Tigerhareram
Program zobrazuje tlačítka v dolní části které korespondují s datovými soubory ve složkové a souborové struktuře (ta je pevně daná). Stisk tlačítka enter nahraje asset na obrazovku.
Program pracuje se soubory txt 80x25 znaků (výstup z programu WORLD) , zobrazuje soubor map (výstup z programu editmap.exe ) a obrázkové assety *.gra (výstup z programu editgra.exe)

pokud máte více grafických souborů gra , textové soubory s ASCII artem , a sestavili jste obrázky pro pozadí hry mapu , v tomto programu je můžete všechny prezentovat na jednom místě.
Na co je to dobré ? když neovládáte jazyk pascal můžete pořád kreslit grafiku a dělat ascii art. Balíček IRENA program a datové soubory pak můžete ukázat nějakému developerovi jako zdroj grafických a textových assetů pro hru.

Naplnit IRENU tak aby všechny soubory něco obsahovaly znamená nakreslit asi 320 gra souborů a napsat asi 120 txt stránek nebo nakreslit nějaké ascii arty. Souborů map je 20.
Má to tak být něco jako jeden tlustší sešit nebo nějaká knížka kde má být všechna vaše grafická práce na jednom místě.

Tak jak je program IRENA nahraný obsahuje první soubory s nějakými ukázkami, můžete se podívat pod dosboxem.

8

Software / Re:Lokální AI modely pro citlivá data

« Poslední příspěvek od noob kdy 05. 06. 2026, 20:15:01 »

Pro pobavení - jak přemýšlí lokální model qwen 2.5-coder (jinak celkem solidní, ale zjevně má trochu problém s češtinou)

9

Software / Re:Lokální AI modely pro citlivá data

« Poslední příspěvek od boardshepherd kdy 05. 06. 2026, 14:57:36 »

A není pak lepší nechat ten velký LLM vytvořit nějaký skript a pak ho jen opakovaně spouštět?

Ja napriklad použivvam lokalny LLM na získavanie inofmácií z faktúr. Veľa faktúr k nám chodí ešte na papieri a sú skenované. Tiež máme veľa roznych dodávateľov - roznych typov faktúr, takže  použitie custom scriptov je zložité a nespolahlivé. Teraz fakútry ktoré ku nám chodia (okrem tých z  XML prílohami) idú všetky cez LLM a automatikcy sa nahrávajú do systému, kde sú následne ešte skotrolované pracovníkom. Chybovosť je pod 5% a dokonca to nemá  problém ani z ručne vypísaným faktúrami od drobných živnostníkov.

Najlepšie s mi zatiaľ osvecčili modely gemma4:26B alebo  qwen3.6:35b. Beží to na AMD Ryzen AI Max+ 395 s 128GB RAM. Spracovanie jednej faktúry trvá medzi 30 - 60 sekund, čo  nie je  najrýchlejšie, ale pre moje účely to úplne stačí.
 

10

Software / Re:Lokální AI modely pro citlivá data

« Poslední příspěvek od noob kdy 05. 06. 2026, 12:59:42 »

Záleží na použití.

Z vlastní zkušenosti s Mac mini M4 / 24GB RAM, vyhrazeným pouze na hrátky s LLM:

- i starší RTX 3070 je několikanásobně rychlejší než M4  (ale taky žere 10x tolik elektřiny)

- je velký omyl myslet si, že když se model vejde do (V)RAM tak máte vyhráno - je potřeba počítat s místem pro kontextové okno. Čím delší vstup a složitější prompt, tím větší je potřeba.

- qwen 2.5-coder:14b dokáže v pohodě přepisovat několik set řádkové scripty (PHP, JS, html/css, python ...) - sežere i s rozumným kontextovým oknem 21GB RAM (systém je upravený aby umožnil Ollama démonu alokovat 90% RAM a nepoužívám GUI, takže 3GB pro OS stačí) - není to nejrychlejší, ale vezme si při práci 20W a běží nonstop

- použití lokálního LLM jako agenta je dost problém kvůli potřebné velikosti kontextu a taky je (pro smyslupnou práci) nutné mít chytřejší model - třeba qwen 3.5-agent:latest - tady už 24GB nestačí a hodil by se dvojnásobek (model se při rozumné kvantizaci rozjel, ale neměl dost místa pro kontext a brzo začal halucinovat).

- Hloupější LLM zpravidla neumí používat nástroje - tady vidím největší omezení - například si nic nedohledá na webu, neověří výstup kódu atd. Zatímco třeba Claude už umí ladit scripty přes Chrome DevTools

Teď zkouším nějakou netriviální práci s texty a tvorbu jednoduchých scriptů - tam 24GB sdílené RAM není na překážku. Za 20k Kč na hraní ideál - malá krabička hozená pod stolem, není slyšet a skoro netočí elektroměrem a slouží jako LLM backend pro aplikace běžící někde na VPS

Pro kompletně lokální vývoj bych potřeboval tak 128GB RAM a o kus rychlejší procesor, ale to už je úplně jiná cena za HW.

Pokud nechci pustit cloudový LLM ke kódu - teoreticky se dá použít třeba Claude jako plánovač a agent pro nástroje + lokální model jako kodér a tím odklonit Claude od kódu. (A jako bonus ušetřit spoustu tokenů). Ale je potřeba použít vhodný plugin (ve VSCode možná Roo Coder) a hlavně ho správně nastavit. Tam bych ale raději vyměnil grafiku v PC za 16GB model a šel touto cestou.