Ahoj podle tveho vyjadreni, si ve fazi premysleni.
Je nespocet modelu, ktere lze provozovat u sebe.
Zminujest kodovani a analyzu.
Predem rikam, ze nejvetsi boj neni LLM spustit, ale udrzet se v rozumnem kontextovem okne, ktere muze byt pametove klidne narocnejsi nez cely model.
Zkousel jsem hromadu LLM od 1B az do 26-30B (na vic nemam hw).
K hw: procesor a hlavne takove ty AI ready a kdeco - je v tuto chvili k nicemu (nikdo je u koncaku nepodporuje). Tedy cokoliv od R5/i5 je pouzitelne. RAM co _nejrychlejsi_ a co _nejvice_. Grafiku - ja pouzivam integrovanou iGPU 680M a ULA 4GB... ne neni to nejlepsi, ale je to nejlevnejsi a univerzalni. Protoze pres ROCm(radeony) nebo CUDA (nvidia), si tam pripojis i velky kus pameti PC.
Resim to pomoci Ollama s ROCm.
Rozumne mi bezi qwen2.5-coder:3-14b a qwen2.2:3-14b, maji odezvu od 25-8tokenu/s.
Modelu mam k dispozici obravdu hodne, ale tyto mi slouzi nejlepe pro to co zminujes. Pro kodovani ve vscodium pouzivam nejcasteji qwen2.5-coder:7b a 14b. Naopak pro analyzu logu ze serveru pouzivam obecny qwen2.5:7b. 14b ne, chci mit vysledky jeste dneska.
K analyze: neni to tak, ze vemu 10MB log na nacpu ho do llm a on mi to zazracne prechroupe... je to tak, ze jej v nekolika pruchodech cistim jednotim a upravuji (defakto na miru) a pak radek po radku posilam pres api ollama do llm modelu a ten mi rekne co ten radek znamena.
kodovani: ne neni to o tom, ze si s modelem povidam - vyse si videl jak dopadne kdyz se o to snazis (kotrmelec fakt neudela) qwen2.5-coder proste napise kod a dokaze byt strucny a ne moc otravny narozdil od MoE LLM jako treba gemma4 nebo qwen3.6. dulezite je ho uvest do obrazu - to delam pomoci mf souboru kde mu definuji co se od nej chce, co musi, co nesmi apod. + nejake parametry jako ukecanost, kreativita, velikost kontextu, podil cpu/gpu vrstev, apod...
Celkove je to velmi zabavne, ale pokud clovek jen ceka, ze to nejak nainstaluje a uz bude kouzlit samo od sebe... tvrde narazi.
Je to o tridennim testovani - pokud clovek vi co dela. Pokud se pritom i uci, jeste dele. A vysledek je ve hvezdach
Vhodne je to na cyklickou otravnou a celkem jednoduchou praci - tam je to uplne paradni a zaroven se ti musi vyplatit ta casova ztrata s pripravou a testovanim.
32 Odpovědí
14015 Zhlédnutí