Lokální AI modely pro citlivá data

[XMen]

Zdravim. Chcem sa spytat, ci niekto nemate skusenosti s pouzitim mensich lokalnych AI modelov, ktore by ste prevadzkovali na nejakych lokalnych strojoch mensieho vykonu (napr. aj na pracovnych notebookoch). Ide o to, ze pracujem na projekte, ktory pouziva senzitivne data a rovnako obsahuje vela senzitivnych informacii (api, dokumentacia,...), ktore si netrufam zverejnovat cez klasicke AI modely ako gemini alebo claude. Chcel by som ale vyuzit ich vyhod a skusit vytvorit AI assistenta pri programovani. Otazka teda je, ci to ma zmysel a ci je to realizovatelne alebo by vystup takej AI bol velmi slaby a nepresny, zeby sa mi neoplatilo nad tym vobec uvazovat. Ano, chapem, ze plnohodnotne AI funguju na neskutocne vykonnych strojoch ale ako vravim, nemozem im doverovat a zverit data na analyzu, lebo nikto mi nevie garantovat co sa s nimi robi (rovnaky problem mam aj s cloud systemami).

[Reklama]

[Jiri Dobry]

Možností je více, ale pro lokální AI zaměřenou na programování je potřeba sáhnout poměrně hluboko do kapsy. Pro seriózní použití dávají smysl modely alespoň kolem 30 miliard parametrů. Menší modely sice mohou být použitelné pro jednodušší úlohy, ale při složitějším programování, práci s většími projekty nebo delším kontextem jejich limity rychle narazíte.

Tomu musí odpovídat i hardware. Pro modely kolem 30B parametrů ještě může stačit výkonná grafická karta s 24-32 GB VRAM. Pro větší modely už je zpravidla potřeba výrazně více paměti. Minimem je například zařízení typu NVIDIA DGX Spark se 128 GB sjednocené paměti, případně některý z výkonnějších počítačů Apple s čipem řady M4/M5 a alespoň 128 GB RAM. Je však potřeba počítat s tím, že při využití systémové paměti místo VRAM bude výkon znatelně nižší.

Rozumná vstupní investice začíná přibližně na 120 000 Kč, a i za tuto částku jde spíše o základní konfiguraci s určitými omezeními. Pokud chcete provozovat větší modely pohodlně, náklady mohou být výrazně vyšší.

Proto je první otázkou, na jakém hardwaru to chcete provozovat. Teprve podle toho má smysl řešit výběr konkrétního modelu a způsob nasazení. Alternativou je pronájem výpočetního výkonu v cloudu nebo primo konkretni stroj pres vast.ai . To může být vhodné pro testování nebo občasné použití, ale neřeší to hlavní důvod, proč mnoho lidí o lokálním provozu uvažuje: práci s citlivými daty, zdrojovými kódy nebo interní dokumentací, které nechtějí odesílat třetí straně.

[XMen]

Ano mate pravdu a v zasade mi citate myslienky 

Ono je otazka ci ma niekto skusenosti aj s mensimi modelmi (kludne pod 30B) a ci to ma vobec zmysel ich riesit. Alebo potom je otazka navrhnut si HW, ktory by bol este cenovo akceptovatelny. Ano chapem to je relativny pojem a pre kazdeho je miera cenovej akceptovatelnosti rozna. Bavme sa teda, ze ide o situaciu kde chce nieco taketo riesit jeden clovek (napr. zivnostnik), co sa dostal k projektu, ktory potrebuje takto riesit, pricom zakaznik mu nie je schopny poskytnut vykonny HW resp. nejake AI riesenie.

Co sa tyka cloudu, tam ste si odpovedal sam a presne to takto vidim aj ja.

[XMen]

Este mi tiez napadlo, neexistuje nejaky sposob ako velkost modelu (a teda jeho schopnosti) obmedzit iba na vybrane oblasti? Napr. programovanie v javascripte, pythone, java ale napr. nepotrebujem .NET, nepotrebujem psychoporadnu,.... Myslim, ze kedysi sa robieval trening AI modelu inym vykonnejsim AI modelom s vyuzitim obmedzenia oblasti, ktore ma zvladat.

[RDa]

Problem vykonneho hw lze vyresit sdilenim/centralizaci vypocetniho uzlu ktery je stale pod vlastni kontrolou (coz je tak nejak i vhodne, protoze tenky klient v podobe notebooku typicky neutahne zadny rozumny AI model - ani kdyz propaguje xyz NPU cicovin.. tak ty jsou nepouzitelne v tomto objemu / na genericke uziti v llm).

A ten subset by me zajimal taky - treba bych rad kdyby muj LLM slice vedel zas vsechno o HDL a klasicke programovani ci znalosti o biologii, zemepisu a jinych blbosti neresil. Zrejme by to vyzadovalo in-house trenovani a to je otazka kde prijit k nejakemu dobremu zdroji.. muzete mit mirror z github projektu, ale pak treba skeny knizek a ucebnic - by zas vyzadovali tu druhou pulku mozku, co pochopi i psanej text, zejo.

[Reklama]

[Jan Forman]

Qwen, Nemotron a nebo Gemma jsou celkem použitelné okolo velikosti 30B. Provozovat je lze na relativně slabém hardware pokud jsou to MoE verze stačí i běžná GPU s 16GB VRAM a nebo starší server s mnoha jádry. Výkon je cca 50 tokenů za sekundu na consumer hardware.

[_Jenda]

Otazka teda je, ci to ma zmysel a ci je to realizovatelne alebo by vystup takej AI bol velmi slaby a nepresny, zeby sa mi neoplatilo nad tym vobec uvazovat.

Vždyť si to můžeš vyzkoušet, téměř bez vstupních nákladů. Spousta modelů, které připadají v úvahu (příklad), je dostupná na OpenRouteru hostovaná západními společnostmi s cenami pod dolar za milion tokenů. Gemma 4 je dokonce pro všechny s Google účtem (i osobním) zdarma s dost velkými limity. Nabij si pár dolarů na OpenRouter a zkus si s tím programovat (určitě máš i nějaké projekty, co nejsou tak tajné, a můžeš si to na nich vyzkoušet). Takto si vyzkoušíš, jestli to dává smysl, jaké modely ti vyhovují, a pak si podle toho koupíš správný HW pro lokální provoz. Kromě zjevného řešení s GPU jsou populární nějaké Macy, ale nezkoušel jsem.

pokud jsou to MoE verze stačí i běžná GPU s 16GB VRAM

To bude nějaká Q3, ne? To už bych se bál že bude výrazně hloupější.