1
Software / Re:Lokální AI modely pro citlivá data
« kdy: 04. 06. 2026, 07:16:08 »Este mi tiez napadlo, neexistuje nejaky sposob ako velkost modelu (a teda jeho schopnosti) obmedzit iba na vybrane oblasti? Napr. programovanie v javascripte, pythone, java ale napr. nepotrebujem .NET, nepotrebujem psychoporadnu,.... Myslim, ze kedysi sa robieval trening AI modelu inym vykonnejsim AI modelom s vyuzitim obmedzenia oblasti, ktore ma zvladat.
Niekde som zachytil uveriteľnú hypotézu, že obmedziť LLM model na nejaký jazyk a mať vysokú kvalitu vpodstate neušetrí nič, lebo pri využívaní modelu nám pomáhajú znalosti mimo jazyku. Či už poviem ruby on rails, že má rešpektovať X-Forwarded-For header (a potrebuje rfc headeru poznať, poznať http protokol, poznať teóriu okolo proxy a pre overenie potrebuje poznať curl, postman, alebo podobne), alebo, že chcem web formulár na zadanie faktúry (potrebuje aspoň vyhalucinovať potrebné fieldy pre naše zákon,. Ičo, dič, adresa, majiteľ, bankové spojenie,... Potrebuje ukážku hodnoty každého políčka, aby to tam tím šedým fontom predvyplnil a iné ukážky s okrajovými prípadmi pre napísanie testov, ...)...
Proste programovanie, syntax jedného jazyka, je málo znalostí. Čo zaberá miesto, je znalosť sveta. Frameworky, nástroje, ľudský jazyk, business knowledge a podobne.
Ja tomu vcelku verím a moja skúsenosť s menšími jazykmi je taká, že stačí 32GB ram, nejaké rozumné 8 jadro cpu aspoň a (to najdôležitejšie), dobre odladený prompt/postup, ktorý dobre funguje na konkrétnu úlohu. Následne má zmysel tú úlohu púšťať dookola a za asi desatinovú cenu oproti "cloudu". Toto je aktuálne jediné zmysluplné využitie lokálnej LLM. Opakovateľná úloha, ktorá má zmysel a je odladená.
Pre použitie na ad-hoc úlohy malý model IMHO nemá zmysel.