1
Software / Re:Lokální AI modely pro citlivá data
« kdy: 05. 06. 2026, 14:57:36 »A není pak lepší nechat ten velký LLM vytvořit nějaký skript a pak ho jen opakovaně spouštět?
Ja napriklad použivvam lokalny LLM na získavanie inofmácií z faktúr. Veľa faktúr k nám chodí ešte na papieri a sú skenované. Tiež máme veľa roznych dodávateľov - roznych typov faktúr, takže použitie custom scriptov je zložité a nespolahlivé. Teraz fakútry ktoré ku nám chodia (okrem tých z XML prílohami) idú všetky cez LLM a automatikcy sa nahrávajú do systému, kde sú následne ešte skotrolované pracovníkom. Chybovosť je pod 5% a dokonca to nemá problém ani z ručne vypísaným faktúrami od drobných živnostníkov.
Najlepšie s mi zatiaľ osvecčili modely gemma4:26B alebo qwen3.6:35b. Beží to na AMD Ryzen AI Max+ 395 s 128GB RAM. Spracovanie jednej faktúry trvá medzi 30 - 60 sekund, čo nie je najrýchlejšie, ale pre moje účely to úplne stačí.