Fórum Root.cz
Hlavní témata => Software => Téma založeno: XMen 03. 06. 2026, 10:05:28
-
Zdravim. Chcem sa spytat, ci niekto nemate skusenosti s pouzitim mensich lokalnych AI modelov, ktore by ste prevadzkovali na nejakych lokalnych strojoch mensieho vykonu (napr. aj na pracovnych notebookoch). Ide o to, ze pracujem na projekte, ktory pouziva senzitivne data a rovnako obsahuje vela senzitivnych informacii (api, dokumentacia,...), ktore si netrufam zverejnovat cez klasicke AI modely ako gemini alebo claude. Chcel by som ale vyuzit ich vyhod a skusit vytvorit AI assistenta pri programovani. Otazka teda je, ci to ma zmysel a ci je to realizovatelne alebo by vystup takej AI bol velmi slaby a nepresny, zeby sa mi neoplatilo nad tym vobec uvazovat. Ano, chapem, ze plnohodnotne AI funguju na neskutocne vykonnych strojoch ale ako vravim, nemozem im doverovat a zverit data na analyzu, lebo nikto mi nevie garantovat co sa s nimi robi (rovnaky problem mam aj s cloud systemami).
-
Možností je více, ale pro lokální AI zaměřenou na programování je potřeba sáhnout poměrně hluboko do kapsy. Pro seriózní použití dávají smysl modely alespoň kolem 30 miliard parametrů. Menší modely sice mohou být použitelné pro jednodušší úlohy, ale při složitějším programování, práci s většími projekty nebo delším kontextem jejich limity rychle narazíte.
Tomu musí odpovídat i hardware. Pro modely kolem 30B parametrů ještě může stačit výkonná grafická karta s 24-32 GB VRAM. Pro větší modely už je zpravidla potřeba výrazně více paměti. Minimem je například zařízení typu NVIDIA DGX Spark se 128 GB sjednocené paměti, případně některý z výkonnějších počítačů Apple s čipem řady M4/M5 a alespoň 128 GB RAM. Je však potřeba počítat s tím, že při využití systémové paměti místo VRAM bude výkon znatelně nižší.
Rozumná vstupní investice začíná přibližně na 120 000 Kč, a i za tuto částku jde spíše o základní konfiguraci s určitými omezeními. Pokud chcete provozovat větší modely pohodlně, náklady mohou být výrazně vyšší.
Proto je první otázkou, na jakém hardwaru to chcete provozovat. Teprve podle toho má smysl řešit výběr konkrétního modelu a způsob nasazení. Alternativou je pronájem výpočetního výkonu v cloudu nebo primo konkretni stroj pres vast.ai . To může být vhodné pro testování nebo občasné použití, ale neřeší to hlavní důvod, proč mnoho lidí o lokálním provozu uvažuje: práci s citlivými daty, zdrojovými kódy nebo interní dokumentací, které nechtějí odesílat třetí straně.
-
Ano mate pravdu a v zasade mi citate myslienky ;)
Ono je otazka ci ma niekto skusenosti aj s mensimi modelmi (kludne pod 30B) a ci to ma vobec zmysel ich riesit. Alebo potom je otazka navrhnut si HW, ktory by bol este cenovo akceptovatelny. Ano chapem to je relativny pojem a pre kazdeho je miera cenovej akceptovatelnosti rozna. Bavme sa teda, ze ide o situaciu kde chce nieco taketo riesit jeden clovek (napr. zivnostnik), co sa dostal k projektu, ktory potrebuje takto riesit, pricom zakaznik mu nie je schopny poskytnut vykonny HW resp. nejake AI riesenie.
Co sa tyka cloudu, tam ste si odpovedal sam a presne to takto vidim aj ja.
-
Este mi tiez napadlo, neexistuje nejaky sposob ako velkost modelu (a teda jeho schopnosti) obmedzit iba na vybrane oblasti? Napr. programovanie v javascripte, pythone, java ale napr. nepotrebujem .NET, nepotrebujem psychoporadnu,.... Myslim, ze kedysi sa robieval trening AI modelu inym vykonnejsim AI modelom s vyuzitim obmedzenia oblasti, ktore ma zvladat.
-
Problem vykonneho hw lze vyresit sdilenim/centralizaci vypocetniho uzlu ktery je stale pod vlastni kontrolou (coz je tak nejak i vhodne, protoze tenky klient v podobe notebooku typicky neutahne zadny rozumny AI model - ani kdyz propaguje xyz NPU cicovin.. tak ty jsou nepouzitelne v tomto objemu / na genericke uziti v llm).
A ten subset by me zajimal taky - treba bych rad kdyby muj LLM slice vedel zas vsechno o HDL a klasicke programovani ci znalosti o biologii, zemepisu a jinych blbosti neresil. Zrejme by to vyzadovalo in-house trenovani a to je otazka kde prijit k nejakemu dobremu zdroji.. muzete mit mirror z github projektu, ale pak treba skeny knizek a ucebnic - by zas vyzadovali tu druhou pulku mozku, co pochopi i psanej text, zejo.
-
Qwen, Nemotron a nebo Gemma jsou celkem použitelné okolo velikosti 30B. Provozovat je lze na relativně slabém hardware pokud jsou to MoE verze stačí i běžná GPU s 16GB VRAM a nebo starší server s mnoha jádry. Výkon je cca 50 tokenů za sekundu na consumer hardware.
-
Otazka teda je, ci to ma zmysel a ci je to realizovatelne alebo by vystup takej AI bol velmi slaby a nepresny, zeby sa mi neoplatilo nad tym vobec uvazovat.
Vždyť si to můžeš vyzkoušet, téměř bez vstupních nákladů. Spousta modelů, které připadají v úvahu (příklad (https://openrouter.ai/qwen/qwen3.6-35b-a3b)), je dostupná na OpenRouteru hostovaná západními společnostmi s cenami pod dolar za milion tokenů. Gemma 4 je dokonce pro všechny s Google účtem (i osobním) zdarma s dost velkými limity. Nabij si pár dolarů na OpenRouter a zkus si s tím programovat (určitě máš i nějaké projekty, co nejsou tak tajné, a můžeš si to na nich vyzkoušet). Takto si vyzkoušíš, jestli to dává smysl, jaké modely ti vyhovují, a pak si podle toho koupíš správný HW pro lokální provoz. Kromě zjevného řešení s GPU jsou populární nějaké Macy, ale nezkoušel jsem.
pokud jsou to MoE verze stačí i běžná GPU s 16GB VRAM
To bude nějaká Q3, ne? To už bych se bál že bude výrazně hloupější.
-
Kromě zjevného řešení s GPU jsou populární nějaké Macy, ale nezkoušel jsem.
No tazka ci su Macy dostatocne dobre na to aby to zvladali alebo radsej sa pozerat po nejakej zostave s vykonnou GPU? Znovu je to teda otazka na pomer cena/vykon.
-
maca bych si poridil na lokalni llm, ale zatim furt zjistuju zda grafarna nvidia s dostatkem pameti je lepsi varianta.
jsem zvedav jake budou notebooky s nvidia n1x a pozdeji s rtx spark.
ja asi pujdu do maca se sdilenou pameti.
-
Este mi tiez napadlo, neexistuje nejaky sposob ako velkost modelu (a teda jeho schopnosti) obmedzit iba na vybrane oblasti? Napr. programovanie v javascripte, pythone, java ale napr. nepotrebujem .NET, nepotrebujem psychoporadnu,.... Myslim, ze kedysi sa robieval trening AI modelu inym vykonnejsim AI modelom s vyuzitim obmedzenia oblasti, ktore ma zvladat.
Niekde som zachytil uveriteľnú hypotézu, že obmedziť LLM model na nejaký jazyk a mať vysokú kvalitu vpodstate neušetrí nič, lebo pri využívaní modelu nám pomáhajú znalosti mimo jazyku. Či už poviem ruby on rails, že má rešpektovať X-Forwarded-For header (a potrebuje rfc headeru poznať, poznať http protokol, poznať teóriu okolo proxy a pre overenie potrebuje poznať curl, postman, alebo podobne), alebo, že chcem web formulár na zadanie faktúry (potrebuje aspoň vyhalucinovať potrebné fieldy pre naše zákon,. Ičo, dič, adresa, majiteľ, bankové spojenie,... Potrebuje ukážku hodnoty každého políčka, aby to tam tím šedým fontom predvyplnil a iné ukážky s okrajovými prípadmi pre napísanie testov, ...)...
Proste programovanie, syntax jedného jazyka, je málo znalostí. Čo zaberá miesto, je znalosť sveta. Frameworky, nástroje, ľudský jazyk, business knowledge a podobne.
Ja tomu vcelku verím a moja skúsenosť s menšími jazykmi je taká, že stačí 32GB ram, nejaké rozumné 8 jadro cpu aspoň a (to najdôležitejšie), dobre odladený prompt/postup, ktorý dobre funguje na konkrétnu úlohu. Následne má zmysel tú úlohu púšťať dookola a za asi desatinovú cenu oproti "cloudu". Toto je aktuálne jediné zmysluplné využitie lokálnej LLM. Opakovateľná úloha, ktorá má zmysel a je odladená.
Pre použitie na ad-hoc úlohy malý model IMHO nemá zmysel.
-
Ja tomu vcelku verím a moja skúsenosť s menšími jazykmi je taká, že stačí 32GB ram, nejaké rozumné 8 jadro cpu aspoň a (to najdôležitejšie), dobre odladený prompt/postup, ktorý dobre funguje na konkrétnu úlohu. Následne má zmysel tú úlohu púšťať dookola a za asi desatinovú cenu oproti "cloudu". Toto je aktuálne jediné zmysluplné využitie lokálnej LLM. Opakovateľná úloha, ktorá má zmysel a je odladená.
A není pak lepší nechat ten velký LLM vytvořit nějaký skript a pak ho jen opakovaně spouštět?
-
A není pak lepší nechat ten velký LLM vytvořit nějaký skript a pak ho jen opakovaně spouštět?
Jsou úlohy, kde to prostě neuděláš, nebo se to nevyplatí. LLM si velmi dobře poradí s fuzzy vstupem, zatímco ten skript se ti velmi snadno rozbije, jakmile je něco trošku jinak. Takže pokud je to třeba něco, co pouštíš jednou týdně, ta LLM to zvládá (a když náhodou něco dost podělá, tak to můžeš detekovat a pustit znovu), zatímco skript budeš každý druhý týden opravovat...
No tazka ci su Macy dostatocne dobre na to aby to zvladali alebo radsej sa pozerat po nejakej zostave s vykonnou GPU? Znovu je to teda otazka na pomer cena/vykon.
V určitém rozsahu ten Mac vyjde výrazně lépe, protože pro typicky potřebuješ co nejvíc VRAM a GPU s velkou VRAM jsou teď extra drahé. Například 48GB Mac Mini se sdílenou pamětí stojí na Alze co, 60k? Zatímco AI akcelerátor s obdobně velkou VRAM seženeš tak za dvojnásobek a víc (hráčskou GPU neseženeš vůbec) a k tomu musíš koupit ještě zbytek serveru. (Nebo budeš mít za stejnou cenu jen poloviční VRAM.) U toho Macu sice nebudeš mít takovou rychlost výpočtů, ale vleze se ti tam ten větší a schopnější model za mnohem menší cenu. Plus, pokud to máš na always-on domácí šolíchání a sedí ti to hromadu času v idle, tak ten rozdíl ve spotřebě mezi Mac Mini a big tower se taky projeví.
-
Záleží na použití.
Z vlastní zkušenosti s Mac mini M4 / 24GB RAM, vyhrazeným pouze na hrátky s LLM:
- i starší RTX 3070 je několikanásobně rychlejší než M4 (ale taky žere 10x tolik elektřiny)
- je velký omyl myslet si, že když se model vejde do (V)RAM tak máte vyhráno - je potřeba počítat s místem pro kontextové okno. Čím delší vstup a složitější prompt, tím větší je potřeba.
- qwen 2.5-coder:14b dokáže v pohodě přepisovat několik set řádkové scripty (PHP, JS, html/css, python ...) - sežere i s rozumným kontextovým oknem 21GB RAM (systém je upravený aby umožnil Ollama démonu alokovat 90% RAM a nepoužívám GUI, takže 3GB pro OS stačí) - není to nejrychlejší, ale vezme si při práci 20W a běží nonstop :)
- použití lokálního LLM jako agenta je dost problém kvůli potřebné velikosti kontextu a taky je (pro smyslupnou práci) nutné mít chytřejší model - třeba qwen 3.5-agent:latest - tady už 24GB nestačí a hodil by se dvojnásobek (model se při rozumné kvantizaci rozjel, ale neměl dost místa pro kontext a brzo začal halucinovat).
- Hloupější LLM zpravidla neumí používat nástroje - tady vidím největší omezení - například si nic nedohledá na webu, neověří výstup kódu atd. Zatímco třeba Claude už umí ladit scripty přes Chrome DevTools :)
Teď zkouším nějakou netriviální práci s texty a tvorbu jednoduchých scriptů - tam 24GB sdílené RAM není na překážku. Za 20k Kč na hraní ideál - malá krabička hozená pod stolem, není slyšet a skoro netočí elektroměrem a slouží jako LLM backend pro aplikace běžící někde na VPS :)
Pro kompletně lokální vývoj bych potřeboval tak 128GB RAM a o kus rychlejší procesor, ale to už je úplně jiná cena za HW.
Pokud nechci pustit cloudový LLM ke kódu - teoreticky se dá použít třeba Claude jako plánovač a agent pro nástroje + lokální model jako kodér a tím odklonit Claude od kódu. (A jako bonus ušetřit spoustu tokenů). Ale je potřeba použít vhodný plugin (ve VSCode možná Roo Coder) a hlavně ho správně nastavit. Tam bych ale raději vyměnil grafiku v PC za 16GB model a šel touto cestou.
-
A není pak lepší nechat ten velký LLM vytvořit nějaký skript a pak ho jen opakovaně spouštět?
Ja napriklad použivvam lokalny LLM na získavanie inofmácií z faktúr. Veľa faktúr k nám chodí ešte na papieri a sú skenované. Tiež máme veľa roznych dodávateľov - roznych typov faktúr, takže použitie custom scriptov je zložité a nespolahlivé. Teraz fakútry ktoré ku nám chodia (okrem tých z XML prílohami) idú všetky cez LLM a automatikcy sa nahrávajú do systému, kde sú následne ešte skotrolované pracovníkom. Chybovosť je pod 5% a dokonca to nemá problém ani z ručne vypísaným faktúrami od drobných živnostníkov.
Najlepšie s mi zatiaľ osvecčili modely gemma4:26B alebo qwen3.6:35b. Beží to na AMD Ryzen AI Max+ 395 s 128GB RAM. Spracovanie jednej faktúry trvá medzi 30 - 60 sekund, čo nie je najrýchlejšie, ale pre moje účely to úplne stačí.
-
Pro pobavení - jak přemýšlí lokální model qwen 2.5-coder (jinak celkem solidní, ale zjevně má trochu problém s češtinou) (https://i.ibb.co/sv8qhrBB/Screenshot-2026-06-03-223405.png) (https://ibb.co/ynHqDJ33)
-
Pro pobavení - jak přemýšlí lokální model qwen 2.5-coder (jinak celkem solidní, ale zjevně má trochu problém s češtinou) (https://i.ibb.co/sv8qhrBB/Screenshot-2026-06-03-223405.png) (https://ibb.co/ynHqDJ33)
To je skoro 2 roky starý model, ne? Je pro to nějaký důvod? (už je Qwen 3.6, obdobných velikostí).
-
To je skoro 2 roky starý model, ne? Je pro to nějaký důvod? (už je Qwen 3.6, obdobných velikostí).
Snažím se nechodit u modelů pod 4bit kvantizaci a nechávat místo pro 3GB kontextu. Nejmenší Qwen 3.6 IQ4_XS má 19GB a to už prostě nevychází :(
I když teď někde vychvalovali TurboQuant od Google, že umí solidně i 3bit, tak bych to mohl zkusit.
-
Z vlastní zkušenosti s Mac mini M4 / 24GB RAM, vyhrazeným pouze na hrátky s LLM:
- i starší RTX 3070 je několikanásobně rychlejší než M4 (ale taky žere 10x tolik elektřiny)
A co treba aktualni Intel B70 (32GB, cca 20 tis) ?
Je to vykonove cca jako RTX PRO 4000 (24GB, cca 40-48 tis)
Viz testy zde: https://www.youtube.com/watch?v=RcIWhm16ouQ
-
A co treba aktualni Intel B70 (32GB, cca 20 tis) ?
Je to vykonove cca jako RTX PRO 4000 (24GB, cca 40-48 tis)
Viz testy zde: https://www.youtube.com/watch?v=RcIWhm16ouQ
Hmm, pěkný tip. Intel Arc Pro B70 32 GB ... u nás v obchodech cca 25k Kč bez DPH. Rychlé je to dost. Dokonce ECC RAM. Časem se dá přidat další karta a provozovat 64GB. Otázka zní jaká bude podpora - ovladače, potřeba extra knihovny pro ollama atd.
-
Pro pobavení - jak přemýšlí lokální model qwen 2.5-coder (jinak celkem solidní, ale zjevně má trochu problém s češtinou) (https://i.ibb.co/sv8qhrBB/Screenshot-2026-06-03-223405.png) (https://ibb.co/ynHqDJ33)
Je to pochopiteľná mýľka, lebo je nemecké pečivo, ktoré sa volá purzel (druh koblihy) a kotrmelec sa povie purzelbaum. Rozumiem, že je to nesprávne ale tuším, odkiaľ na to prišiel.
-
Tiez pokukavam po tom aky setup si zariadit na lokalne AI, resp s aktualnym setupom ako z neho dostat co najviac, kedze "free ride" pomaly ale isto konci a tie ucty za AI poletia do minimalne stoviek eur za mesiac, nie ako teraz ze si vystacim s 20€ planom u claude-u (vid napriklad github copilot zmeny za posledny mesiac).
Dost sa (by som povedal) propaguje 128GB unifikovanej pamete ako maju napriklad DSG Spark, Mac Studio (niektore z nich / pripadne ine modely), AMD Strix Halo. Lenze ako dobre vieme, cim lepsi model, tim viac pamete treba (a aj cip co to pocita, nie je to len o pameti).
Moja otazka/myslienka nad ktorou premyslam je: kde sa zastavia HW parametre aby sme mali taky ten "dlhodoby sweat spot"?
Pretoze ked sa pozriem napriklad na multiplier u github copilota, kolko si uctuju za jednotlive modely, tak tie najnovsie najschopnejsie modely mavaju multiplier 27 (opus 4.6+) az po 57 (GPT 5.5). Najlepsie free modely sa hovori ze su pozadu zhruba pol roka za najlepsimi platenymi modelmi. Pravdaze tiez s adekvatnymi HW poziadavkamy, ak si niekto mysli ze bude prevadzkovat najlepsie modely na thinkpade s 16GB ram a Intel i5- tretej generacie, tak ma smolika. Pretoze najnovsi deepseek V4 pro (ten vacsi model s 1.6T parametrami, ten mensi sa vola flash a ma 284B parametrov) vraj potrebuje 8x H200 grafiky (kazda jedna stoji 30k+ eur) na svoj beh, co je proste nerealisticke pre bezneho cloveka mat doma.
Preco to spominam? Ide mi o to, aby si clovek nekupil za X tisic eur krabicku, ktora mu o rok/dva, nebude schopna utiahnut ani "bezne dobre modely" - nehovorim o top tier modeloch ako napriklad deepseek v4 pro, ale napriklad o ich 70B modely ktory si dnes vystaci so 128GB, pripadne od inych firiem. Aby proste o rok dva nemali ludia doma na stole drahu krabicku a pokukovali po novej drah(s)ej krabicke.
Aky je vas nazor na toto? Sme uz HW zastabilizovany? Budu sa nove modely zlepsovat pri udrzani aktualnych HW poziadaviek alebo to poleti vyssie?
-
Nechtěl jsem s tím obtěžovat ale nakonec mi to stejně nedá: k čemu vlastně potřebujete soukromé lokální modely? Neřekl bych ani popel, kdyby šlo o investici řekněme do 200 USD ale k čemu vám soukromě jinak budou? Chápu, že pokud se někdo IT živí jako klasický živnostník, je to jeho pracovní nástroj. Chápu totéž z téhož důvodu ve firmě libovolné velikosti. Ale pokud je člověk zaměstnanec, AI je prostě pracovní nástroj, který očekávám od zaměstnavatele.
Samozřejmě ne, že by se nehodila pro soukromé projekty. Ale kupovat kvůli tomu grafiku za čtyřicet tisíc a stroj za dalších třicet (a to ještě s velkým štěstím), to bych asi musel hodně nevědět co s penězi. Navíc i kdybych chtěl, vzhledem k rozvoji NPU jednotek a obecně specializovaných ASIC je kupovat drahý hardware pokud neexistuje bezprostředně ekonomický obhajitelný důvod poněkud předčasné. A fakt se ptám ze zájmu, nikomu to ani neberu ani to není žádný hate.
-
Tiez pokukavam po tom aky setup si zariadit na lokalne AI, resp s aktualnym setupom ako z neho dostat co najviac, kedze "free ride" pomaly ale isto konci a tie ucty za AI poletia do minimalne stoviek eur za mesiac, nie ako teraz ze si vystacim s 20€ planom u claude-u (vid napriklad github copilot zmeny za posledny mesiac).
Free ride zatím nekončí všude - tohle mám vyzkoušené a funguje to velmi dobře (připadá mi že výrazně lépe než podobně levný DeepSeek V4 Pro): https://platform.xiaomimimo.com/docs/en-US/news/v2.5-price-update
Dokud budou k dispozici nabídky za takhle nízké ceny (a je mi jedno že na tom poskytovatelé nejspíš prodělávají) tak je rozumné investici do vlastního hardware odložit, protože díky rychlosti vývoje bude za ty samé peníze v budoucnu k dispozici lepší hardware.
-
Nechtěl jsem s tím obtěžovat ale nakonec mi to stejně nedá: k čemu vlastně potřebujete soukromé lokální modely? Neřekl bych ani popel, kdyby šlo o investici řekněme do 200 USD ale k čemu vám soukromě jinak budou? Chápu, že pokud se někdo IT živí jako klasický živnostník, je to jeho pracovní nástroj. Chápu totéž z téhož důvodu ve firmě libovolné velikosti. Ale pokud je člověk zaměstnanec, AI je prostě pracovní nástroj, který očekávám od zaměstnavatele.
Samozřejmě ne, že by se nehodila pro soukromé projekty. Ale kupovat kvůli tomu grafiku za čtyřicet tisíc a stroj za dalších třicet (a to ještě s velkým štěstím), to bych asi musel hodně nevědět co s penězi. Navíc i kdybych chtěl, vzhledem k rozvoji NPU jednotek a obecně specializovaných ASIC je kupovat drahý hardware pokud neexistuje bezprostředně ekonomický obhajitelný důvod poněkud předčasné. A fakt se ptám ze zájmu, nikomu to ani neberu ani to není žádný hate.
Treba u me - vyzkousel jsem to u kamose - jo, vypada to pouzitelne, ale je tu ALE - nechci byt zavisly na rozmaru dodavatele sluzby, zda to pojede / nepojede, nechci byt zavisly na cenove fluktuaci - kazdy vime ze se zdanliva nizka cena muze rychle promitnout v znacny zavazek - a nechci byt nekoho otrokem (abych nahanel sve zakazky jen proto, abych uzivil vycuraneho dodavatele.. viz problem adobe subscriptions). A pak je treti bod - citliva data nemuzou opustit vlastni infrastrukturu - mate podepsane NDA, tak tomu musite vyhovet. Dale je zde znacna neduvera ve vytezovani poskytnutych dat - proc bych mel prispivat k uniku vlastnich znalosti ktere sluzba preda konkurenci ?
Tech jednorazovych 40-80K vas opravdu trapi, kdyz je rozumny obrat na hlavu 2-3 mega?
A i kdyby melo jit pouze o hobby - vemte si kolik lidi vlastni M-kove BMW.. pritom v zivote nebyli na zadne soutezi ucastnikem. Proste to lidi bavi - coz je jenom dobre - touhla a zvedavost nas dela necim vice, nez stroji.
-
Nechtěl jsem s tím obtěžovat ale nakonec mi to stejně nedá: k čemu vlastně potřebujete soukromé lokální modely? Neřekl bych ani popel, kdyby šlo o investici řekněme do 200 USD ale k čemu vám soukromě jinak budou? Chápu, že pokud se někdo IT živí jako klasický živnostník, je to jeho pracovní nástroj. Chápu totéž z téhož důvodu ve firmě libovolné velikosti. Ale pokud je člověk zaměstnanec, AI je prostě pracovní nástroj, který očekávám od zaměstnavatele.
Samozřejmě ne, že by se nehodila pro soukromé projekty. Ale kupovat kvůli tomu grafiku za čtyřicet tisíc a stroj za dalších třicet (a to ještě s velkým štěstím), to bych asi musel hodně nevědět co s penězi. Navíc i kdybych chtěl, vzhledem k rozvoji NPU jednotek a obecně specializovaných ASIC je kupovat drahý hardware pokud neexistuje bezprostředně ekonomický obhajitelný důvod poněkud předčasné. A fakt se ptám ze zájmu, nikomu to ani neberu ani to není žádný hate.
Tak jako cokoliv co nahraješ do nějakého modelu na netu je někam uloženo. O tom jak moc informací je z toho balíku použito dál a k čemu se už moc (nic) neví. Dobrovolně nahrávat svoje soukromé konverzace, osobní data, soukromé fotky svoje, svých blízkých bůchvíkam, aby se v tom mohl hrabat kdokoliv, nebo generovat z toho cokoliv třeba mi osobně nepříjde jako nejlepší nápad.
-
Ale kupovat kvůli tomu grafiku za čtyřicet tisíc a stroj za dalších třicet (a to ještě s velkým štěstím), to bych asi musel hodně nevědět co s penězi.
Například to může být dual-use: Ten stroj bych stejně kupoval kvůli hrám, ale můžu si na tom líp pouštět i AI (těch 70k není ani omylem něco, o čem by člověk tady neslyšel). Nebo to nechci jen používat, ale i trénovat, a fakt nechci nahrávat svoje trénovací, krásně anotovaná data, do nějakého cloudu. Nebo chci experimentovat.
Tak jako cokoliv co nahraješ do nějakého modelu na netu je někam uloženo. O tom jak moc informací je z toho balíku použito dál a k čemu se už moc (nic) neví.
FYI, korporáty fungují (i s AI) zhruba na principu "data jsou na těch cloud serverech zaširovaná klíčema, které jsou na našich vlastních serverech, odemyká se to jen do paměti, a ten (AI) poskytovatel mává hromadou papírů s certifikací a zaručují se, že nemají možnost se k tomu skrz své procesy dostat." Prostor ke špehování by se tam našel, ale vědomě v téhle situaci lhát většina firem nechce, nebo aspoň ne moc. U nás koncáků je ale situace dost jiná.