Poslední příspěvky

1

Software / Re:Lokální AI modely pro citlivá data

« Poslední příspěvek od XMen kdy Dnes v 11:55:05 »

Ano mate pravdu a v zasade mi citate myslienky 

Ono je otazka ci ma niekto skusenosti aj s mensimi modelmi (kludne pod 30B) a ci to ma vobec zmysel ich riesit. Alebo potom je otazka navrhnut si HW, ktory by bol este cenovo akceptovatelny. Ano chapem to je relativny pojem a pre kazdeho je miera cenovej akceptovatelnosti rozna. Bavme sa teda, ze ide o situaciu kde chce nieco taketo riesit jeden clovek (napr. zivnostnik), co sa dostal k projektu, ktory potrebuje takto riesit, pricom zakaznik mu nie je schopny poskytnut vykonny HW resp. nejake AI riesenie.

Co sa tyka cloudu, tam ste si odpovedal sam a presne to takto vidim aj ja.

2

Software / Re:Lokální AI modely pro citlivá data

« Poslední příspěvek od Jiri Dobry kdy Dnes v 11:30:37 »

Možností je více, ale pro lokální AI zaměřenou na programování je potřeba sáhnout poměrně hluboko do kapsy. Pro seriózní použití dávají smysl modely alespoň kolem 30 miliard parametrů. Menší modely sice mohou být použitelné pro jednodušší úlohy, ale při složitějším programování, práci s většími projekty nebo delším kontextem jejich limity rychle narazíte.

Tomu musí odpovídat i hardware. Pro modely kolem 30B parametrů ještě může stačit výkonná grafická karta s 24-32 GB VRAM. Pro větší modely už je zpravidla potřeba výrazně více paměti. Minimem je například zařízení typu NVIDIA DGX Spark se 128 GB sjednocené paměti, případně některý z výkonnějších počítačů Apple s čipem řady M4/M5 a alespoň 128 GB RAM. Je však potřeba počítat s tím, že při využití systémové paměti místo VRAM bude výkon znatelně nižší.

Rozumná vstupní investice začíná přibližně na 120 000 Kč, a i za tuto částku jde spíše o základní konfiguraci s určitými omezeními. Pokud chcete provozovat větší modely pohodlně, náklady mohou být výrazně vyšší.

Proto je první otázkou, na jakém hardwaru to chcete provozovat. Teprve podle toho má smysl řešit výběr konkrétního modelu a způsob nasazení. Alternativou je pronájem výpočetního výkonu v cloudu nebo primo konkretni stroj pres vast.ai . To může být vhodné pro testování nebo občasné použití, ale neřeší to hlavní důvod, proč mnoho lidí o lokálním provozu uvažuje: práci s citlivými daty, zdrojovými kódy nebo interní dokumentací, které nechtějí odesílat třetí straně.

3

O serveru Root.cz / Re:Neustálé odhlašování Root.cz

« Poslední příspěvek od Petr Krčmář kdy Dnes v 10:12:46 »

Víme o tom, děje se nám to taky a je to nahlášené vývojářům. Je tam nějaký problém s kešováním hlaviček a cookies. Nějaká nouzová oprava je od včerejška nasazená, ale vývojáři budou muset ještě uživatele asi párkrát odhlásit, jak budou řešit nějakou chybu v kódu. Pak by se to zase mělo chovat příčetně.

4

Software / Lokální AI modely pro citlivá data

« Poslední příspěvek od XMen kdy Dnes v 10:05:28 »

Zdravim. Chcem sa spytat, ci niekto nemate skusenosti s pouzitim mensich lokalnych AI modelov, ktore by ste prevadzkovali na nejakych lokalnych strojoch mensieho vykonu (napr. aj na pracovnych notebookoch). Ide o to, ze pracujem na projekte, ktory pouziva senzitivne data a rovnako obsahuje vela senzitivnych informacii (api, dokumentacia,...), ktore si netrufam zverejnovat cez klasicke AI modely ako gemini alebo claude. Chcel by som ale vyuzit ich vyhod a skusit vytvorit AI assistenta pri programovani. Otazka teda je, ci to ma zmysel a ci je to realizovatelne alebo by vystup takej AI bol velmi slaby a nepresny, zeby sa mi neoplatilo nad tym vobec uvazovat. Ano, chapem, ze plnohodnotne AI funguju na neskutocne vykonnych strojoch ale ako vravim, nemozem im doverovat a zverit data na analyzu, lebo nikto mi nevie garantovat co sa s nimi robi (rovnaky problem mam aj s cloud systemami).

5

O serveru Root.cz / Neustálé odhlašování Root.cz

« Poslední příspěvek od JmJ kdy Dnes v 09:55:24 »

Zdravim,

posledni cca tyden me root stale odhlasuje. Mozna ze prihlaseni vydrzi den, ale dele myslim ne. Volbu "zustat prihlasen" mam zaskrtnutou. Deje se mi to jak z mobilu, tak z desktopu.

6

Software / Re:Stahování videí z YouTube

« Poslední příspěvek od mzs24087 kdy Dnes v 09:02:58 »

Zapomněl jsem v úvodu napsat, že v rozlišení 360 to stáhnout šlo, ale nikoliv v 1080 (tady jenom přes web odděleně video a audio).

@Marek Staněk O legitimitě veřejně dostupných audiovizuálních děl se dá u YT úspěšně pochybovat, z čehož plyne i ona legitimita ochrany hlavního zdroje příjmů. Asi jako v případě uložto, přehrajto, Dailymotion atd.

7

Vývoj / Re:Nový systém pro vývoj softwaru

« Poslední příspěvek od Jiří Havel kdy Dnes v 08:59:44 »

To není, vymáčknout ze současných LLM funkční strojový kód hraničí s nemožností. Ale to je dáno v první řadě chybějícími trénovacími daty.

Zajímavé. Pro každý kousek zdrojáku v současných trénovacích datech můžeme jednoduše dostat několik odpovídajících kousků binárky. A to ještě jednodušeji než shánění současných trénovacích dat.

Já bych řekl, že to není v trénovacích datech záměrně. "lnk" to popsal dobře. Poslední co chceme je chroustat hory dat, které jsou informačně extrémně řídké a osekané. Klíčová informace ve zdrojácích jsou identifikátory a ty jsou takřka kompletně pryč.

Dekompilace a úpravy strojáku je extrémně náročná věc a má cenu ji dělat jen když není jiná možnost. A je úplně jedno, jestli to bude dělat AI nebo člověk. Ty potřebné skilly vezmou hromady zdrojů, které budou chybět jinde.

Moje reakce byla na nápad vymýšlet další zbytečný jazyk speciálně přizpůsobený LLM/AI, který by ani nemusel být čitelný pro člověka. Závěr, který si z toho měl čtenář udělat, je, že by to bylo zbytečné.

A proč by to bylo zbytečné? To jste jaksi nenapsal.

Akorát jste něco plácl a pak upřesnil i to, že sám víte že to takhle nejde.

8

Vývoj / Re:Nový systém pro vývoj softwaru

« Poslední příspěvek od Jožka Niemand kdy Dnes v 08:42:39 »

To není, vymáčknout ze současných LLM funkční strojový kód hraničí s nemožností. Ale to je dáno v první řadě chybějícími trénovacími daty.

Zajímavé. Pro každý kousek zdrojáku v současných trénovacích datech můžeme jednoduše dostat několik odpovídajících kousků binárky. A to ještě jednodušeji než shánění současných trénovacích dat.

Já bych řekl, že to není v trénovacích datech záměrně. "lnk" to popsal dobře. Poslední co chceme je chroustat hory dat, které jsou informačně extrémně řídké a osekané. Klíčová informace ve zdrojácích jsou identifikátory a ty jsou takřka kompletně pryč.

Dekompilace a úpravy strojáku je extrémně náročná věc a má cenu ji dělat jen když není jiná možnost. A je úplně jedno, jestli to bude dělat AI nebo člověk. Ty potřebné skilly vezmou hromady zdrojů, které budou chybět jinde.

Moje reakce byla na nápad vymýšlet další zbytečný jazyk speciálně přizpůsobený LLM/AI, který by ani nemusel být čitelný pro člověka. Závěr, který si z toho měl čtenář udělat, je, že by to bylo zbytečné.

9

Software / Re:Stahování videí z YouTube

« Poslední příspěvek od panpanika kdy Dnes v 08:39:32 »

muj yt-dlp to prave stahl

Kód: [Vybrat]

[youtube] Extracting URL: https://www.youtube.com/watch?v=k5VaW3Me21k
[youtube] k5VaW3Me21k: Downloading webpage
[youtube] k5VaW3Me21k: Downloading android vr player API JSON
[youtube] k5VaW3Me21k: Downloading web embedded client config
[youtube] k5VaW3Me21k: Downloading player 9c249f6f-main
[youtube] k5VaW3Me21k: Downloading web embedded player API JSON
[youtube] [jsc:deno] Solving JS challenges using deno
[youtube] k5VaW3Me21k: Downloading m3u8 information
[info] k5VaW3Me21k: Downloading 1 format(s): 399+251
[download] Sleeping 5.00 seconds as required by the site...
[download] Destination: Sonáta pro zrzku (Vít Olmer, 1980, celý film) [k5VaW3Me21k].f399.mp4
[download] 100% of  346.17MiB in 00:00:36 at 9.40MiB/s
[download] Destination: Sonáta pro zrzku (Vít Olmer, 1980, celý film) [k5VaW3Me21k].f251.webm
[download] 100% of   56.71MiB in 00:00:06 at 9.03MiB/s
[Merger] Merging formats into "Sonáta pro zrzku (Vít Olmer, 1980, celý film) [k5VaW3Me21k].webm"
Deleting original file Sonáta pro zrzku (Vít Olmer, 1980, celý film) [k5VaW3Me21k].f399.mp4 (pass -k to keep)
Deleting original file Sonáta pro zrzku (Vít Olmer, 1980, celý film) [k5VaW3Me21k].f251.webm (pass -k to keep)


10

Software / Re:Stahování videí z YouTube

« Poslední příspěvek od Marek Staněk kdy Dnes v 08:25:37 »

Zkouší to, že si chrání svůj hlavní zdroj příjmu, což je zcela legitimní.