Lokální LLM AI moduly

[Ondra Satai Nekola]

Int8 je 8 bit, takže 8G model při něm potřebuje 8GB. Ideálně vram nebo unifikované paměti. Stěhovat ho mezi ram a vram pořád dokola je zabiják výkonu.

[Reklama]

[jtrmal]

Jenom mirne ortogonalni podotek: bacha na Macy -- ten HW je skutecne neskutecne vykonny (s ohledem na spotrebu a dalsi parametry) a pytorch ma podporu hw akcelerace pres mps(? metal performance shaders, myslim ze se to tak jmenuje) ale pokud chcete pouzivat SoA veci tak obcas narazite na skutecnost ze pytorch balicky byly psane proste pro CUDA a basta. Kdyz jsem zkousel Phil4 tak jsem ho proste nespustil, protoze jak flash_attention a dalsi balicky jejichz jmeno se mi ted nevybavuji proste bez cudy nazdar. Mozna jde jak to resit v pripade Phil, nevim -- jen to vse neni tak idylicke jak to na povrchu (benchmarky nekolika modelu na mac) vypada.

[jtrmal]

ne Phil, myslel jsem Phi-4 Multimodal

[Ħαℓ₸℮ℵ ␏⫢ ⦚]

Int8 je 8 bit, takže 8G model při něm potřebuje 8GB. Ideálně vram nebo unifikované paměti.

A blbá otázka jak k tomu stěhování může dojít, co to může zapříčinit? Malé množství RAM,VRAM nebo jak

A jak to funguje na iGPU  AMD Ryzen 7000 +DDR5?  Selský rozum ríká, že to všechno  i s příkladem je unifikovaná paměť, ale nezkoumal jsem, jak to je .
Příklad mám 16 GB RAM (schválně jsem dal 15let starý state of art). Hraje roli nastavení Dedikovane RAM pro iGPU? Tedy, pokud nastavím minimum dedikované VRAM (třeba 4GB : systém vidí 11.75 GB  dostupné operační paměti), nějaká náročná hra si která chce 5GB si může ten 1GB alokovat z těch 11.75GB do "Shared VRAM".  Bude to z hlediska výkonu rozdíl, než když rovnou dám v BIOSu  dedikované 8GB ? Pro LLM využití - hru jsem dal jako příklad. (V Biosu jde dát maximum poloviny fyzické RAM jestli se něco nezmění)

Příklad 2: mám 96GB RAM, stále iGPU, čili by se všechno mělo všude vejít. Ale i tak, je potřeba si ohlídat nějakou konfiguraci, aby nedocházelo k stěhování?

Stěhovat ho mezi ram a vram pořád dokola je zabiják výkonu.

A jaké je hrubé výkonové srování, když žádné stěhování nebude , ale poběží to jen na integrované grafice RDNA3 + DDR5.
1. grafika střední třídy s dostatkem dedikované RAM (aby se nesrovnávala RTX 5080 s RDNA3)
2. grafika střední třídy s dedikovanou VRAM, dostatkem RAM, ale nedostatkem VRAM (velikostně  třeba půlka  vypočtené velikost modelu)
3. můj příklad iGPU(1+2), dostatek celkové(jediné) RAM ? (doufám kdy) nebude docházet   stěhování
4. můj příklad iGPU(1+2), ale s nějakou podmnkou/omezení, které zapříčiní stěhování ?


Jde mi o hrubý náčrt , jak si tyhle možnosti stojí relativně vůči sobě

[jerrym]

cože   1TB za $9.99, to jako že 1TB za 10USD no to asi ne ..
kde si to sehnal a na sestavení LLM potřebuješ aspon 50TB disk
pochop že někde se ty data musí nashromáždit a taky ten počítač
co naučí tu neuronovou síť ten asi taky nebude mít Ryzen 2600
no doma asi tak za 30 let   odhadem ... ale jako jestli seš miliardář
tak si klidně pěstuj doma 100TB disky .. .

[Reklama]

[Ħαℓ₸℮ℵ ␏⫢ ⦚]

,  ,

nevim co s to sem káknul do diskuze ty havrane,  jediný kdo zasel semínko "1TB" byl původní tazatel a ak už se o "TB" nikdo neotřel a na 100TB se našetří světe div se za 1000 U$D. což není za 30 let práce vývojáře embeded systému, ale i klidně za 30 dní práce opraváře proudových chráničů... Ono asi to nejde to provozovat od píky., spíš nějaké hotové modely má otázka je zda jde dělat něco jako inkrementální trénování AI, že vemu hotový LLAMA ale něco bych si dotrénoval ze svých dat nebo jako hotový a nový vzniklý model propojit, jestli se to takhle dá nazvat)
ale nejsem si jistý jestli pro tebe není lepší zůstat u opravy proudových chráničů a nebo si koupit(nebo vyvinou) nějaký embedded Corálek na AI.

děláš na mě dojem jako  nějaký zběhlý v všem jako ředitel Leonardo ∂'Vinci ale v naštvaném týmu v mateřské školce, co jim nejde internet od o2

[Ondrej Nemecek]

má otázka je zda jde dělat něco jako inkrementální trénování AI, že vemu hotový LLAMA ale něco bych si dotrénoval ze svých dat nebo jako hotový a nový vzniklý model propojit, jestli se to takhle dá nazvat)

Asi se ptáš na RAG https://cs.wikipedia.org/wiki/Retrieval-augmented_generation

[Wasper]

Int8 je 8 bit, takže 8G model při něm potřebuje 8GB. Ideálně vram nebo unifikované paměti. Stěhovat ho mezi ram a vram pořád dokola je zabiják výkonu.

Pardon, ale jaká je výhoda unifikované paměti kromě toho, že to stěhování dělá CUDA sama (a pěkně debilně alespoň na 12.7, když je na hraně s VRAM tak to úplně v klidu vyprodukuje tu nenáviděnou hlášku Out of CUDA memory), místo toho, aby to stěhovala aplikace/knihovna/blabla.to("gpu")

cit: "Under the hood, Unified Memory automatically migrates data between the host and device as needed. This means that when the host accesses data that is currently on the device, Unified Memory will automatically transfer it to the host memory, and vice versa. This migration is managed by the CUDA runtime, which tracks memory accesses and performs the necessary transfers transparently."

https://intro-to-cuda.readthedocs.io/en/latest/tutorial/unified_mem.html

[Petr Branik]

cože   1TB za $9.99, to jako že 1TB za 10USD no to asi ne ..
kde si to sehnal a na sestavení LLM potřebuješ aspon 50TB disk
pochop že někde se ty data musí nashromáždit a taky ten počítač
co naučí tu neuronovou síť ten asi taky nebude mít Ryzen 2600
no doma asi tak za 30 let   odhadem ... ale jako jestli seš miliardář
tak si klidně pěstuj doma 100TB disky .. .

taky jsem si nebyl jist ale kdyz se podivas na seagate, tak ten jejich domaci 24TB HDD je za $249... ja nejsem miliardar ale mam doma neco pres 1PB... nekdo utraci prachy za holky, nekdo za fet, nekdo si poridi HW...

[pruzkumbojem]

kladu si otazku zda 1 PB porna je instalace do HW nebo do holek

cože   1TB za $9.99, to jako že 1TB za 10USD no to asi ne ..
kde si to sehnal a na sestavení LLM potřebuješ aspon 50TB disk
pochop že někde se ty data musí nashromáždit a taky ten počítač
co naučí tu neuronovou síť ten asi taky nebude mít Ryzen 2600
no doma asi tak za 30 let   odhadem ... ale jako jestli seš miliardář
tak si klidně pěstuj doma 100TB disky .. .

taky jsem si nebyl jist ale kdyz se podivas na seagate, tak ten jejich domaci 24TB HDD je za $249... ja nejsem miliardar ale mam doma neco pres 1PB... nekdo utraci prachy za holky, nekdo za fet, nekdo si poridi HW...

[nonius]

Rozjel jsem na svém počítači Ministal-8B přes program llama.cpp. Fungujete to docela dobře, ale ten jazykový model neumí dobře česky. Jednoduchý český text sice pochopí, ale když něco napíše česky, tak je to občas nesrozumitelné, vymýšlí si slova a gramatika je také špatná. Máte nějakou zkušenost s LLM do 14B parametrů, která umí česky.

[pruzkumbojem]

v jinem vlakne se ptas na uceni anglictiny.

Pokud tim LLM necilis na specificky cesky business case, neinvestuj jednu minutu do cestiny a operuj pouze a pouze v Anglictine.  Predpokladam, ze "jsi IT"... pokud ne, si na spatnem foru. Pokud si IT ale nezvladas nastroje v anglictine, jsi ve spatnem oboru.

Rozjel jsem na svém počítači Ministal-8B přes program llama.cpp. Fungujete to docela dobře, ale ten jazykový model neumí dobře česky. Jednoduchý český text sice pochopí, ale když něco napíše česky, tak je to občas nesrozumitelné, vymýšlí si slova a gramatika je také špatná. Máte nějakou zkušenost s LLM do 14B parametrů, která umí česky.

[nonius]

V jiném vlákně se neptám, ale odpovídám a snažím se pomoci.
Anglicky umím velmi dobře a v IT oboru přímo nedělám. Dříve jsem psal programy pro PC, v současné době občas programuji průmyslové automaty.
Ten jazykový model jsem rozjel na svém domácím PC a zatím ho zkouším, co dovede. Chtěl bych to využít na práci s textem (kontrola, překlad, zjednodušení nebo prohledání textu). Zeptal jsem pouze na zkušenosti s používání češtiny u menších LLM. Prohledal jsem dost článků, ale moc jsem se toho nedozvěděl. Možná se někdo tady najde, kdo s tím má zkušenost. Nějaké LLM ještě zkusím, ale se stahováním tak velkých souborů mám docela problém.

[pruzkumbojem]

sorry, muj omyl.
jako omluvu jsem se zeptal kamose a mel velmi dobre (nikoly perfektni) zkusenosti s Gemma 3, provozovane na 5070 Ti 16GB

V jiném vlákně se neptám, ale odpovídám a snažím se pomoci.
Anglicky umím velmi dobře a v IT oboru přímo nedělám. Dříve jsem psal programy pro PC, v současné době občas programuji průmyslové automaty.
Ten jazykový model jsem rozjel na svém domácím PC a zatím ho zkouším, co dovede. Chtěl bych to využít na práci s textem (kontrola, překlad, zjednodušení nebo prohledání textu). Zeptal jsem pouze na zkušenosti s používání češtiny u menších LLM. Prohledal jsem dost článků, ale moc jsem se toho nedozvěděl. Možná se někdo tady najde, kdo s tím má zkušenost. Nějaké LLM ještě zkusím, ale se stahováním tak velkých souborů mám docela problém.

[nonius]

Díky za zprávu.