Fórum Root.cz
Ostatní => Odkladiště => Téma založeno: Pavel... 25. 08. 2023, 09:20:58
-
tak si myslism, ze by som si mal doma spravit a udrzovat nejake vlastne "AI" typu "ChatGPT".
Lenze den ma len 24 hodin a neviem sa dostat k nastudovaniu veci a realizacii.
Zlahka som raz ukecal jedneho dodavatela, nech mi nieco take ukaze, zjavne nieco take ide zrealizovat.
Nema niekto nejaku prakticku skusenost a navod typu:
- kup si herne PC zo slusnou grafikou / krabicku na dolovanie BTC / bazarovy notebook / ...
- tu je AI od Facebooku, ktora je momentalne na spici moznosti
- tu je trivialny navod, ako to rozbehat
- tu ukazka pre blbych, ako to pouzit
?
dik :)
-
Kolik jsi ochoten platit za hodinu konzultaci? Das 150 EUR aby nekomu stalo za to se tim pro tebe specialne zabyvat?
-
Tohle rádi používáme pro učení nováčků, https://github.com/microsoft/AI-For-Beginners. Tady máš jednu z tisíce implementací openAI api, kterou si můžeš provozovat sám https://github.com/go-skynet/LocalAI.
Na herních grafikách to je nic moc a rychle se upotí, mají zbytečně velkou spotřebu. Na projekty kupujeme Nvidia H100, což ale stojí jako nový auto. Osobně mám doma 4x nvidia Quadro RTX A4000 a jsem docela překvapen s tím, že se nad tím dá také něco trénovat (jsou to ale dny, někdy i týdny podle velikosti dat), koupíš to v běžném obchodě.
Ty AI na špici domů nedostaneš, hlavní špici totiž nedělá ani tak samotný natrénovaný model, ale všechny ty filtry, transformace a kontroly okolo, ona i příprava vstupu je vyšší dívčí. Model je jen část úspěchu.
Otázka co s tím chceš dělat, pokud nad tím budovat produkty, tak jdi do SaaS, třeba Azure OpenAI je dobře postavené. Pokud tě to zajímá, můžeš si s tím hrát sám doma, ale nic z toho jako produkt nebude, pro mě je práce s daty koníček a dělám to dlouho pracovně i osobně.
-
Kolik jsi ochoten platit za hodinu konzultaci? Das 150 EUR aby nekomu stalo za to se tim pro tebe specialne zabyvat?
vies, ze aj ano? :)
neveril by si kolkokrat som chcel nieco tohto typu za peniaze a vacsinou som nikoho nenasiel.
Keby som nasiel cloveka, ktoremu by som mohol raz-za-cas hodit nech za mna stravi den zivota niecim tohto typu, bol by som nadseny :P
-
vdaka pozriem.
to co chcem s sklada z viac veci:
- myslim si, ze by som mal aspon ramcovo mat prehlad v tomto smere
- mam par napadov ako to pouzit a rozhodne nechcem byt rukojemnikom niekoho na druhom konci zemegule
Trenovanie ako take ma nezaujima.
Mam predstavu, mozno nespravnu, ze sa da stiahnut "hotovy natrenovany model" s ktorym si mozem hned pokecat.
Tohle rádi používáme pro učení nováčků, https://github.com/microsoft/AI-For-Beginners. Tady máš jednu z tisíce implementací openAI api, kterou si můžeš provozovat sám https://github.com/go-skynet/LocalAI.
Na herních grafikách to je nic moc a rychle se upotí, mají zbytečně velkou spotřebu. Na projekty kupujeme Nvidia H100, což ale stojí jako nový auto. Osobně mám doma 4x nvidia Quadro RTX A4000 a jsem docela překvapen s tím, že se nad tím dá také něco trénovat (jsou to ale dny, někdy i týdny podle velikosti dat), koupíš to v běžném obchodě.
Ty AI na špici domů nedostaneš, hlavní špici totiž nedělá ani tak samotný natrénovaný model, ale všechny ty filtry, transformace a kontroly okolo, ona i příprava vstupu je vyšší dívčí. Model je jen část úspěchu.
Otázka co s tím chceš dělat, pokud nad tím budovat produkty, tak jdi do SaaS, třeba Azure OpenAI je dobře postavené. Pokud tě to zajímá, můžeš si s tím hrát sám doma, ale nic z toho jako produkt nebude, pro mě je práce s daty koníček a dělám to dlouho pracovně i osobně.
-
vdaka pozriem.
to co chcem s sklada z viac veci:
- myslim si, ze by som mal aspon ramcovo mat prehlad v tomto smere
- mam par napadov ako to pouzit a rozhodne nechcem byt rukojemnikom niekoho na druhom konci zemegule
Trenovanie ako take ma nezaujima.
Mam predstavu, mozno nespravnu, ze sa da stiahnut "hotovy natrenovany model" s ktorym si mozem hned pokecat.
Teď čtu na Lupě, https://www.lupa.cz/aktuality/chcete-delat-strojove-uceni-a-llm-ale-ne-infrastrukturu-resi-to-startup-zainvestovany-cechy/, to také vypadá dobře, https://github.com/dstackai/dstack, ale neznal jsem a nemám zkušenosti.
Zastav se na https://prg.ai/podzimni-dny-ve-znameni-umele-inteligence/, třeba tam potkáš lidi a zjistíš více informací.
Ano, dá se stáhnout natrénovaný jazykový model, s kterým můžeš kecat, to je zrovna třeba ten https://github.com/go-skynet/LocalAI.
Rukojmí budeš vždy, protože na ty největší modely prostě nedosáhnout snadno ani naše největší firmy. Pro jednu banku jsme trénovali jejich chatbota, 4 měsíce v kuse, náklady jen na trénování skoro 10m. Natrénovat vlastní ChatGPT 4 znamená skoro 1 mld dolarů (kdyby teda MS nevyužil svoje volné servery a musel si je platit podle ceníku), to jen pro představu jaká obrovská bariéra tam je.
Problém je, když z toho natrénovaného modelu chceš udělat produkt, tam už je lepší si řešení jako SaaS pronajmout, protože licence, oprávnění, legislativa, to není vůbec snadné. Pro vlastní hraní to ale řešit nemusíš.
-
vdaka, poznacil som si to Brno do kalendaru.
Myslim si, ze vyvoj pojde smerom k prudkemu znizovaniu ceny za to ucenie.
Zatial chcem byt len pripraveny a offline to pouzit na ziskanie vystupov.
Najjednoduchsi priklad typoveho vyuzitia: necham to vygenerovat kazde rano slovnu ulohu z matematiky pre dieta :).
Pripadne ine ideologicky zavadne veci: oslavna basnicka na Trumpa, material pre 18+, .. :P
Teď čtu na Lupě, https://www.lupa.cz/aktuality/chcete-delat-strojove-uceni-a-llm-ale-ne-infrastrukturu-resi-to-startup-zainvestovany-cechy/, to také vypadá dobře, https://github.com/dstackai/dstack, ale neznal jsem a nemám zkušenosti.
Zastav se na https://prg.ai/podzimni-dny-ve-znameni-umele-inteligence/, třeba tam potkáš lidi a zjistíš více informací.
Ano, dá se stáhnout natrénovaný jazykový model, s kterým můžeš kecat, to je zrovna třeba ten https://github.com/go-skynet/LocalAI.
Rukojmí budeš vždy, protože na ty největší modely prostě nedosáhnout snadno ani naše největší firmy. Pro jednu banku jsme trénovali jejich chatbota, 4 měsíce v kuse, náklady jen na trénování skoro 10m. Natrénovat vlastní ChatGPT 4 znamená skoro 1 mld dolarů (kdyby teda MS nevyužil svoje volné servery a musel si je platit podle ceníku), to jen pro představu jaká obrovská bariéra tam je.
Problém je, když z toho natrénovaného modelu chceš udělat produkt, tam už je lepší si řešení jako SaaS pronajmout, protože licence, oprávnění, legislativa, to není vůbec snadné. Pro vlastní hraní to ale řešit nemusíš.
-
Tady je parádní blog na tohle téma:
https://www.abclinuxu.cz/blog/bystroushaak/2023/4/jak-na-vlastni-llm-gpt (https://www.abclinuxu.cz/blog/bystroushaak/2023/4/jak-na-vlastni-llm-gpt)
-
dik :)
Tady je parádní blog na tohle téma:
https://www.abclinuxu.cz/blog/bystroushaak/2023/4/jak-na-vlastni-llm-gpt (https://www.abclinuxu.cz/blog/bystroushaak/2023/4/jak-na-vlastni-llm-gpt)
-
Jestli si chceš hrát, tak asi takhle:
- Pořiď si nVidia s co nejvíc RAM v rámci limitu, co sis na to nastavil (RTX3060 má 12GB za cca 8k, cokoli míň se ti vymstí při učení resp. neučení, jestli máš na 24GB, jdi do toho.)
- Zbytek narvi do RAM, alespoň 32GB to chce určitě, 64GB se odvděčí.
- Počítej několik tera na různé modely, tréningová data (no terovej SSD pro začátek asi OK, pak časem uvidíš)
Pak začni třeba s https://github.com/nomic-ai/gpt4all případně se staršími modely https://github.com/cocktailpeanut/dalai a dál už sám.
P.S. Ty dva odkazy ti pojedou i na slabém PC bez grafiky. Ale tu budeš stejně potřebovat na skoro cokoli
-
dik,
pozeram na cenu HW, v Alze najlacnesie na uvod: https://www.alza.sk/alza-battlebox-ryzen-rtx3090-quiet-d6466944.htm 2000e :)
no keby som to zamaskoval v rodinnom rozpocte, ako herny pocitac pre dieta na Vianoce... :P
asi skusim ako prvy nastrel nejaku VM na Amazone, nech nekupim nejaku drahu blbost
ide par volnych dni, hadam sa mi jedno poobedie podari alokovat na tento experiment.
Jestli si chceš hrát, tak asi takhle:
- Pořiď si nVidia s co nejvíc RAM v rámci limitu, co sis na to nastavil (RTX3060 má 12GB za cca 8k, cokoli míň se ti vymstí při učení resp. neučení, jestli máš na 24GB, jdi do toho.)
- Zbytek narvi do RAM, alespoň 32GB to chce určitě, 64GB se odvděčí.
- Počítej několik tera na různé modely, tréningová data (no terovej SSD pro začátek asi OK, pak časem uvidíš)
Pak začni třeba s https://github.com/nomic-ai/gpt4all případně se staršími modely https://github.com/cocktailpeanut/dalai a dál už sám.
P.S. Ty dva odkazy ti pojedou i na slabém PC bez grafiky. Ale tu budeš stejně potřebovat na skoro cokoli
-
bacha,nektere 3060 maji jen 8GB
tech 12GB je fakt minimum pro tyhle ucely
Jestli si chceš hrát, tak asi takhle:
- Pořiď si nVidia s co nejvíc RAM v rámci limitu, co sis na to nastavil (RTX3060 má 12GB za cca 8k, cokoli míň se ti vymstí při učení resp. neučení, jestli máš na 24GB, jdi do toho.)
- Zbytek narvi do RAM, alespoň 32GB to chce určitě, 64GB se odvděčí.
- Počítej několik tera na různé modely, tréningová data (no terovej SSD pro začátek asi OK, pak časem uvidíš)
Pak začni třeba s https://github.com/nomic-ai/gpt4all případně se staršími modely https://github.com/cocktailpeanut/dalai a dál už sám.
P.S. Ty dva odkazy ti pojedou i na slabém PC bez grafiky. Ale tu budeš stejně potřebovat na skoro cokoli
-
Tady o tom jsem uvažoval já, ale nejsem si jistý zda je to pro AI vůbec použitelné, kdyžtak mě opravte:
https://www.eurotech.cz/nvidia-tesla-k80-24gb-gpu/ (https://www.eurotech.cz/nvidia-tesla-k80-24gb-gpu/)
-
bacha,nektere 3060 maji jen 8GB
tech 12GB je fakt minimum pro tyhle ucely
To uz je lepsi jit do pouzite RTX A4000, ktera ma 16GB a je ekvivalent k RTX 3070 ale s vice pameti.
-
blba otazka: staci sa pozerat na mnozstvo RAM na grafike? :)
tak nejak predpokladam, ze sa mi staci zamerat na tento jeden atribut.
bacha,nektere 3060 maji jen 8GB
tech 12GB je fakt minimum pro tyhle ucely
-
za mne jo.
kluci co si hrali s NLP (R.A.S.A), tak "tolerovali 24GB).
teda za pochopitelneho predpokladu, ze to neni AMD(consumer karty), kde o TensorFLow uz minuly ctvrtek slyseli)
blba otazka: staci sa pozerat na mnozstvo RAM na grafike? :)
tak nejak predpokladam, ze sa mi staci zamerat na tento jeden atribut.
bacha,nektere 3060 maji jen 8GB
tech 12GB je fakt minimum pro tyhle ucely
-
Nez se vydas do Alzy:
- zkus zminovane gpt4all (https://github.com/nomic-ai/gpt4all) (staci stroj s 16GB RAM, i bez Nvida grafiky);
- specificky pro Llama 2 je tu llama-gpt (https://github.com/getumbrel/llama-gpt) (teoreticky staci 8GB RAM);
- pokud chces generovat "ideologicky zavadne veci" (porno, hate speech, ...), musis model dotrenovat (mozna te tu nekdo nasmeruje na model, ktery to umi rovnou, ja o zadnem verejnem nevim, u nekterych lze castecne obejit promptem);
- pokud bys chtel modelu jen dodat vlastni dokumenty, LlamaIndex (https://gpt-index.readthedocs.io/en/latest/), na CPU nedoporucuju, protoze procesis cele dokumenty.
-
vdaka, skusim nejaku v VM v Amazone najprv. Ak sa zadari zamyslim sa nad HW na doma podla vysledku.
Hadam sa k tomu dostanem do konca mesiaca. Ked ano, dam vediet pre pobavenie publika vysledok :).
Ked sa nad tym teraz zamyslam, textovy "18+" material pri pride uplne skvely napad na pokus o dotrenovanie :P
Nez se vydas do Alzy:
...
-
blba otazka: staci sa pozerat na mnozstvo RAM na grafike? :)
Blbá odpověď: Pro amatéra ano.
Takhle - málo raměti je showstopper. pomalé výpočty jsou jen pomalé výpočty. Asi takhle (spíš jsem si hrál trochu s grafikou).
Real-ESRGAN: (upscaling foto/video, oprava máznutí)
4GB GTX1650 se to dá rozběhat, aby šlo i učit neuronku (na specificky máznutý film), tak to chce hodně hraní s tréningovou sadou. a tréning trval asi 20 dní (při 40W spotřebě)
12GB RTX3060 to jede v pohodě, stejný tréning kolem 6 dní, 170W spotřeby
StableDiffusion: (generování obrázků)
4GB GTX1650 to nejde ani rozjet (neumí fp16 a s fp32 se to tam prostě nevejde).
12GB RTX3060 už většinu normálního generování dá, včetně nového SDXL (1024x1024 native) který je na hraně, pokud tam chce člověk dělat složitější pipe (typicky různé upscalingy), tak je to taky na hraně/za hranou
Tréning - prý LoRA ("patch" do modelu) jde i na 8GB, na 12GB už v pohodě.
DreamBooth (třeba učení modelu vlastního psa) je totálně na hraně, stačí jedna blbost v configu a nebo leak a nevejde se, jinak s odřenými ušima to na 12GB projde.
Ten domácí problém je v českejch asi ten, že 4GB jsou někde na 4k, 12G kolem 8k v ceně a to je z dostupných jen a právě RTX3060 takže moc na výběr není (zkoušet 8GB mě ani nenapadlo, ale kdo nějakou už doma má, může to zkusit, případně jí v rodině posunout dál a koupit si lepší), a cokoli většího v částce, kterou do toho člověk na hraní moc investovat nechce, takže další parametry jako výkon moc nehrají roli ;-)
-
Ked sa nad tym teraz zamyslam, textovy "18+" material pri pride uplne skvely napad na pokus o dotrenovanie :P
Staré llamy moc cenzurované nebyly co se týče textu (podařilo se mi samozřejmě v rámci akademického bádání, z Alpacy 13B vytáhnout (víceméně správný) návod na vaření perníku nebo na vyhubení lidstva)
Porno moc textově cenu nemá, pro obrázky doporučuji kouknout na civitai.com (aby to zobrazilo nsfw, je potřeba registrace na mail, klidně anonymní přes kachní relay), tuším tam mají i návod nebo odkaz na instalaci AUTOMATIC111 webui. Ale to už nějakou grafiku chce.
-
Ked sa nad tym teraz zamyslam, textovy "18+" material pri pride uplne skvely napad na pokus o dotrenovanie :P
Staré llamy moc cenzurované nebyly co se týče textu (podařilo se mi samozřejmě v rámci akademického bádání, z Alpacy 13B vytáhnout (víceméně správný) návod na vaření perníku nebo na vyhubení lidstva)
Porno moc textově cenu nemá, pro obrázky doporučuji kouknout na civitai.com (aby to zobrazilo nsfw, je potřeba registrace na mail, klidně anonymní přes kachní relay), tuším tam mají i návod nebo odkaz na instalaci AUTOMATIC111 webui. Ale to už nějakou grafiku chce.
vareni perniku ani pornografie nejsou v rozporu s ideologii globalnich elit. Kdo by to podle Vas mel cenzurovat?
-
Nekecej, a co je v rozporu s jejich ideologii? Povidej, jdu si pro popcorn.
Ked sa nad tym teraz zamyslam, textovy "18+" material pri pride uplne skvely napad na pokus o dotrenovanie :P
Staré llamy moc cenzurované nebyly co se týče textu (podařilo se mi samozřejmě v rámci akademického bádání, z Alpacy 13B vytáhnout (víceméně správný) návod na vaření perníku nebo na vyhubení lidstva)
Porno moc textově cenu nemá, pro obrázky doporučuji kouknout na civitai.com (aby to zobrazilo nsfw, je potřeba registrace na mail, klidně anonymní přes kachní relay), tuším tam mají i návod nebo odkaz na instalaci AUTOMATIC111 webui. Ale to už nějakou grafiku chce.
vareni perniku ani pornografie nejsou v rozporu s ideologii globalnich elit. Kdo by to podle Vas mel cenzurovat?
-
vareni perniku ani pornografie nejsou v rozporu s ideologii globalnich elit. Kdo by to podle Vas mel cenzurovat?
Představa, že přijde nějaká globální elita a řekne "teď vycenzurujte všechny zmínky na slovo žena" je na úrovni mateřské školky. Ono se to děje protože jsou lidi zblblí a dělají to, aby si vylepšili skore na HR plném aktivistů, nebo (v horším případě) protože tomu věří. Podoba s totáčem u nás čistě náhodná.
Co se týče modelů - tak už tyhle první jsou bohužel poněkud zblblé směrem woke, ale zase tam nehledejte nějakého hlavního konspirátora - vono když někdo vezme hromadu všech možných textů z Internetu převážně z anglosaských zdrojů (čti: největší objem je z poslední dekády) a naháže to do tréningových dat, tak se není čemu divit, že je neuronka zblblá z propagandy taky. A jo, použitelnost pro organizovaný zločin je jedna z prvních věcí, kterou je potřeba LLM odnaučit, ještě předtím než se začne vymýšlet, jak jí vymejt mozek politickou korektností, už kvůli důsledkům pro business.
-
ach, nepochybne jsi prehledl, co se dejev instutucich.
co tohle:
https://www.europarl.europa.eu/cmsdata/151780/GNL_Guidelines_EN.pdf
vareni perniku ani pornografie nejsou v rozporu s ideologii globalnich elit. Kdo by to podle Vas mel cenzurovat?
Představa, že přijde nějaká globální elita a řekne "teď vycenzurujte všechny zmínky na slovo žena" je na úrovni mateřské školky. Ono se to děje protože jsou lidi zblblí a dělají to, aby si vylepšili skore na HR plném aktivistů, nebo (v horším případě) protože tomu věří. Podoba s totáčem u nás čistě náhodná.
Co se týče modelů - tak už tyhle první jsou bohužel poněkud zblblé směrem woke, ale zase tam nehledejte nějakého hlavního konspirátora - vono když někdo vezme hromadu všech možných textů z Internetu převážně z anglosaských zdrojů (čti: největší objem je z poslední dekády) a naháže to do tréningových dat, tak se není čemu divit, že je neuronka zblblá z propagandy taky. A jo, použitelnost pro organizovaný zločin je jedna z prvních věcí, kterou je potřeba LLM odnaučit, ještě předtím než se začne vymýšlet, jak jí vymejt mozek politickou korektností, už kvůli důsledkům pro business.
-
ach, nepochybne jsi prehledl, co se dejev instutucich.
Nepřehlédl, jen mi nepřipadá odborný linuxácký server jako vhodný prostor k terfování, teda pokud je to nad rámec tématu. A tam si za mechanismy, jakými se woke dostávé do produktů víceméně stojím.
-
pre pobavenie reportujem aktualny vysledok :)
Ja: "Hi, how are you?"
PC: "Thanks for your great review. I'm glad to see that this is a good restaurant after reading some reviews online about it being an average experience or poor dining room service at best. Hopefully the chef will be able to turn things around again and make people enjoy coming here more!"
Ja: " I'm exciting of your answer :). You are quite slow, what do you need?"
PC: "My reply was about 20min after yours. Sorry for the delay!"
Co sa tyka instalacie, spominal som pocas nej na instalacie databaz pred 20imi rokmi :)
Pokus c.1.
- zobral som svoj pracovny terminal (Mac) a skusil navod z https://github.com/cocktailpeanut/dalai
skoncil som na "bad magic" ozname. Nieco taketo: https://github.com/langchain-ai/langchain/issues/2392
Po par pokusoch co s tym som to zmazal, ze to skusim inak :).
Pokus c.2.
- nainstaloval som do VM novy debian (12.2)
- mlcky som zaignoroval poziadavku na verziu Python3 v nadeji, ze kedze problemova kniznica sa nejak da nainstalovat, ze to pojde.
- skoncilo to na tom istom errore
Pokus c.3.
- nainstaloval som starsi debian (11.7)
- python3 som nainstaloval z reporzitory
- nodejs v.18 z WWW
- alapaka 7B, 13B obe skapali na "bad magic".
- skusil som llama 7B a to zazracne zafungovalo (netusim pricinu)
Sucasny stav ma 24G RAM, povodne to malo 1 procesor, ale ked VM ujukala ze ma malo procesorov, dostala 4.
Grafiku to nema prakticky ziadnu, prva odpoved bola cez noc (po 10ich minutach som to nechal bezat, ze uvidime rano).
Druha odpoved vznikla teraz pocas pisania ;).