Vlastní instalace ChatGPT

[Pavel...]

tak si myslism, ze by som si mal doma spravit a udrzovat nejake vlastne "AI" typu "ChatGPT".
Lenze den ma len 24 hodin a neviem sa dostat k nastudovaniu veci a realizacii.
Zlahka som raz ukecal jedneho dodavatela, nech mi nieco take ukaze, zjavne nieco take ide zrealizovat.

Nema niekto nejaku prakticku skusenost a navod typu:
- kup si herne PC zo slusnou grafikou / krabicku na dolovanie BTC / bazarovy notebook / ...
- tu je AI od Facebooku, ktora je momentalne na spici moznosti
- tu je trivialny navod, ako to rozbehat
- tu ukazka pre blbych, ako to pouzit
?

dik

[Reklama]

[to_je_jedno]

Kolik jsi ochoten platit za hodinu konzultaci? Das 150 EUR aby nekomu stalo za to se tim pro tebe specialne zabyvat?

[_Tomáš_]

Tohle rádi používáme pro učení nováčků, https://github.com/microsoft/AI-For-Beginners. Tady máš jednu z tisíce implementací openAI api, kterou si můžeš provozovat sám https://github.com/go-skynet/LocalAI.

Na herních grafikách to je nic moc a rychle se upotí, mají zbytečně velkou spotřebu. Na projekty kupujeme Nvidia H100, což ale stojí jako nový auto. Osobně mám doma 4x nvidia Quadro RTX A4000 a jsem docela překvapen s tím, že se nad tím dá také něco trénovat (jsou to ale dny, někdy i týdny podle velikosti dat), koupíš to v běžném obchodě.

Ty AI na špici domů nedostaneš, hlavní špici totiž nedělá ani tak samotný natrénovaný model, ale všechny ty filtry, transformace a kontroly okolo, ona i příprava vstupu je vyšší dívčí. Model je jen část úspěchu.

Otázka co s tím chceš dělat, pokud nad tím budovat produkty, tak jdi do SaaS, třeba Azure OpenAI je dobře postavené. Pokud tě to zajímá, můžeš si s tím hrát sám doma, ale nic z toho jako produkt nebude, pro mě je práce s daty koníček a dělám to dlouho pracovně i osobně.

[Pavel...]

Kolik jsi ochoten platit za hodinu konzultaci? Das 150 EUR aby nekomu stalo za to se tim pro tebe specialne zabyvat?

vies, ze aj ano?

neveril by si kolkokrat som chcel nieco tohto typu za peniaze a vacsinou som nikoho nenasiel.
Keby som nasiel cloveka, ktoremu by som mohol raz-za-cas hodit nech za mna stravi den zivota niecim tohto typu, bol by som nadseny

[Pavel...]

vdaka pozriem.

to co chcem s sklada z viac veci:
- myslim si, ze by som mal aspon ramcovo mat prehlad v tomto smere
- mam par napadov ako to pouzit a rozhodne nechcem byt rukojemnikom niekoho na druhom konci zemegule

Trenovanie ako take ma nezaujima.
Mam predstavu, mozno nespravnu, ze sa da stiahnut "hotovy natrenovany model" s ktorym si mozem hned pokecat.

Tohle rádi používáme pro učení nováčků, https://github.com/microsoft/AI-For-Beginners. Tady máš jednu z tisíce implementací openAI api, kterou si můžeš provozovat sám https://github.com/go-skynet/LocalAI.

Na herních grafikách to je nic moc a rychle se upotí, mají zbytečně velkou spotřebu. Na projekty kupujeme Nvidia H100, což ale stojí jako nový auto. Osobně mám doma 4x nvidia Quadro RTX A4000 a jsem docela překvapen s tím, že se nad tím dá také něco trénovat (jsou to ale dny, někdy i týdny podle velikosti dat), koupíš to v běžném obchodě.

Ty AI na špici domů nedostaneš, hlavní špici totiž nedělá ani tak samotný natrénovaný model, ale všechny ty filtry, transformace a kontroly okolo, ona i příprava vstupu je vyšší dívčí. Model je jen část úspěchu.

Otázka co s tím chceš dělat, pokud nad tím budovat produkty, tak jdi do SaaS, třeba Azure OpenAI je dobře postavené. Pokud tě to zajímá, můžeš si s tím hrát sám doma, ale nic z toho jako produkt nebude, pro mě je práce s daty koníček a dělám to dlouho pracovně i osobně.

[Reklama]

[_Tomáš_]

vdaka pozriem.

to co chcem s sklada z viac veci:
- myslim si, ze by som mal aspon ramcovo mat prehlad v tomto smere
- mam par napadov ako to pouzit a rozhodne nechcem byt rukojemnikom niekoho na druhom konci zemegule

Trenovanie ako take ma nezaujima.
Mam predstavu, mozno nespravnu, ze sa da stiahnut "hotovy natrenovany model" s ktorym si mozem hned pokecat.

Teď čtu na Lupě, https://www.lupa.cz/aktuality/chcete-delat-strojove-uceni-a-llm-ale-ne-infrastrukturu-resi-to-startup-zainvestovany-cechy/, to také vypadá dobře, https://github.com/dstackai/dstack, ale neznal jsem a nemám zkušenosti.

Zastav se na https://prg.ai/podzimni-dny-ve-znameni-umele-inteligence/, třeba tam potkáš lidi a zjistíš více informací.

Ano, dá se stáhnout natrénovaný jazykový model, s kterým můžeš kecat, to je zrovna třeba ten https://github.com/go-skynet/LocalAI.

Rukojmí budeš vždy, protože na ty největší modely prostě nedosáhnout snadno ani naše největší firmy. Pro jednu banku jsme trénovali jejich chatbota, 4 měsíce v kuse, náklady jen na trénování skoro 10m. Natrénovat vlastní ChatGPT 4 znamená skoro 1 mld dolarů (kdyby teda MS nevyužil svoje volné servery a musel si je platit podle ceníku), to jen pro představu jaká obrovská bariéra tam je.

Problém je, když z toho natrénovaného modelu chceš udělat produkt, tam už je lepší si řešení jako SaaS pronajmout, protože licence, oprávnění, legislativa, to není vůbec snadné. Pro vlastní hraní to ale řešit nemusíš.

[Pavel...]

vdaka, poznacil som si to Brno do kalendaru.

Myslim si, ze vyvoj pojde smerom k prudkemu znizovaniu ceny za to ucenie.
Zatial chcem byt len pripraveny a offline to pouzit na ziskanie vystupov.

Najjednoduchsi priklad typoveho vyuzitia: necham to vygenerovat kazde rano slovnu ulohu z matematiky pre dieta .
Pripadne ine ideologicky zavadne veci: oslavna basnicka na Trumpa, material pre 18+, .. 

Teď čtu na Lupě, https://www.lupa.cz/aktuality/chcete-delat-strojove-uceni-a-llm-ale-ne-infrastrukturu-resi-to-startup-zainvestovany-cechy/, to také vypadá dobře, https://github.com/dstackai/dstack, ale neznal jsem a nemám zkušenosti.

Zastav se na https://prg.ai/podzimni-dny-ve-znameni-umele-inteligence/, třeba tam potkáš lidi a zjistíš více informací.

Ano, dá se stáhnout natrénovaný jazykový model, s kterým můžeš kecat, to je zrovna třeba ten https://github.com/go-skynet/LocalAI.

Rukojmí budeš vždy, protože na ty největší modely prostě nedosáhnout snadno ani naše největší firmy. Pro jednu banku jsme trénovali jejich chatbota, 4 měsíce v kuse, náklady jen na trénování skoro 10m. Natrénovat vlastní ChatGPT 4 znamená skoro 1 mld dolarů (kdyby teda MS nevyužil svoje volné servery a musel si je platit podle ceníku), to jen pro představu jaká obrovská bariéra tam je.

Problém je, když z toho natrénovaného modelu chceš udělat produkt, tam už je lepší si řešení jako SaaS pronajmout, protože licence, oprávnění, legislativa, to není vůbec snadné. Pro vlastní hraní to ale řešit nemusíš.

[Karmelos]

Tady je parádní blog na tohle téma:
https://www.abclinuxu.cz/blog/bystroushaak/2023/4/jak-na-vlastni-llm-gpt

[Pavel...]

dik

Tady je parádní blog na tohle téma:
https://www.abclinuxu.cz/blog/bystroushaak/2023/4/jak-na-vlastni-llm-gpt

[Wasper]

Jestli si chceš hrát, tak asi takhle:
- Pořiď si nVidia s co nejvíc RAM v rámci limitu, co sis na to nastavil (RTX3060 má 12GB za cca 8k, cokoli míň se ti vymstí při učení resp. neučení, jestli máš na 24GB, jdi do toho.)
- Zbytek narvi do RAM, alespoň 32GB to chce určitě, 64GB se odvděčí.
- Počítej několik tera na různé modely, tréningová data (no terovej SSD pro začátek asi OK, pak časem uvidíš)

Pak začni třeba s https://github.com/nomic-ai/gpt4all případně se staršími modely https://github.com/cocktailpeanut/dalai a dál už sám.

P.S. Ty dva odkazy ti pojedou i na slabém PC bez grafiky. Ale tu budeš stejně potřebovat na skoro cokoli

[Pavel...]

dik,

pozeram na cenu HW, v Alze najlacnesie na uvod: https://www.alza.sk/alza-battlebox-ryzen-rtx3090-quiet-d6466944.htm 2000e
no keby som to zamaskoval v rodinnom rozpocte, ako herny pocitac pre dieta na Vianoce...

asi skusim ako prvy nastrel nejaku VM na Amazone, nech nekupim nejaku drahu blbost

ide par volnych dni, hadam sa mi jedno poobedie podari alokovat na tento experiment.

Jestli si chceš hrát, tak asi takhle:
- Pořiď si nVidia s co nejvíc RAM v rámci limitu, co sis na to nastavil (RTX3060 má 12GB za cca 8k, cokoli míň se ti vymstí při učení resp. neučení, jestli máš na 24GB, jdi do toho.)
- Zbytek narvi do RAM, alespoň 32GB to chce určitě, 64GB se odvděčí.
- Počítej několik tera na různé modely, tréningová data (no terovej SSD pro začátek asi OK, pak časem uvidíš)

Pak začni třeba s https://github.com/nomic-ai/gpt4all případně se staršími modely https://github.com/cocktailpeanut/dalai a dál už sám.

P.S. Ty dva odkazy ti pojedou i na slabém PC bez grafiky. Ale tu budeš stejně potřebovat na skoro cokoli

[pruzkumbojem]

bacha,nektere 3060 maji jen 8GB
tech 12GB je fakt minimum pro tyhle ucely

Jestli si chceš hrát, tak asi takhle:
- Pořiď si nVidia s co nejvíc RAM v rámci limitu, co sis na to nastavil (RTX3060 má 12GB za cca 8k, cokoli míň se ti vymstí při učení resp. neučení, jestli máš na 24GB, jdi do toho.)
- Zbytek narvi do RAM, alespoň 32GB to chce určitě, 64GB se odvděčí.
- Počítej několik tera na různé modely, tréningová data (no terovej SSD pro začátek asi OK, pak časem uvidíš)

Pak začni třeba s https://github.com/nomic-ai/gpt4all případně se staršími modely https://github.com/cocktailpeanut/dalai a dál už sám.

P.S. Ty dva odkazy ti pojedou i na slabém PC bez grafiky. Ale tu budeš stejně potřebovat na skoro cokoli

[Karmelos]

Tady o tom jsem uvažoval já, ale nejsem si jistý zda je to pro AI vůbec použitelné, kdyžtak mě opravte:

https://www.eurotech.cz/nvidia-tesla-k80-24gb-gpu/

[RDa]

bacha,nektere 3060 maji jen 8GB
tech 12GB je fakt minimum pro tyhle ucely

To uz je lepsi jit do pouzite RTX A4000, ktera ma 16GB a je ekvivalent k RTX 3070 ale s vice pameti.

[Pavel...]

blba otazka: staci sa pozerat na mnozstvo RAM na grafike?

tak nejak predpokladam, ze sa mi staci zamerat na tento jeden atribut.

bacha,nektere 3060 maji jen 8GB
tech 12GB je fakt minimum pro tyhle ucely