Vlastní instalace ChatGPT

[pruzkumbojem]

za mne jo.
 kluci co si hrali s NLP (R.A.S.A), tak "tolerovali 24GB).
 teda za pochopitelneho predpokladu, ze to neni AMD(consumer karty), kde o TensorFLow uz minuly ctvrtek slyseli)

blba otazka: staci sa pozerat na mnozstvo RAM na grafike?

tak nejak predpokladam, ze sa mi staci zamerat na tento jeden atribut.

bacha,nektere 3060 maji jen 8GB
tech 12GB je fakt minimum pro tyhle ucely

[Reklama]

[Kada]

Nez se vydas do Alzy:
- zkus zminovane gpt4all (staci stroj s 16GB RAM, i bez Nvida grafiky);
- specificky pro Llama 2 je tu llama-gpt (teoreticky staci 8GB RAM);
- pokud chces generovat "ideologicky zavadne veci" (porno, hate speech, ...), musis model dotrenovat (mozna te tu nekdo nasmeruje na model, ktery to umi rovnou, ja o zadnem verejnem nevim, u nekterych lze castecne obejit promptem);
- pokud bys chtel modelu jen dodat vlastni dokumenty, LlamaIndex, na CPU nedoporucuju, protoze procesis cele dokumenty.

[Pavel...]

vdaka, skusim nejaku v VM v Amazone najprv. Ak sa zadari zamyslim sa nad HW na doma podla vysledku.
Hadam sa k tomu dostanem do konca mesiaca. Ked ano, dam vediet pre pobavenie publika vysledok .

Ked sa nad tym teraz zamyslam, textovy "18+" material pri pride uplne skvely napad na pokus o dotrenovanie

Nez se vydas do Alzy:
...

[Wasper]

blba otazka: staci sa pozerat na mnozstvo RAM na grafike?

Blbá odpověď: Pro amatéra ano.
Takhle - málo raměti je showstopper. pomalé výpočty jsou jen pomalé výpočty. Asi takhle (spíš jsem si hrál trochu s grafikou).

Real-ESRGAN: (upscaling foto/video, oprava máznutí)
4GB GTX1650 se to dá rozběhat, aby šlo i učit neuronku (na specificky máznutý film), tak to chce hodně hraní s tréningovou sadou. a tréning trval asi 20 dní (při 40W spotřebě)
12GB RTX3060 to jede v pohodě, stejný tréning kolem 6 dní, 170W spotřeby

StableDiffusion: (generování obrázků)
4GB GTX1650 to nejde ani rozjet (neumí fp16 a s fp32 se to tam prostě nevejde).
12GB RTX3060 už většinu normálního generování dá, včetně nového SDXL (1024x1024 native) který je na hraně, pokud tam chce člověk dělat složitější pipe (typicky různé upscalingy), tak je to taky na hraně/za hranou

Tréning - prý LoRA ("patch" do modelu) jde i na 8GB, na 12GB už v pohodě.
DreamBooth (třeba učení modelu vlastního psa) je totálně na hraně, stačí jedna blbost v configu a nebo leak a nevejde se, jinak s odřenými ušima to na 12GB projde.

Ten domácí problém je v českejch asi ten, že 4GB jsou někde na 4k, 12G kolem 8k v ceně a to je z dostupných jen a právě RTX3060 takže moc na výběr není (zkoušet 8GB mě ani nenapadlo, ale kdo nějakou už doma má, může to zkusit, případně jí v rodině posunout dál a koupit si lepší), a cokoli většího v částce, kterou do toho člověk na hraní moc investovat nechce, takže další parametry jako výkon moc nehrají roli ;-)

[Wasper]

Ked sa nad tym teraz zamyslam, textovy "18+" material pri pride uplne skvely napad na pokus o dotrenovanie

Staré llamy moc cenzurované nebyly co se týče textu (podařilo se mi samozřejmě v rámci akademického bádání, z Alpacy 13B vytáhnout (víceméně správný) návod na vaření perníku nebo na vyhubení lidstva)

Porno moc textově cenu nemá, pro obrázky doporučuji kouknout na civitai.com (aby to zobrazilo nsfw, je potřeba registrace na mail, klidně anonymní přes kachní relay), tuším tam mají i návod nebo odkaz na instalaci AUTOMATIC111 webui. Ale to už nějakou grafiku chce.

[Reklama]

[APhacker_mob]

Ked sa nad tym teraz zamyslam, textovy "18+" material pri pride uplne skvely napad na pokus o dotrenovanie

Staré llamy moc cenzurované nebyly co se týče textu (podařilo se mi samozřejmě v rámci akademického bádání, z Alpacy 13B vytáhnout (víceméně správný) návod na vaření perníku nebo na vyhubení lidstva)

Porno moc textově cenu nemá, pro obrázky doporučuji kouknout na civitai.com (aby to zobrazilo nsfw, je potřeba registrace na mail, klidně anonymní přes kachní relay), tuším tam mají i návod nebo odkaz na instalaci AUTOMATIC111 webui. Ale to už nějakou grafiku chce.

vareni perniku ani pornografie nejsou v rozporu s ideologii globalnich elit. Kdo by to podle Vas mel cenzurovat?

[prevadecspojitostivole]

Nekecej, a co je v rozporu s jejich ideologii? Povidej, jdu si pro popcorn.

Ked sa nad tym teraz zamyslam, textovy "18+" material pri pride uplne skvely napad na pokus o dotrenovanie

Staré llamy moc cenzurované nebyly co se týče textu (podařilo se mi samozřejmě v rámci akademického bádání, z Alpacy 13B vytáhnout (víceméně správný) návod na vaření perníku nebo na vyhubení lidstva)

Porno moc textově cenu nemá, pro obrázky doporučuji kouknout na civitai.com (aby to zobrazilo nsfw, je potřeba registrace na mail, klidně anonymní přes kachní relay), tuším tam mají i návod nebo odkaz na instalaci AUTOMATIC111 webui. Ale to už nějakou grafiku chce.

vareni perniku ani pornografie nejsou v rozporu s ideologii globalnich elit. Kdo by to podle Vas mel cenzurovat?

[Wasper]

vareni perniku ani pornografie nejsou v rozporu s ideologii globalnich elit. Kdo by to podle Vas mel cenzurovat?

Představa, že přijde nějaká globální elita a řekne "teď vycenzurujte všechny zmínky na slovo žena" je na úrovni mateřské školky. Ono se to děje protože jsou lidi zblblí a dělají to, aby si vylepšili skore na HR plném aktivistů, nebo (v horším případě) protože tomu věří. Podoba s totáčem u nás čistě náhodná.

Co se týče modelů - tak už tyhle první jsou bohužel poněkud zblblé směrem woke, ale zase tam nehledejte nějakého hlavního konspirátora - vono když někdo vezme hromadu všech možných textů z Internetu převážně z anglosaských zdrojů (čti: největší objem je z poslední dekády) a naháže to do tréningových dat, tak se není čemu divit, že je neuronka zblblá z propagandy taky. A jo, použitelnost pro organizovaný zločin je jedna z prvních věcí, kterou je potřeba LLM odnaučit, ještě předtím než se začne vymýšlet, jak jí vymejt mozek politickou korektností, už kvůli důsledkům pro business.

[pruzkumbojem]

ach,  nepochybne jsi prehledl, co se dejev instutucich.

co tohle:
https://www.europarl.europa.eu/cmsdata/151780/GNL_Guidelines_EN.pdf

vareni perniku ani pornografie nejsou v rozporu s ideologii globalnich elit. Kdo by to podle Vas mel cenzurovat?

Představa, že přijde nějaká globální elita a řekne "teď vycenzurujte všechny zmínky na slovo žena" je na úrovni mateřské školky. Ono se to děje protože jsou lidi zblblí a dělají to, aby si vylepšili skore na HR plném aktivistů, nebo (v horším případě) protože tomu věří. Podoba s totáčem u nás čistě náhodná.

Co se týče modelů - tak už tyhle první jsou bohužel poněkud zblblé směrem woke, ale zase tam nehledejte nějakého hlavního konspirátora - vono když někdo vezme hromadu všech možných textů z Internetu převážně z anglosaských zdrojů (čti: největší objem je z poslední dekády) a naháže to do tréningových dat, tak se není čemu divit, že je neuronka zblblá z propagandy taky. A jo, použitelnost pro organizovaný zločin je jedna z prvních věcí, kterou je potřeba LLM odnaučit, ještě předtím než se začne vymýšlet, jak jí vymejt mozek politickou korektností, už kvůli důsledkům pro business.

[Wasper]

ach,  nepochybne jsi prehledl, co se dejev instutucich.

Nepřehlédl, jen mi nepřipadá odborný linuxácký server jako vhodný prostor k terfování, teda pokud je to nad rámec tématu. A tam si za mechanismy, jakými se woke dostávé do produktů víceméně stojím.

[Pavel...]

pre pobavenie reportujem aktualny vysledok

Ja: "Hi, how are you?"
PC: "Thanks for your great review. I'm glad to see that this is a good restaurant after reading some reviews online about it being an average experience or poor dining room service at best. Hopefully the chef will be able to turn things around again and make people enjoy coming here more!"
Ja: " I'm exciting of your answer . You are quite slow, what do you need?"
PC: "My reply was about 20min after yours. Sorry for the delay!"


Co sa tyka instalacie, spominal som pocas nej na instalacie databaz pred 20imi rokmi

Pokus c.1.
- zobral som svoj pracovny terminal (Mac) a skusil navod z https://github.com/cocktailpeanut/dalai
   skoncil som na "bad magic" ozname. Nieco taketo: https://github.com/langchain-ai/langchain/issues/2392
   Po par pokusoch co s tym som to zmazal, ze to skusim inak .

Pokus c.2.
- nainstaloval som do VM novy debian (12.2)
- mlcky som zaignoroval poziadavku na verziu Python3 v nadeji, ze kedze problemova kniznica sa nejak da nainstalovat, ze to pojde.
- skoncilo to na tom istom errore

Pokus c.3.
- nainstaloval som starsi debian (11.7)
- python3 som nainstaloval z reporzitory
- nodejs v.18 z WWW
- alapaka 7B, 13B obe skapali na "bad magic".
- skusil som llama 7B a to zazracne zafungovalo (netusim pricinu)

Sucasny stav ma 24G RAM, povodne to malo 1 procesor, ale ked VM ujukala ze ma malo procesorov, dostala 4.
Grafiku to nema prakticky ziadnu, prva odpoved bola cez noc (po 10ich minutach som to nechal bezat, ze uvidime rano).
Druha odpoved vznikla teraz pocas pisania .