1
Software / Re:Lokální LLM AI moduly
« Poslední příspěvek od Wasper kdy Dnes v 22:36:11 »S temi LLM moduly se v posledni dobe vysypal pytelPouzivam "na hrani" ve volnych chvilich, 64GB Ram, 4060Ti/16GB VRam, i5-12600KF.
a mne pripada ze provozovat to "lokalne" dava smysl,
nez krmit mojimi daty ty jejich ....cena hdd se dneska do sehnat 1TB za $9.99,
ale chapu ze je to hodne zavisle na velikosti vRAM/GPU ....
Pouziva tady nekdo nejake, lokalne na PC?
A nadavam u toho, je toho malo. Jak pameti, tak i VRAM, rozchodit nejaky model na tom je pruda neskutecna (treba ted posledni Janus-7B byl neskutecny opruz, sice accelerate umi offlodovat model z GPU do RAM/disku, ale presvedcit ho, ze Cuda:Out of memory neni spravny vystup dalo dost prace (a pri hledani na HF je par podobnych temat, bez odpovedi. tl;dr: musi se tomu omezit VRAM na 5GB, aby ji to nesezralo vic nez 14GB ;-) ) ale kdyz uz to clovek rozchodi, tak to funguje hezky. (zrovna toho Januse mam v planu zkusit pouzit na roztrideni fotek)
S HDD $9 za tera bacha, pokud se celej model nevejde do cache, tak plotnovej disk neni moc dobrej napad. Na stazeni modelu "pro pripad ze by je nekdo zakazal" je placka dobra, pro praci to chce SSD/NVMe.