1
Software / Re:Lokální LLM AI moduly
« Poslední příspěvek od Exceptions kdy Dnes v 22:42:36 »ve firmě mám dost macbooků m2/m3 s 60 GB GPU RAM se tam dají rozchodit i ty velké modely, ale relativně pomalu, na ladění promptů ale dostatečné.
Na rozumnější testy máme desktop s 4 x A4000, relativně low cost řešení, ale vejdou se čtyři i do malé skříně a nepotřebují tak drahý HW, tam už běhají svižně ledajaké modely. Na produkci nebo trénování pak takové ty srandy za cenu fábie jeden kus nebo se dají za podobné ceny ročně pronajmout v cloudu.
Na rozumnější testy máme desktop s 4 x A4000, relativně low cost řešení, ale vejdou se čtyři i do malé skříně a nepotřebují tak drahý HW, tam už běhají svižně ledajaké modely. Na produkci nebo trénování pak takové ty srandy za cenu fábie jeden kus nebo se dají za podobné ceny ročně pronajmout v cloudu.