6
« Poslední příspěvek od kanoe22 kdy Dnes v 08:40:12 »
Tiez pokukavam po tom aky setup si zariadit na lokalne AI, resp s aktualnym setupom ako z neho dostat co najviac, kedze "free ride" pomaly ale isto konci a tie ucty za AI poletia do minimalne stoviek eur za mesiac, nie ako teraz ze si vystacim s 20€ planom u claude-u (vid napriklad github copilot zmeny za posledny mesiac).
Dost sa (by som povedal) propaguje 128GB unifikovanej pamete ako maju napriklad DSG Spark, Mac Studio (niektore z nich / pripadne ine modely), AMD Strix Halo. Lenze ako dobre vieme, cim lepsi model, tim viac pamete treba (a aj cip co to pocita, nie je to len o pameti).
Moja otazka/myslienka nad ktorou premyslam je: kde sa zastavia HW parametre aby sme mali taky ten "dlhodoby sweat spot"?
Pretoze ked sa pozriem napriklad na multiplier u github copilota, kolko si uctuju za jednotlive modely, tak tie najnovsie najschopnejsie modely mavaju multiplier 27 (opus 4.6+) az po 57 (GPT 5.5). Najlepsie free modely sa hovori ze su pozadu zhruba pol roka za najlepsimi platenymi modelmi. Pravdaze tiez s adekvatnymi HW poziadavkamy, ak si niekto mysli ze bude prevadzkovat najlepsie modely na thinkpade s 16GB ram a Intel i5- tretej generacie, tak ma smolika. Pretoze najnovsi deepseek V4 pro (ten vacsi model s 1.6T parametrami, ten mensi sa vola flash a ma 284B parametrov) vraj potrebuje 8x H200 grafiky (kazda jedna stoji 30k+ eur) na svoj beh, co je proste nerealisticke pre bezneho cloveka mat doma.
Preco to spominam? Ide mi o to, aby si clovek nekupil za X tisic eur krabicku, ktora mu o rok/dva, nebude schopna utiahnut ani "bezne dobre modely" - nehovorim o top tier modeloch ako napriklad deepseek v4 pro, ale napriklad o ich 70B modely ktory si dnes vystaci so 128GB, pripadne od inych firiem. Aby proste o rok dva nemali ludia doma na stole drahu krabicku a pokukovali po novej drah(s)ej krabicke.
Aky je vas nazor na toto? Sme uz HW zastabilizovany? Budu sa nove modely zlepsovat pri udrzani aktualnych HW poziadaviek alebo to poleti vyssie?