Poslední příspěvky1
Software / Re:Lokální AI modely pro citlivá data
« Poslední příspěvek od kanoe22 kdy Dnes v 08:40:12 »Tiez pokukavam po tom aky setup si zariadit na lokalne AI, resp s aktualnym setupom ako z neho dostat co najviac, kedze "free ride" pomaly ale isto konci a tie ucty za AI poletia do minimalne stoviek eur za mesiac, nie ako teraz ze si vystacim s 20€ planom u claude-u (vid napriklad github copilot zmeny za posledny mesiac).
Dost sa (by som povedal) propaguje 128GB unifikovanej pamete ako maju napriklad DSG Spark, Mac Studio (niektore z nich / pripadne ine modely), AMD Strix Halo. Lenze ako dobre vieme, cim lepsi model, tim viac pamete treba (a aj cip co to pocita, nie je to len o pameti).
Moja otazka/myslienka nad ktorou premyslam je: kde sa zastavia HW parametre aby sme mali taky ten "dlhodoby sweat spot"?
Pretoze ked sa pozriem napriklad na multiplier u github copilota, kolko si uctuju za jednotlive modely, tak tie najnovsie najschopnejsie modely mavaju multiplier 27 (opus 4.6+) az po 57 (GPT 5.5). Najlepsie free modely sa hovori ze su pozadu zhruba pol roka za najlepsimi platenymi modelmi. Pravdaze tiez s adekvatnymi HW poziadavkamy, ak si niekto mysli ze bude prevadzkovat najlepsie modely na thinkpade s 16GB ram a Intel i5- tretej generacie, tak ma smolika. Pretoze najnovsi deepseek V4 pro (ten vacsi model s 1.6T parametrami, ten mensi sa vola flash a ma 284B parametrov) vraj potrebuje 8x H200 grafiky (kazda jedna stoji 30k+ eur) na svoj beh, co je proste nerealisticke pre bezneho cloveka mat doma.
Preco to spominam? Ide mi o to, aby si clovek nekupil za X tisic eur krabicku, ktora mu o rok/dva, nebude schopna utiahnut ani "bezne dobre modely" - nehovorim o top tier modeloch ako napriklad deepseek v4 pro, ale napriklad o ich 70B modely ktory si dnes vystaci so 128GB, pripadne od inych firiem. Aby proste o rok dva nemali ludia doma na stole drahu krabicku a pokukovali po novej drah(s)ej krabicke.
Aky je vas nazor na toto? Sme uz HW zastabilizovany? Budu sa nove modely zlepsovat pri udrzani aktualnych HW poziadaviek alebo to poleti vyssie?
Dost sa (by som povedal) propaguje 128GB unifikovanej pamete ako maju napriklad DSG Spark, Mac Studio (niektore z nich / pripadne ine modely), AMD Strix Halo. Lenze ako dobre vieme, cim lepsi model, tim viac pamete treba (a aj cip co to pocita, nie je to len o pameti).
Moja otazka/myslienka nad ktorou premyslam je: kde sa zastavia HW parametre aby sme mali taky ten "dlhodoby sweat spot"?
Pretoze ked sa pozriem napriklad na multiplier u github copilota, kolko si uctuju za jednotlive modely, tak tie najnovsie najschopnejsie modely mavaju multiplier 27 (opus 4.6+) az po 57 (GPT 5.5). Najlepsie free modely sa hovori ze su pozadu zhruba pol roka za najlepsimi platenymi modelmi. Pravdaze tiez s adekvatnymi HW poziadavkamy, ak si niekto mysli ze bude prevadzkovat najlepsie modely na thinkpade s 16GB ram a Intel i5- tretej generacie, tak ma smolika. Pretoze najnovsi deepseek V4 pro (ten vacsi model s 1.6T parametrami, ten mensi sa vola flash a ma 284B parametrov) vraj potrebuje 8x H200 grafiky (kazda jedna stoji 30k+ eur) na svoj beh, co je proste nerealisticke pre bezneho cloveka mat doma.
Preco to spominam? Ide mi o to, aby si clovek nekupil za X tisic eur krabicku, ktora mu o rok/dva, nebude schopna utiahnut ani "bezne dobre modely" - nehovorim o top tier modeloch ako napriklad deepseek v4 pro, ale napriklad o ich 70B modely ktory si dnes vystaci so 128GB, pripadne od inych firiem. Aby proste o rok dva nemali ludia doma na stole drahu krabicku a pokukovali po novej drah(s)ej krabicke.
Aky je vas nazor na toto? Sme uz HW zastabilizovany? Budu sa nove modely zlepsovat pri udrzani aktualnych HW poziadaviek alebo to poleti vyssie?
