1
Hardware / Re:Koupit teď Mac mini M4, nebo čekat na M5?
« Poslední příspěvek od fanoush kdy Dnes v 21:50:32 »Na testování local LLM bych se rozhodoval mezi (min) M4 Pro a M5 ProTo sice z pohledu vykonu dava smysl ale pri pohledu na cenu uz mene. nejlevnejsi M4 pro mac mini stoji dvojnasobek zminovane verze za 20 tisic a M4 pro s 20 GPU cores stoji skoro 50 (v Alze vidim 47500)
takze co se tyce 'testovani' LLM tak obycejny M4 porad toto umozni skoro stejne - do 24G sdilene ram se vejdou stejne modely jenom to zvladne min tokenu/s
jeste comment k
Citace
Hodně se mluví o Neural Acceleratorech, pochopil jsem to zhruba takto: U M4 funguje AI akcelerace přes samostatný Neural Engine (NPU) – separátní blok na čipu, ke kterému data musí cestovat z GPU. M5 to dělá jinak: Neural Accelerator je zabudovaný přímo do každého GPU jádra, takže maticové operace (základ většiny ML výpočtů) probíhají přímo tam, kde GPU pracuje s daty.jestli tomu dobre rozumim tak NPU na apple silicon je pro LLM nepouzitelne jak vykonove tak ani Apple nenabizi zadne rozumne API takze softwary typu llama.cpp NPU nepouzivaji. na M4 to jede na GPU pres Metal API. Pokud ty nove AI funkce noveho M5 GPU jsou dostupne pres stejne API mohlo by to jet 4x rychleji nez M4 jak rikaji, ale zadne benchmarky nebo potvrzeni ze je to takto pouzitelne jsem zatim nevidel (ale ani nehledal)
Poslední příspěvky