1
Hardware / Re:Koupit teď Mac mini M4, nebo čekat na M5?
« Poslední příspěvek od LamZelezo kdy Dnes v 01:41:23 »Cekat, rozhodne cekat. Pak totiz prijde M6, M7, M8 ... a na tech se bude doma programovat jedna basen.
https://fastflowlm.com/docs/benchmarks/gpt-oss_results/dokonce maji online demo https://fastflowlm.com/docs/#-test-drive-remote-demo kde je gpt-oss-20b a na stejny dotaz mi to jelo 18t/s
neni to tak marne :-) M4 max mi teda dela cca 115tokenu/s pri prvnim dotazu (a zere to pri generovani z baterky cca 103W) ale myslel jsem puvodne ze tenhle NPU to nezvladne vubec a i spotreba bude asi o dost nizsi.
odpovim si samnechcu kazit tohle vlakno a sam jsem uvazoval o mac pro, abych si vyzkousel svet mac os.a jak velky model do toho nahrajes? kolik RAM to NPU umi pouzit a jaky je vykon? treba gpt-oss-20b model
ale jako linuxak bych si asi koupil notas s ryzenem co ma v sobe i npu.

To ani ne. I nějaký středně dlouhý malý film z nezávislé produkce bude klidně jednotky TB v kompletním projektu mít. Nějaký velký holywoodský spektákl v 8k klidně vyšší desítky TB i víc. Jednotky TB týdně to dát klidně může.Znam cloveka co striha videa a potrebuje syncovat jednotky TB [...]To by musel zpracovávat videa tak z nějaké obrazové režie z Olympiády
nechcu kazit tohle vlakno a sam jsem uvazoval o mac pro, abych si vyzkousel svet mac os.a jak velky model do toho nahrajes? kolik RAM to NPU umi pouzit a jaky je vykon? treba gpt-oss-20b model muze byt na M4 mac mini s 24GB ram jeste docela dobre pouzitelny a zustane ti jeste cca 10GB na OS a aplikace.
ale jako linuxak bych si asi koupil notas s ryzenem co ma v sobe i npu.
za to pocitac je lepsi mit co nejlepsi, co se tyka vykonu i spotreby.Co znamená "lepší"? Kdybych měl na tomhle deset let starém stroji, ze kterého píšu desetinásobný výkon, přínos by byl možná 10 %. A pro nějakého běžného uživatele skoro čistá nula. Kdyby spotřebovával desetinu energie, přínos by nebyl doslova žádný (kromě té trošky spotřebované elektřiny). Takže by mě zajímalo, co tím "nejlepší" myslíte. Mezní užitek je mezní užitek a nehledí na dojmologie. Pro vás to tak možná je. Ale generalizovat to lze dost těžko.
Na testování local LLM bych se rozhodoval mezi (min) M4 Pro a M5 ProTo sice z pohledu vykonu dava smysl ale pri pohledu na cenu uz mene. nejlevnejsi M4 pro mac mini stoji dvojnasobek zminovane verze za 20 tisic a M4 pro s 20 GPU cores stoji skoro 50 (v Alze vidim 47500)
Hodně se mluví o Neural Acceleratorech, pochopil jsem to zhruba takto: U M4 funguje AI akcelerace přes samostatný Neural Engine (NPU) – separátní blok na čipu, ke kterému data musí cestovat z GPU. M5 to dělá jinak: Neural Accelerator je zabudovaný přímo do každého GPU jádra, takže maticové operace (základ většiny ML výpočtů) probíhají přímo tam, kde GPU pracuje s daty.jestli tomu dobre rozumim tak NPU na apple silicon je pro LLM nepouzitelne jak vykonove tak ani Apple nenabizi zadne rozumne API takze softwary typu llama.cpp NPU nepouzivaji. na M4 to jede na GPU pres Metal API. Pokud ty nove AI funkce noveho M5 GPU jsou dostupne pres stejne API mohlo by to jet 4x rychleji nez M4 jak rikaji, ale zadne benchmarky nebo potvrzeni ze je to takto pouzitelne jsem zatim nevidel (ale ani nehledal)