Koupit teď Mac mini M4, nebo čekat na M5?

[fanoush]

nechcu kazit tohle vlakno a sam jsem uvazoval o mac pro, abych si vyzkousel svet mac os.
ale jako linuxak bych si asi koupil notas s ryzenem co ma v sobe i npu.

a jak velky model do toho nahrajes? kolik RAM to NPU umi pouzit a jaky je vykon? treba gpt-oss-20b model

odpovim si sam
https://www.reddit.com/r/LocalLLaMA/comments/1mrz5gd/running_llm_and_vlm_exclusively_on_amd_ryzen_ai
https://fastflowlm.com/docs/benchmarks/gpt-oss_results/
neni to tak marne :-) M4 max mi teda dela cca 115tokenu/s pri prvnim dotazu (a zere to pri generovani z baterky cca 103W) ale myslel jsem puvodne ze tenhle NPU to nezvladne vubec a i spotreba bude asi o dost nizsi.

[Reklama]

[fanoush]

https://fastflowlm.com/docs/benchmarks/gpt-oss_results/
neni to tak marne :-) M4 max mi teda dela cca 115tokenu/s pri prvnim dotazu (a zere to pri generovani z baterky cca 103W) ale myslel jsem puvodne ze tenhle NPU to nezvladne vubec a i spotreba bude asi o dost nizsi.

dokonce maji online demo https://fastflowlm.com/docs/#-test-drive-remote-demo kde je gpt-oss-20b a na stejny dotaz mi to jelo 18t/s

[LamZelezo]

Cekat, rozhodne cekat. Pak totiz prijde M6, M7, M8 ... a na tech se bude doma programovat jedna basen.

[Jirka Němec]

Pro testování lokálních LLM bych počkal. Osobně mám Mini M4 Pro a už jsem i chvíli přemýšlel nad upgradem. U Applu je podle mě lepší kupovat základní model vyšší řady než přidávat RAM a uložiště k nižší řade. Stejně je těch 24GB málo protože kontext taky něco zabere, takže dám radši pár dolarů openrouteru pokud nepracuji s firemními daty.