Hardware pro lokální AI LLM

[a6b]

kdybyste si meli vybrat hw na domaci ai, llm, jaky hw by to byl?

1) apple mini, apple notebook, cluster z apple mini a dalsi apple produkty s Mx chipy a dostatkem pameti na llm.
2) nvidia spark, dalsi mini pocitace s nvidia nebo amd chipy urcenymi pro ai.
3) bezne pc s grafickou kartou s dostatkem VRAM.

[Reklama]

[Exceptions]

pravděpodobně apple mini, hlavně kvůli dobrému provozu, funkčnímu OS s HW, velmi rychlé paměti (RAM i disk), dlouhé podpoře.

Otázka je, co se s tím reálně dá dělat. Cluster apple mini serverů máme, původně k jinému účelu, dnes hlavně na AI. Velký problém je, že to je sice ok pro jednoho jediného uživatele, ale jakmile to chceš pro více, ta pomalost je znát, omezení na 10GbE síť také.

Jestli si z toho chceš udělat osobního asistenta, to je prostě hračka, to nemá reálné využití. Pokud potřebuješ reálné využití, placený model nebo pronájem HW může být o trochu lepší.

Běžné PC nemá GPU s dostatkem VRAM, mám 4 x A4000, historicky a ještě z doby, kdy AI nebylo, takže stály 12k, ale i tak, na dnešní AI experimenty to je prostě málo a provoz bere 600 W jen na gpu.

[Jose D]

Myslím, že zatím jsou frontier modely přes subscription v podstatě úžasně levné, a nevyplatí se selfhosting, dokud nemáš požadavky na nějakou důvěrnost dat do modelu sypaných. Opensource modely jedou v závěsu, kimi k3 co nedávno vyšla je subjektivně jako frontier cca před tři-čtvrtě rokem?

Když si dneska koupíš premium seat chatgpt, 2050,- CZK tak z něj vyrazíš, dejme tomu  2.5 G tokenů za měsíc?

DGX spark když budeš splácet 2050CZK/měsíc, tak se ti splatí (a úplně přeskakuju elektriku atp) za 4 roky? A prostě přijde mi že OSS modely za čtyři roky do Sparku už nenacpeš.

Takže zpět k tématu - asi bych kupoval něco, co se po skončení morální životnosti dá ještě využít na něco jinýho.

Ale samozřejmě ta aritmetika vejš nezahrnuje postupný zdražování komerčních providerů atp.

[LacconePanda]

Co je ten frontier?

To se liší podle toho
- vím co chci a podle toho pořídím HW ( to přidává otázku kolik peněz mohu investovat nalít do této bubliny- blackhole)
-mám HW  , a myslím si, že by něco s ním šlo jít

Já půjdu cestou minipc s 64GB " taky-unifikované" paměti,. Už jen maximální spotřeba 90W napoví, že  nějaké drahé GPU tam nebude, rychlé to asi nebude, ale na paměť to trpět nebude.
Babrat se clustery a síťováním si myslím, že není cesta (v domácím žvýkání), sice paměť škáluje, ale výkon nejde nahoru, kolikrát it dolu(nějaký youtube používající exo benchmark to pitval)

Ty apple mini mají (některé!!!) vysoký bandwidth RAM.

[RDa]

A co vyprodejove 64GB M1 pro macbooky ? (treba s vadou klavesnice/displeje)
Lze na takove starsi generaci vyuzit jeste jejich GPU pro LLM, pres Metal ?

[Reklama]

[a6b]

ja uvazuju treba o xtx 7900 s 24gb ram v pc, ze to jde pak i prodat. nvidia spark se bude asi hure prodavat jako bazarove zbozi.

[bubakzlesa]

Doporučuji před volbou AMD karty ujasnit si, co pro tebe "domácí LLM/AI" přesně znamená.

Pokud převážně používat modely přes Ollama/llama.cpp/ComfyUI a podobně, tak řekněme že ok.

Pokud chceš více experimentovat, zkoušet nové modely z hf.co, různé research repositáře na githubu, fine-tuning a podobné věci - v AMD ekosystému pravděpodobně dříve či později narazíš, naprostá většina stále předpokládá CUDA.

Intel Arc je na tom ještě o trochu hůře, ale postupně se to zlepšuje a i tam je llama.cpp nebo ComfyUI podporovaná.

Apple je v tomto zajímavý, stejná nevýhoda s CUDA, ale unifikovaná paměť dovoluje pustit si větší modely (případně používat mnohem větší kontext), tj. tam to začíná být zajímavé v okamžiku, kdy se ti model do těch např. 24GB VRAM na nvidii/amd/intelu už nevejde.
Na menších modelech bude klasická GPU několikanásobně rychlejší.

Tj:
AI obecně/výzkum - kompatibilita:
NVIDIA CUDA > AMD ROCm > Apple MPS ≈ Intel XPU

lokální LLM / llama.cpp - kompatibilita:
Apple Silicon ≈ NVIDIA ≈ AMD > Intel Arc

[JenBob]

Intel Arc je na tom ještě o trochu hůře, ale postupně se to zlepšuje

AI si myslí tohle:
Poté, co Nvidia v září 2025 kapitálově vstoupila do Intelu s investicí 5 miliard dolarů a sdílením grafických technologií, Intel přehodnotil priority a zrušil vývoj diskrétních karet Celestial. Oficiálně to nikdy nebylo oznámeno – podle spekulací proto, aby se získal čas na doprodej skladových zásob. Insider celou věc vynesl na veřejnost v dubnu 2026. Vydání samostatné herní grafické karty od Intelu v příštích několika letech je zřejmě Sci-fi, firma bude prioritně integrovat technologie Nvidia RTX.

Na to zlepšování bych nespoléhal...

[ByCzech]

Pokud chceš více experimentovat, zkoušet nové modely z hf.co, různé research repositáře na githubu, fine-tuning a podobné věci - v AMD ekosystému pravděpodobně dříve či později narazíš, naprostá většina stále předpokládá CUDA.

Zatím jsem s AMD + Vulkan nenarazil.