Zobrazit příspěvky
1
Hardware / Re:Hardware pro lokální AI LLM
« kdy: 29. 08. 2026, 01:05:52 »
Doporučuji před volbou AMD karty ujasnit si, co pro tebe "domácí LLM/AI" přesně znamená.
Pokud převážně používat modely přes Ollama/llama.cpp/ComfyUI a podobně, tak řekněme že ok.
Pokud chceš více experimentovat, zkoušet nové modely z hf.co, různé research repositáře na githubu, fine-tuning a podobné věci - v AMD ekosystému pravděpodobně dříve či později narazíš, naprostá většina stále předpokládá CUDA.
Intel Arc je na tom ještě o trochu hůře, ale postupně se to zlepšuje a i tam je llama.cpp nebo ComfyUI podporovaná.
Apple je v tomto zajímavý, stejná nevýhoda s CUDA, ale unifikovaná paměť dovoluje pustit si větší modely (případně používat mnohem větší kontext), tj. tam to začíná být zajímavé v okamžiku, kdy se ti model do těch např. 24GB VRAM na nvidii/amd/intelu už nevejde.
Na menších modelech bude klasická GPU několikanásobně rychlejší.
Tj:
AI obecně/výzkum - kompatibilita:
NVIDIA CUDA > AMD ROCm > Apple MPS ≈ Intel XPU
lokální LLM / llama.cpp - kompatibilita:
Apple Silicon ≈ NVIDIA ≈ AMD > Intel Arc
Pokud převážně používat modely přes Ollama/llama.cpp/ComfyUI a podobně, tak řekněme že ok.
Pokud chceš více experimentovat, zkoušet nové modely z hf.co, různé research repositáře na githubu, fine-tuning a podobné věci - v AMD ekosystému pravděpodobně dříve či později narazíš, naprostá většina stále předpokládá CUDA.
Intel Arc je na tom ještě o trochu hůře, ale postupně se to zlepšuje a i tam je llama.cpp nebo ComfyUI podporovaná.
Apple je v tomto zajímavý, stejná nevýhoda s CUDA, ale unifikovaná paměť dovoluje pustit si větší modely (případně používat mnohem větší kontext), tj. tam to začíná být zajímavé v okamžiku, kdy se ti model do těch např. 24GB VRAM na nvidii/amd/intelu už nevejde.
Na menších modelech bude klasická GPU několikanásobně rychlejší.
Tj:
AI obecně/výzkum - kompatibilita:
NVIDIA CUDA > AMD ROCm > Apple MPS ≈ Intel XPU
lokální LLM / llama.cpp - kompatibilita:
Apple Silicon ≈ NVIDIA ≈ AMD > Intel Arc