Zavisi od toho, aky je rozpocet a co su priority. Ci LLM, alebo "ine veci". A ked LLM, ci schopnost spustit vacsie modely pomaly, alebo mensie modely rychlejsie.
1. AMD: existuje aj o generaciu starsi model, 7900XTX. Ten ma 24 GB RAM. V LLM bude vykonnejsi ako 9070. V "inych oblastiach" ma 9070 vyhodu, ze vie FSR4 (=> ma int4), vylepseny path tracing a nevyhodu, ze hruby vykon je o chlp nizsi ako 7900. Pri LLM na vyhodach 9070 nezalezi.
1b. AMD: moznost pustat velke modely pomalsie prinasa Ryzen AI Max+ 395. Na trhu su mini pocitace s tymto SoC a 128 GB RAM. RAM je mozne dynamicky alokovat medzi CPU a GPU, napr. 16 GB pre CPU a 112 pre GPU.
Celkovo AMD: nie je podporovana CUDA. Rozlicne LLM runtime, ako llama.cpp alebo ollama maju rozlicnu uroven podpory ci uz ROCm alebo idu cez Vulkan. Pytorch - vybrane verzie - vie bezat s ROCm. AMD tiez ma podporu systemov pre ROCm aku ma (napr. aktualny ROCm 7.1.1 funguje v Linuxe, vo Windowse nativne iba s pythonom 3.12, ale vo WSL iba starsi 6.4.4, ktoremu chyba podpora pre novsie chipsety). S AMD sa treba trocha pohrat, aby sa to rozbehlo, nejde to tak celkom OOB.
2. Mac mini s kolko RAM? Tam je situacia podobna ako s APU od AMD.
3. Nvidia: existuje 5090, ktore maju 32 GB RAM. A potom sa samozrejme mozme posunut - ak to dovoli rozpocet - do oblasti RTX PRO 6000 Blackwell, ktore su vo verziach 48 a 96 GB RAM.
1 Odpovědí
70 Zhlédnutí