Aké mini PC pre lokálny ChatOllama webserver?

[My name:]

Aké _mini_ PC pre lokálny ollama chat webserver aby zvládal veľké modely (16+ GB) s rýchlosťou aspoň 20 t/s ? Dá sa to vôbec bez dedikovanej grafiky? Či počkať na AMD AI procáky? 

[Reklama]

[ogdru6jahad]

https://hostkey.com/documentation/technical/gpu/ollama/

[ogdru6jahad]

To ensure acceptable performance, the size of the model should be at least two times smaller than the amount of RAM available on the server and ⅔ of the available video memory on the GPU. For example, a model of size 8GB requires 16GB of RAM and 12GB of video memory on the GPU.

[_Tomáš_]

ač se ti to nebude líbit, znám jediné řešení https://www.apple.com/cz/mac-mini/, cca 50 - 60 tis za 32 GB GPU RAM.

Tady máš nějaké měření na 7B modelu https://github.com/ggerganov/llama.cpp/discussions/4167.

Neznám v současné době efektivnější řešení (práce / cena / výkon) na lokální chat aplikace. Sami to ve spoustě instancí používáme a máme to součástí i demo clusteru, s kterým chodíme za zákazníky přímo.

Doma jsem zkoušel postavit mini pc nad Quadro RTX A4000, ale ta karta je dost velká na mini pc, 200W zdroj také na velikosti nepřidá, nutné chlazení, cena pak atakuje 40 tis a přitom to je asi jen 2x výkonnější než ten mini pc a s 16GB video paměti jsem s některými modely na doraz.

[Jin Rys]

V tabulce https://llm.aidatatools.com/results-linux.php lze najít výsledky pro Ryzen 9 7940HS v kombinaci s různými modely. Pro 7b modely je throughput cca 30-40.

Pokud je to dostatečný výkon, tak mini-pc s tímto procesorem je např. Āsome Max Studio. Recenze https://www.zive.cz/clanky/velky-vykon-v-malem-tele-recenze-mini-pc-max-studio-od-ceske-znacky-asome/sc-3-a-224215/default.aspx , web prodejce https://www.asome.cz/kategorie/pocitace/
Nejspíš totožný model je na Aliexpressu pod názvem minisforum um790 pro.

[Reklama]

[Maor]

Ještě existuje Jetson AGX Orin, ale má to pomalejší paměť než jabko a neni to zrovna levný
Výkon zde:
https://www.jetson-ai-lab.com/benchmarks.html