jaky stroj na inferenci ai?

[a6b]

uvazuji o novem hardware pro hrani s ai na lokale, llama.cpp apod.

uvazuju o variantach:
1) mac pro m3 nebo m4, ktery ma npu.
2) notebook x64 s procesorem co ma npu, ryzen ai apod.
3) koupit jenom lepsi grafickou kartu 5080, 5070 ti do stavajicicho stolniho kompu.

chci si rozjet kvantizovany model a pohrat si s tim, pripadne vyuzit gpu pro blender a cuda.

co by jste si vybrali vy? 60k kc uz je moc, 40k kc je ok.

[Reklama]

[nonius]

Záleží, jak velký jazykový model chcete provozovat. Sice s tím nějaké zkušenosti mám, ale nechám si také poradit.

[RDa]

Sel bych na to naopak.. koupil si v ramci rozpocu hw na jine uziti (gaming, cad) a to hrani s AI (a velikosti modelu) si pak prizpusobil podle konfigurace. V necem ve vhodnotsti tomu muzete jit samozrejme naproti (objem VRAM). Alternativne koupit stroj s vyhledem na potreby v nejakem casovem horizontu (ono to dneska uz moc nasobky vykonu nedela.. zlepseni jsou mezigeneracne 10-15% - kvuli architekture a spotrebe), takze neco s planem na 5+ let byt o neco drazsi.. se muze hodit.

Jen je skoda ze jste to vyhodny okno propasl.. ted se zdrazuji pameti i ssd a potahne to i GPU segment dolu sebou.

[PCnity]

My sme nakupili Strix Halo so 128G unified, cena je okolo 50k KC netto, 128G uz ponuka celkom slusne velkosti modelov a vykon je ok.

GMKTec EVO-X2
Beelink GTR9 Pro
Minisforum MS-S1 MAX
HP Z2 Mini G1a (ecc, ale chlp pomalsia pamat)

Na gpt-oss-120b mam 48 t/s, na dev/hranie je to perfektne. Akurat ziadna CUDA