Jaký stroj na inferenci AI?

[a6b]

uvazuji o novem hardware pro hrani s ai na lokale, llama.cpp apod.

uvazuju o variantach:
1) mac pro m3 nebo m4, ktery ma npu.
2) notebook x64 s procesorem co ma npu, ryzen ai apod.
3) koupit jenom lepsi grafickou kartu 5080, 5070 ti do stavajicicho stolniho kompu.

chci si rozjet kvantizovany model a pohrat si s tim, pripadne vyuzit gpu pro blender a cuda.

co by jste si vybrali vy? 60k kc uz je moc, 40k kc je ok.

[Reklama]

[nonius]

Záleží, jak velký jazykový model chcete provozovat. Sice s tím nějaké zkušenosti mám, ale nechám si také poradit.

[RDa]

Sel bych na to naopak.. koupil si v ramci rozpocu hw na jine uziti (gaming, cad) a to hrani s AI (a velikosti modelu) si pak prizpusobil podle konfigurace. V necem ve vhodnotsti tomu muzete jit samozrejme naproti (objem VRAM). Alternativne koupit stroj s vyhledem na potreby v nejakem casovem horizontu (ono to dneska uz moc nasobky vykonu nedela.. zlepseni jsou mezigeneracne 10-15% - kvuli architekture a spotrebe), takze neco s planem na 5+ let byt o neco drazsi.. se muze hodit.

Jen je skoda ze jste to vyhodny okno propasl.. ted se zdrazuji pameti i ssd a potahne to i GPU segment dolu sebou.

[PCnity]

My sme nakupili Strix Halo so 128G unified, cena je okolo 50k KC netto, 128G uz ponuka celkom slusne velkosti modelov a vykon je ok.

GMKTec EVO-X2
Beelink GTR9 Pro
Minisforum MS-S1 MAX
HP Z2 Mini G1a (ecc, ale chlp pomalsia pamat)

Na gpt-oss-120b mam 48 t/s, na dev/hranie je to perfektne. Akurat ziadna CUDA

[redustin]

My sme nakupili Strix Halo so 128G unified, cena je okolo 50k KC netto

Zajímavé, kde se ten mini PC dá koupit se 128G  za cca 50k? Všude vidím kolem 70k. Díky!

[Reklama]

[a6b]

My sme nakupili Strix Halo so 128G unified, cena je okolo 50k KC netto

Zajímavé, kde se ten mini PC dá koupit se 128G  za cca 50k? Všude vidím kolem 70k. Díky!

tak tech 70k uz se blizi 100k za dgx spark, jdu hledat jak jsou vykonove porovnatelne.

[ja.]

My sme nakupili Strix Halo so 128G unified, cena je okolo 50k KC netto

Zajímavé, kde se ten mini PC dá koupit se 128G  za cca 50k? Všude vidím kolem 70k. Díky!

To boli uvadzacie ceny cca pred dvoma mesiacmi v situacii, ze zaplatis, ale cinan este ani nevypravil kontajner do europy. Spominany minisforum s1 max sa dal kupit za 2169 eur. Dnes uz su ceny o dost vyssie.

[dfxxfd]

Za tie peniaze si kúpiš maximálne RTX 5080 so 16GB do aktuálneho PC a aspoň sa môžeš hrať hry.