Jaký stroj na inferenci AI?

[a6b]

uvazuji o novem hardware pro hrani s ai na lokale, llama.cpp apod.

uvazuju o variantach:
1) mac pro m3 nebo m4, ktery ma npu.
2) notebook x64 s procesorem co ma npu, ryzen ai apod.
3) koupit jenom lepsi grafickou kartu 5080, 5070 ti do stavajicicho stolniho kompu.

chci si rozjet kvantizovany model a pohrat si s tim, pripadne vyuzit gpu pro blender a cuda.

co by jste si vybrali vy? 60k kc uz je moc, 40k kc je ok.

[Reklama]

[nonius]

Záleží, jak velký jazykový model chcete provozovat. Sice s tím nějaké zkušenosti mám, ale nechám si také poradit.

[RDa]

Sel bych na to naopak.. koupil si v ramci rozpocu hw na jine uziti (gaming, cad) a to hrani s AI (a velikosti modelu) si pak prizpusobil podle konfigurace. V necem ve vhodnotsti tomu muzete jit samozrejme naproti (objem VRAM). Alternativne koupit stroj s vyhledem na potreby v nejakem casovem horizontu (ono to dneska uz moc nasobky vykonu nedela.. zlepseni jsou mezigeneracne 10-15% - kvuli architekture a spotrebe), takze neco s planem na 5+ let byt o neco drazsi.. se muze hodit.

Jen je skoda ze jste to vyhodny okno propasl.. ted se zdrazuji pameti i ssd a potahne to i GPU segment dolu sebou.

[PCnity]

My sme nakupili Strix Halo so 128G unified, cena je okolo 50k KC netto, 128G uz ponuka celkom slusne velkosti modelov a vykon je ok.

GMKTec EVO-X2
Beelink GTR9 Pro
Minisforum MS-S1 MAX
HP Z2 Mini G1a (ecc, ale chlp pomalsia pamat)

Na gpt-oss-120b mam 48 t/s, na dev/hranie je to perfektne. Akurat ziadna CUDA

[redustin]

My sme nakupili Strix Halo so 128G unified, cena je okolo 50k KC netto

Zajímavé, kde se ten mini PC dá koupit se 128G  za cca 50k? Všude vidím kolem 70k. Díky!

[Reklama]

[a6b]

My sme nakupili Strix Halo so 128G unified, cena je okolo 50k KC netto

Zajímavé, kde se ten mini PC dá koupit se 128G  za cca 50k? Všude vidím kolem 70k. Díky!

tak tech 70k uz se blizi 100k za dgx spark, jdu hledat jak jsou vykonove porovnatelne.

[ja.]

My sme nakupili Strix Halo so 128G unified, cena je okolo 50k KC netto

Zajímavé, kde se ten mini PC dá koupit se 128G  za cca 50k? Všude vidím kolem 70k. Díky!

To boli uvadzacie ceny cca pred dvoma mesiacmi v situacii, ze zaplatis, ale cinan este ani nevypravil kontajner do europy. Spominany minisforum s1 max sa dal kupit za 2169 eur. Dnes uz su ceny o dost vyssie.

[dfxxfd]

Za tie peniaze si kúpiš maximálne RTX 5080 so 16GB do aktuálneho PC a aspoň sa môžeš hrať hry.

[alobalova_ciapocka]

Co tak stary 5-10 rocny server?
 
Plusy: velka ramka, nizka cena, na obcasne zapnutie akceptovatelna spotreba
Minusy: vykon CPU oproti GPU.

Vhodne ak ide len o hranie a setup technologie a neocakavaju sa pouzitelne a rychlo dostupne vysledky.

[PCnity]

DGX Spark ma zmysel ak sa da ekefitvne vyzuti NVFP4, resp. ich SW ekosystem, ktory my naschval nepodporujeme.

Aj Minisform MS-S1 MAX, aj GMKTec EVO-X2 sa da aktualne objednat aj v "normalnych" obchodoch v AT za < 2200 Eur bez DPH.

https://www.galaxus.at/de/s1/product/gmktec-evo-x2-2000-gb-128-gb-amd-ryzen-ai-max-395-pc-61575547?utm_campaign=preisvergleich&utm_source=geizhals&utm_medium=cpc&utm_content=2705624&supplier=2705624

https://www.proshop.at/Stationaer-Mini-PC-Barebone/Minisforum-MS-S1-MAX-Ryzen-AI-Max-128GB-2TB/3414353?utm_source=geizhals&utm_medium=cpc&utm_campaign=pricesite

Ja som teraz objednaval 4ks Bossgamepc M5 pre nas ako workstation na stol priamo od https://www.bosgamepc.com/products/bosgame-m5-ai-mini-desktop-ryzen-ai-max-395

1 ks uz mam, IMO je to 1:1 ako GMKTec EVO-X2, aj layout konektorov je rovnaky. Necudoval by som sa ak by tam bola rovnaka doska.
Ta uzadzana cena v EUR ma moc optimisticky prepoct na USD a platit sa da len v USD... Za to 1. experimentalny kus mi poslali do 9 dni od objednavky, na vyziadanie dostanes aj FA... Je to bez DPH a tvoje VAT ID si nikto nepyta, cize danovy ojeb, kedze posielaju z Nemecka a teda ziadna colnica sa o tie baliky nezaujima.

Minisforum ma obrovksu vyhodu v tom, ze tam je mechanicky PCIe x16, aj ked elektricky len 4.0 x4 a low profile. Napriek tomu tam viem pichnut 100 GbE a ulozit ich na policku do racku. Za to ma 2. M.2 slot len x1... Kedze PCIe linky nemali odkial vycarovat.
To ich 80 gbps USB 4v2 by som bral tiez s rezervou... Mam zatial objednane, ale este nedosiel. Uvidime neskor.

Taky DGX Spark sa hrdi Mellanoxom s 2x 200GbE ak sa nemyslim, ALE... ALE... je zapojeny tiez len na x4 PCIe zbernicu ... takze k tomu tolko.

Tam som uvazoval objednat "Lenovo ThinkStation PGX". co je IMO najlacnejsi model "DGX Spark"u dostupny u nas, hlavne ak ho zoberies 1T SSD... Kedze aj tie 4T su slabota... a tu sa zase dostavame k dalsiemu negativu, maju "kratke" SSD, myslim ze 2230, co doooost obmedzuje moznosti nahrady za vykonny model.


Vsetko z tohoto vsak daleko, daleko predci moznosti "skladacky" za tu cenu. Rychlost compute nie je pre mna napriklad az taka podstatna, za to chcem mat moznost hrat sa s vacsim modelom a idealne pri Q8... A mat moznost loadnut 2 modely naraz, etc.
=> VRAM, resp. unified RAM size je najpodstatnejsia pre nas. Sirka zbernice a GPU/CPU speed su sekundarne.

Ak napriklad spravis build "el cheapo", co je v mojich ociach napriklad 4x AMD MI50 s 32G "china edition", ktore vies zohnat za 250 eur kus aj s shippingom Alibaby, ci Aliexpressu, mas este jeden problem: Na efektivne vyuzitie treba realne 4x ELEKTRICKY PCIe 4.0 x16... Nie ako v v casoch miningu, ked sme davali 16 GPU na 1 dosku s Celeronom zavesene cez x1.
=> Treba CPU co ma dost liniek... U nas by to boli EPYC 7002/7003 co sme nahradili... Lenze zase treba dosku Workstation stylu a a a a a... vela prace.