Fórum Root.cz
Hlavní témata => Hardware => Téma založeno: a6b 18. 11. 2025, 22:15:13
-
uvazuji o novem hardware pro hrani s ai na lokale, llama.cpp apod.
uvazuju o variantach:
1) mac pro m3 nebo m4, ktery ma npu.
2) notebook x64 s procesorem co ma npu, ryzen ai apod.
3) koupit jenom lepsi grafickou kartu 5080, 5070 ti do stavajicicho stolniho kompu.
chci si rozjet kvantizovany model a pohrat si s tim, pripadne vyuzit gpu pro blender a cuda.
co by jste si vybrali vy? 60k kc uz je moc, 40k kc je ok.
-
Záleží, jak velký jazykový model chcete provozovat. Sice s tím nějaké zkušenosti mám, ale nechám si také poradit.
-
Sel bych na to naopak.. koupil si v ramci rozpocu hw na jine uziti (gaming, cad) a to hrani s AI (a velikosti modelu) si pak prizpusobil podle konfigurace. V necem ve vhodnotsti tomu muzete jit samozrejme naproti (objem VRAM). Alternativne koupit stroj s vyhledem na potreby v nejakem casovem horizontu (ono to dneska uz moc nasobky vykonu nedela.. zlepseni jsou mezigeneracne 10-15% - kvuli architekture a spotrebe), takze neco s planem na 5+ let byt o neco drazsi.. se muze hodit.
Jen je skoda ze jste to vyhodny okno propasl.. ted se zdrazuji pameti i ssd a potahne to i GPU segment dolu sebou.
-
My sme nakupili Strix Halo so 128G unified, cena je okolo 50k KC netto, 128G uz ponuka celkom slusne velkosti modelov a vykon je ok.
GMKTec EVO-X2
Beelink GTR9 Pro
Minisforum MS-S1 MAX
HP Z2 Mini G1a (ecc, ale chlp pomalsia pamat)
Na gpt-oss-120b mam 48 t/s, na dev/hranie je to perfektne. Akurat ziadna CUDA :)
-
My sme nakupili Strix Halo so 128G unified, cena je okolo 50k KC netto
Zajímavé, kde se ten mini PC dá koupit se 128G za cca 50k? Všude vidím kolem 70k. Díky!
-
My sme nakupili Strix Halo so 128G unified, cena je okolo 50k KC netto
Zajímavé, kde se ten mini PC dá koupit se 128G za cca 50k? Všude vidím kolem 70k. Díky!
tak tech 70k uz se blizi 100k za dgx spark, jdu hledat jak jsou vykonove porovnatelne.
-
My sme nakupili Strix Halo so 128G unified, cena je okolo 50k KC netto
Zajímavé, kde se ten mini PC dá koupit se 128G za cca 50k? Všude vidím kolem 70k. Díky!
To boli uvadzacie ceny cca pred dvoma mesiacmi v situacii, ze zaplatis, ale cinan este ani nevypravil kontajner do europy. Spominany minisforum s1 max sa dal kupit za 2169 eur. Dnes uz su ceny o dost vyssie.
-
Za tie peniaze si kúpiš maximálne RTX 5080 so 16GB do aktuálneho PC a aspoň sa môžeš hrať hry.
-
Co tak stary 5-10 rocny server?
Plusy: velka ramka, nizka cena, na obcasne zapnutie akceptovatelna spotreba
Minusy: vykon CPU oproti GPU.
Vhodne ak ide len o hranie a setup technologie a neocakavaju sa pouzitelne a rychlo dostupne vysledky.
-
DGX Spark ma zmysel ak sa da ekefitvne vyzuti NVFP4, resp. ich SW ekosystem, ktory my naschval nepodporujeme.
Aj Minisform MS-S1 MAX, aj GMKTec EVO-X2 sa da aktualne objednat aj v "normalnych" obchodoch v AT za < 2200 Eur bez DPH.
https://www.galaxus.at/de/s1/product/gmktec-evo-x2-2000-gb-128-gb-amd-ryzen-ai-max-395-pc-61575547?utm_campaign=preisvergleich&utm_source=geizhals&utm_medium=cpc&utm_content=2705624&supplier=2705624
https://www.proshop.at/Stationaer-Mini-PC-Barebone/Minisforum-MS-S1-MAX-Ryzen-AI-Max-128GB-2TB/3414353?utm_source=geizhals&utm_medium=cpc&utm_campaign=pricesite
Ja som teraz objednaval 4ks Bossgamepc M5 pre nas ako workstation na stol priamo od https://www.bosgamepc.com/products/bosgame-m5-ai-mini-desktop-ryzen-ai-max-395
1 ks uz mam, IMO je to 1:1 ako GMKTec EVO-X2, aj layout konektorov je rovnaky. Necudoval by som sa ak by tam bola rovnaka doska.
Ta uzadzana cena v EUR ma moc optimisticky prepoct na USD a platit sa da len v USD... Za to 1. experimentalny kus mi poslali do 9 dni od objednavky, na vyziadanie dostanes aj FA... Je to bez DPH a tvoje VAT ID si nikto nepyta, cize danovy ojeb, kedze posielaju z Nemecka a teda ziadna colnica sa o tie baliky nezaujima.
Minisforum ma obrovksu vyhodu v tom, ze tam je mechanicky PCIe x16, aj ked elektricky len 4.0 x4 a low profile. Napriek tomu tam viem pichnut 100 GbE a ulozit ich na policku do racku. Za to ma 2. M.2 slot len x1... Kedze PCIe linky nemali odkial vycarovat.
To ich 80 gbps USB 4v2 by som bral tiez s rezervou... Mam zatial objednane, ale este nedosiel. Uvidime neskor.
Taky DGX Spark sa hrdi Mellanoxom s 2x 200GbE ak sa nemyslim, ALE... ALE... je zapojeny tiez len na x4 PCIe zbernicu ;) ... takze k tomu tolko.
Tam som uvazoval objednat "Lenovo ThinkStation PGX". co je IMO najlacnejsi model "DGX Spark"u dostupny u nas, hlavne ak ho zoberies 1T SSD... Kedze aj tie 4T su slabota... a tu sa zase dostavame k dalsiemu negativu, maju "kratke" SSD, myslim ze 2230, co doooost obmedzuje moznosti nahrady za vykonny model.
Vsetko z tohoto vsak daleko, daleko predci moznosti "skladacky" za tu cenu. Rychlost compute nie je pre mna napriklad az taka podstatna, za to chcem mat moznost hrat sa s vacsim modelom a idealne pri Q8... A mat moznost loadnut 2 modely naraz, etc.
=> VRAM, resp. unified RAM size je najpodstatnejsia pre nas. Sirka zbernice a GPU/CPU speed su sekundarne.
Ak napriklad spravis build "el cheapo", co je v mojich ociach napriklad 4x AMD MI50 s 32G "china edition", ktore vies zohnat za 250 eur kus aj s shippingom Alibaby, ci Aliexpressu, mas este jeden problem: Na efektivne vyuzitie treba realne 4x ELEKTRICKY PCIe 4.0 x16... Nie ako v v casoch miningu, ked sme davali 16 GPU na 1 dosku s Celeronom zavesene cez x1.
=> Treba CPU co ma dost liniek... U nas by to boli EPYC 7002/7003 co sme nahradili... Lenze zase treba dosku Workstation stylu a a a a a... vela prace.
-
DGX Spark ma zmysel ak sa da ekefitvne vyzuti NVFP4, resp. ich SW ekosystem, ktory my naschval nepodporujeme.
...
Taky DGX Spark sa hrdi Mellanoxom s 2x 200GbE ak sa nemyslim, ALE... ALE... je zapojeny tiez len na x4 PCIe zbernicu ;) ... takze k tomu tolko.
DGX Spark treba vnimat v tom kontexte, ze je to prototypovacie zariadenie, ktore je plne kompatibilne s vacsimi hrackami od toho isteho vendora. T.j. bezi tam CUDA, Mellanox je tam kvoli infinibandu, pouziva sa Nvidia NIM a Blueprints (teda to, co ignorujete)... takze na tomto malickom sa nieco naprototypuje a potom sa to da bezo zmeny preniest na RTX Pro servery, kde sa to potom pusta produkcne.
-
K tomu Strix Halo:
Framework prodává 128G základní desku Mini-ITX za 50k.
https://frame.work/cz/en/products/framework-desktop-mainboard-amd-ryzen-ai-max-300-series?v=FRAFMK0006 (https://frame.work/cz/en/products/framework-desktop-mainboard-amd-ryzen-ai-max-300-series?v=FRAFMK0006)
-
...
Taky DGX Spark sa hrdi Mellanoxom s 2x 200GbE ak sa nemyslim, ALE... ALE... je zapojeny tiez len na x4 PCIe zbernicu ;) ... takze k tomu tolko.
Zde tvrdi (a asi je videt i skrze prilozene vypisy), ze je to Gen5x4x2 - do kazdeho ze dvou cpu clusteru (obdoba socketu z pohledu NUMA) je to pripojeny skrze Gen5x4, coz je tedy 32G*4 = 128 Gb/s per cluster. Vice nez to deleni kvuli cpu jadrum, je to takhle podeleny kvuli distribuci pametovych radicu prislusejicich ke kazdemu clusteru.
https://www.reddit.com/r/LocalLLaMA/comments/1oieip0/theoretically_scaling_beyond_2_dgx_sparks_in_a/
Takze RDMA to v objemu 200Gb/s opravdu da, takze jeden port vytizit fakt jde.
Problem vytizit oba porty - s tim ma problem napr. i Intel, na E810-QDA2 mate sice 2x100G, pcie je Gen4x16 (16Gx16 ~ 256G), ale v tom cipu je uzke hrdlo, takze vice nez 120G to v souctu stejne neda... nuz takova bezna intelovina, by rekl klasik :D takze do dokumentace pak dopsali, ze mas pouzivat jen jedno QSFP a druhe tam je tak nejak do poctu (jako pro backup ucely)
-
Minisforum ma obrovksu vyhodu v tom, ze tam je mechanicky PCIe x16, aj ked elektricky len 4.0 x4 a low profile. Napriek tomu tam viem pichnut 100 GbE a ulozit ich na policku do racku. Za to ma 2. M.2 slot len x1... Kedze PCIe linky nemali odkial vycarovat.
To ich 80 gbps USB 4v2 by som bral tiez s rezervou... Mam zatial objednane, ale este nedosiel. Uvidime neskor.
To ten Halo SOC nema zadne slusne PCIe, nebo na tom maj poveseno neco jineho ?
Anebo je to nejaky zruseny konzolovy projekt, kde se prave takove x4 reseni ujalo na pripojeni SB a periferii.
-
Minisforum ma obrovksu vyhodu v tom, ze tam je mechanicky PCIe x16, aj ked elektricky len 4.0 x4 a low profile. Napriek tomu tam viem pichnut 100 GbE a ulozit ich na policku do racku. Za to ma 2. M.2 slot len x1... Kedze PCIe linky nemali odkial vycarovat.
To ich 80 gbps USB 4v2 by som bral tiez s rezervou... Mam zatial objednane, ale este nedosiel. Uvidime neskor.
To ten Halo SOC nema zadne slusne PCIe, nebo na tom maj poveseno neco jineho ?
Anebo je to nejaky zruseny konzolovy projekt, kde se prave takove x4 reseni ujalo na pripojeni SB a periferii.
Z pohladu AMD je to notebookovy (a minipc) APU (HP ZBook Ultra G1a). Asi sa neratalo s potrebou viac liniek.
-
Zde tvrdi (a asi je videt i skrze prilozene vypisy), ze je to Gen5x4x2
Takze RDMA to v objemu 200Gb/s opravdu da, takze jeden port vytizit fakt jde.
Dik za objasnenie, to posledne x2 mi chybalo v obraze.
-
Z pohladu AMD je to notebookovy (a minipc) APU (HP ZBook Ultra G1a). Asi sa neratalo s potrebou viac liniek.
Liniek je relativne dost, ale bifurbikovanych. Nema ziadne 16x, kopec z nich je minutych na USB (je to SoC, USB je sucastou). Narychlo vygooglene rozdelenie liniek: https://tpucdn.com/cpu-specs/images/connectivity/amd-mobile-fp8-strix.png