Jaký stroj na inferenci AI?

[PCnity]

Zde tvrdi (a asi je videt i skrze prilozene vypisy), ze je to Gen5x4x2

Takze RDMA to v objemu 200Gb/s opravdu da, takze jeden port vytizit fakt jde.

Dik za objasnenie, to posledne x2 mi chybalo v obraze.

[Reklama]

[ja.]

Z pohladu AMD je to notebookovy (a minipc) APU (HP ZBook Ultra G1a). Asi sa neratalo s potrebou viac liniek.

Liniek je relativne dost, ale bifurbikovanych. Nema ziadne 16x, kopec z nich je minutych na USB (je to SoC, USB je sucastou). Narychlo vygooglene rozdelenie liniek: https://tpucdn.com/cpu-specs/images/connectivity/amd-mobile-fp8-strix.png

[nonius]

a6b:
Do 16GB VRAM se vejde jazykový model o velikost asi 12GB, podle kvantizace (4-8 bit) 20B-10B parametrů. Odpověď se bude vypisovat velmi rychle. Pokud část poběží v RAM, bude to dost pomalé. Záleží na přenosové rychlosti paměti.

tak tech 70k uz se blizi 100k za dgx spark, jdu hledat jak jsou vykonove porovnatelne.

Podle různých testů jsou srovnatelně výkonné.

Koukněte sem:
https://www.youtube.com/watch?v=Pww8rIzr1pg


Tady ten člověk testuje spoustu věcí, můžete se inspirovat:
https://www.youtube.com/@DigitalSpaceport/videos

[a6b]

a6b:
Do 16GB VRAM se vejde jazykový model o velikost asi 12GB, podle kvantizace (4-8 bit) 20B-10B parametrů. Odpověď se bude vypisovat velmi rychle. Pokud část poběží v RAM, bude to dost pomalé. Záleží na přenosové rychlosti paměti.

tak tech 70k uz se blizi 100k za dgx spark, jdu hledat jak jsou vykonove porovnatelne.

Podle různých testů jsou srovnatelně výkonné.

Koukněte sem:
https://www.youtube.com/watch?v=Pww8rIzr1pg


Tady ten člověk testuje spoustu věcí, můžete se inspirovat:
https://www.youtube.com/@DigitalSpaceport/videos

asi pujdu do te grafarny rtx 5080 s 16gb a vrazim to domaciho stolniho kompu.
taky chcu pouzivat cuda.

po dlouhe dobe je nejaka pekna designova vec jako dgx spark od jine firmy nez apple, ale ty prachy jsou uz moc.

[nonius]

Dejte si pozor na velikost karty, aby se vešla do skříně a zkontrolujte si, jestli máte dostatečně výkonný napájecí zdroj.

[Reklama]

[a6b]

Dejte si pozor na velikost karty, aby se vešla do skříně a zkontrolujte si, jestli máte dostatečně výkonný napájecí zdroj.

jo to jo, dik za pripomenuti, my uz jsme drive kupovali obludnou skrin a zbytecne predimenzovany zdroj, takze
to asi bude fungovat.