Jaký stroj na inferenci AI?

[PCnity]

Zde tvrdi (a asi je videt i skrze prilozene vypisy), ze je to Gen5x4x2

Takze RDMA to v objemu 200Gb/s opravdu da, takze jeden port vytizit fakt jde.

Dik za objasnenie, to posledne x2 mi chybalo v obraze.

[Reklama]

[ja.]

Z pohladu AMD je to notebookovy (a minipc) APU (HP ZBook Ultra G1a). Asi sa neratalo s potrebou viac liniek.

Liniek je relativne dost, ale bifurbikovanych. Nema ziadne 16x, kopec z nich je minutych na USB (je to SoC, USB je sucastou). Narychlo vygooglene rozdelenie liniek: https://tpucdn.com/cpu-specs/images/connectivity/amd-mobile-fp8-strix.png

[nonius]

a6b:
Do 16GB VRAM se vejde jazykový model o velikost asi 12GB, podle kvantizace (4-8 bit) 20B-10B parametrů. Odpověď se bude vypisovat velmi rychle. Pokud část poběží v RAM, bude to dost pomalé. Záleží na přenosové rychlosti paměti.

tak tech 70k uz se blizi 100k za dgx spark, jdu hledat jak jsou vykonove porovnatelne.

Podle různých testů jsou srovnatelně výkonné.

Koukněte sem:
https://www.youtube.com/watch?v=Pww8rIzr1pg


Tady ten člověk testuje spoustu věcí, můžete se inspirovat:
https://www.youtube.com/@DigitalSpaceport/videos