Hardware s nízkou spotřebou pro domácí lab

[honzako]

A já myslel že na podobné experimenty jsou vhodné cloudové služby.
Plno jich je zadarmo.

[Reklama]

[Kit]

A já myslel že na podobné experimenty jsou vhodné cloudové služby.
Plno jich je zadarmo.

Clouds používám k takovému účelu, ale někteří uživatelé chtějí mít to železo doma.

[František Ryšánek]

Ahoj,

Minulý týden jsem upgradoval můj homelab na AMD Ryzen max+ 395 (Strix Halo) 128GB RAM, 2x SSD, total 5GB, network 5Gb+2.5Gb, který beží 24/7, dual boot, hlavní system ubuntu 24.04, idle 7-10W, max 140-200W,

Tohle není ani trochu fér! ;-D

Kolik to má jader, 16C/32T ? Dělají se taky varianty 8C/16T a 12C/24T.

Ta věc má mimochodem taky integrovaný Radeon a NPU... Je pro to NPU v Linuxu nějaké využití?

[NCC1701E]

Ahoj,

Minulý týden jsem upgradoval můj homelab na AMD Ryzen max+ 395 (Strix Halo) 128GB RAM, 2x SSD, total 5GB, network 5Gb+2.5Gb, který beží 24/7, dual boot, hlavní system ubuntu 24.04, idle 7-10W, max 140-200W,

Tohle není ani trochu fér! ;-D

Kolik to má jader, 16C/32T ? Dělají se taky varianty 8C/16T a 12C/24T.

Ta věc má mimochodem taky integrovaný Radeon a NPU... Je pro to NPU v Linuxu nějaké využití?

Mám notebook s tímhle CPU a 64G RAM. Nedávno jsem zkoušel, jak na tom poběží klasická llama.cpp a nebyl problém svižně pracovat s modely do cca 50GiB. Přes vulkan a jen s otevřeným ovladačem. Jestli se používalo i NPU netuším.
Spotřebu v idle potvrzuju.

[Michal Šmucr]

Nedávno jsem zkoušel, jak na tom poběží klasická llama.cpp a nebyl problém svižně pracovat s modely do cca 50GiB. Přes vulkan a jen s otevřeným ovladačem. Jestli se používalo i NPU netuším.

Nejspíš ne. Co vím, tak upstream llama.cpp nemá žádný oficiální backend pro tahle NPU. S tím Strixem to bude používat buď Vulkan nebo HIP.
Ale AMD má nějaký svůj fork, kde to je dostupné.. ale použitelné omezeně.
viz https://github.com/ggml-org/llama.cpp/issues/14377
Co se týká hardwaru samotného, tak v mainline kernelu je pro to určitě modul.. drivers/accel/amdxdna

Jinak vůbec to neznám detailně a konkrétní HW se mi zatím nedostal do ruky. Ale nicméně jestli to chápu správně, tak hlavní benefit toho NPU je, že to má v porovnání s GPU daleko menší spotřebu, ale je to pomalejší a daleko míň univerzální.. Ta idea podle mě byla, že se to hodí primárně na nenáročný běh nějakých specifických menší modelů, co dělají třeba pre-procesing promptů, řeší třeba audio nebo obrazové vstupy přes CNN.. než se to finálně pošle do většího LLM. Buď v cloudu (jako třeba Copilot), nebo i lokálně, pokud bude běžet na GPU (byť jsem zatím žádný takový NPU+GPU hotový hybrid neviděl, ale extra jsem to nehledal).

[Reklama]

[anonacct]

Ohledně AVX-512.

Podle mě nemá smysl dnes kupovat nový x86 HW, který by AVX-512 neměl. Pokud se bavím o home labu, kde budu pouštět nějaký spíš server workload, který AVX-512 umí velmi dobře využít, tak proč ne? Stačí nějaké storage řešení jako třeba minio, které podporuje erasure coding, a najednou má AVX-512 velmi dobré využití (AVX-512 + GFNI). Ale to je jen jeden malý příklad.

[Kit]

Ohledně AVX-512.

Podle mě nemá smysl dnes kupovat nový x86 HW, který by AVX-512 neměl. Pokud se bavím o home labu, kde budu pouštět nějaký spíš server workload, který AVX-512 umí velmi dobře využít, tak proč ne? Stačí nějaké storage řešení jako třeba minio, které podporuje erasure coding, a najednou má AVX-512 velmi dobré využití (AVX-512 + GFNI). Ale to je jen jeden malý příklad.

Bavíme se o domácím serveru s nízkou spotřebou. Tazatel evidentně nepotřebuje high-end řešení.

[ja.]

Ohledně AVX-512.

Podle mě nemá smysl dnes kupovat nový x86 HW, který by AVX-512 neměl. Pokud se bavím o home labu, kde budu pouštět nějaký spíš server workload, který AVX-512 umí velmi dobře využít, tak proč ne? Stačí nějaké storage řešení jako třeba minio, které podporuje erasure coding, a najednou má AVX-512 velmi dobré využití (AVX-512 + GFNI). Ale to je jen jeden malý příklad.

Ja by som len podotkol pre tych, co si zatial nevsimli, ale open-source minio je mrtve:

Maintenance Mode

This project is currently under maintenance and is not accepting new changes.

-   The codebase is in a maintenance-only state
-    No new features, enhancements, or pull requests will be accepted
-    Critical security fixes may be evaluated on a case-by-case basis
-    Existing issues and pull requests will not be actively reviewed
-    Community support continues on a best-effort basis through Slack

For enterprise support and actively maintained versions, please see MinIO AIStor.

[Jimmyx]

Bavíme se o domácím serveru s nízkou spotřebou. Tazatel evidentně nepotřebuje high-end řešení.

Tazatel kromě úvodního dotazu už nereaguje, takže buď už má vyřešeno nebo je vystrašen diskusí co to z jeho dotazu vznikla.

[anonacct]

Minio není jediný produkt, který umí erasure coding, tak jsem to myslel. Jestli jejich open-source verze je mrtvá nebo ne, to je mi celkem jedno.

Šlo mi jen o příklad, protože slovo AVX-512 přitahuje jedince, kteří o tom sice nic neví, ale budou mluvit o tom, jak to je zbytečné a jak to nic nepoužívá. Z mojeho pohledu je AVX2 mrtvé - dnes nemá cenu psát AVX2 kód, pro koho? Lidi co kupujou desktop Intel? Ne...