Poslední příspěvky

1

Sítě / Re:Metronet končí, ke komu přejít?

« Poslední příspěvek od ripper6 kdy Dnes v 23:06:10 »

Uz jsem u PODA, takze prihlaseni do klientske zony v pohode, kupodivu faktura, tarif vse sedi 
Ted uz jen pockat, zda budou zase nejak menit verejne IP adresy a nebo jestli vse zustane stejne.

2

Hardware / Re:Hardware s nízkou spotřebou pro domácí lab

« Poslední příspěvek od Michal Šmucr kdy Dnes v 22:56:08 »

Nedávno jsem zkoušel, jak na tom poběží klasická llama.cpp a nebyl problém svižně pracovat s modely do cca 50GiB. Přes vulkan a jen s otevřeným ovladačem. Jestli se používalo i NPU netuším.

Nejspíš ne. Co vím, tak upstream llama.cpp nemá žádný oficiální backend pro tahle NPU. S tím Strixem to bude používat buď Vulkan nebo HIP.
Ale AMD má nějaký svůj fork, kde to je dostupné.. ale použitelné omezeně.
viz https://github.com/ggml-org/llama.cpp/issues/14377
Co se týká hardwaru samotného, tak v mainline kernelu je pro to určitě modul.. drivers/accel/amdxdna

Jinak vůbec to neznám detailně a konkrétní HW se mi zatím nedostal do ruky. Ale nicméně jestli to chápu správně, tak hlavní benefit toho NPU je, že to má v porovnání s GPU daleko menší spotřebu, ale je to pomalejší a daleko míň univerzální.. Ta idea podle mě byla, že se to hodí primárně na nenáročný běh nějakých specifických menší modelů, co dělají třeba pre-procesing promptů, řeší třeba audio nebo obrazové vstupy přes CNN.. než se to finálně pošle do většího LLM. Buď v cloudu (jako třeba Copilot), nebo i lokálně, pokud bude běžet na GPU (byť jsem zatím žádný takový NPU+GPU hotový hybrid neviděl, ale extra jsem to nehledal).

3

Hardware / Re:Hardware s nízkou spotřebou pro domácí lab

« Poslední příspěvek od NCC1701E kdy Dnes v 22:25:41 »

Ahoj,

Minulý týden jsem upgradoval můj homelab na AMD Ryzen max+ 395 (Strix Halo) 128GB RAM, 2x SSD, total 5GB, network 5Gb+2.5Gb, který beží 24/7, dual boot, hlavní system ubuntu 24.04, idle 7-10W, max 140-200W,

Tohle není ani trochu fér! ;-D

Kolik to má jader, 16C/32T ? Dělají se taky varianty 8C/16T a 12C/24T.

Ta věc má mimochodem taky integrovaný Radeon a NPU... Je pro to NPU v Linuxu nějaké využití?

Mám notebook s tímhle CPU a 64G RAM. Nedávno jsem zkoušel, jak na tom poběží klasická llama.cpp a nebyl problém svižně pracovat s modely do cca 50GiB. Přes vulkan a jen s otevřeným ovladačem. Jestli se používalo i NPU netuším.
Spotřebu v idle potvrzuju.

4

Hardware / Re:Co říkáte na telefon Tesla Pi?

« Poslední příspěvek od e3k kdy Dnes v 22:23:27 »

Pokud je to od Muska a ne od jedne z milionu dalsich Tesel, tak bych se toho nedotknul ani dvoumetrovou tyci z vyhoreleho jaderneho paliva.

same here. leda tak roxorem!

5

Hardware / Re:Hardware s nízkou spotřebou pro domácí lab

« Poslední příspěvek od František Ryšánek kdy Dnes v 22:00:44 »

Ahoj,

Minulý týden jsem upgradoval můj homelab na AMD Ryzen max+ 395 (Strix Halo) 128GB RAM, 2x SSD, total 5GB, network 5Gb+2.5Gb, který beží 24/7, dual boot, hlavní system ubuntu 24.04, idle 7-10W, max 140-200W,

Tohle není ani trochu fér! ;-D

Kolik to má jader, 16C/32T ? Dělají se taky varianty 8C/16T a 12C/24T.

Ta věc má mimochodem taky integrovaný Radeon a NPU... Je pro to NPU v Linuxu nějaké využití?

6

Hardware / Re:Co říkáte na telefon Tesla Pi?

« Poslední příspěvek od balkovic kdy Dnes v 21:43:25 »

Pokud je to od Muska a ne od jedne z milionu dalsich Tesel, tak bych se toho nedotknul ani dvoumetrovou tyci z vyhoreleho jaderneho paliva.

Ja by som radšej použil normálnu tyč trebárz z hliníku. Tie palivové tyče sú dosť rádioaktívne.

7

Hardware / Re:Hardware s nízkou spotřebou pro domácí lab

« Poslední příspěvek od Kit kdy Dnes v 20:34:39 »

A já myslel že na podobné experimenty jsou vhodné cloudové služby.
Plno jich je zadarmo.

Clouds používám k takovému účelu, ale někteří uživatelé chtějí mít to železo doma.

8

Hardware / Re:Hardware s nízkou spotřebou pro domácí lab

« Poslední příspěvek od honzako kdy Dnes v 20:26:48 »

A já myslel že na podobné experimenty jsou vhodné cloudové služby.
Plno jich je zadarmo.

9

Hardware / Re:Co říkáte na telefon Tesla Pi?

« Poslední příspěvek od Ondra Satai Nekola kdy Dnes v 20:07:10 »

Pokud je to od Muska a ne od jedne z milionu dalsich Tesel, tak bych se toho nedotknul ani dvoumetrovou tyci z vyhoreleho jaderneho paliva.

10

Vývoj / FP a error handling

« Poslední příspěvek od fortran1986 kdy Dnes v 18:31:29 »

Nechápem, prečo keď FP zavrhuje výnimky a namiesto toho odporúča používať union typy ako Result alebo Option, tak F# aj tak podporuje klasické výnimky z .NET-u a dokonca má aj vlastné, neobjektové výnimky nazývané exception (čo je špecialita F#, v C# ani v iných jazykoch to nefunguje):

.NET exceptions:

Kód: [Vybrat]

open System
raise(Exception(message = "Klasicka .NET exception"))
F# exceptions:

Kód: [Vybrat]

exception Chyba of string
raise(Chyba "Typovo cista F# exception")
typ result:

Kód: [Vybrat]

let (/) x y =
    match y with
    | 0 -> Error("Delenie nulou neni povolene")
    | _ -> Ok (x / y)

Okrem toho má ešte aj asynchrónne výnimky cez Async.Catch, a zároveň poskytuje typy Result aj Option. Nehovorím, že je to blbosť – z pohľadu výkonu je Result lepší ako výnimky. Ale aj tak nechápem, prečo sa vo F# dá robiť jedna vec piatimi rôznymi spôsobmi. Začína to pôsobiť, akoby F# bobtnal podobne ako C++.

Aký spôsob error handlingu používate v FP jazykoch?