Poslední příspěvky

1

Hardware / Re:Ceny modulů DIMM (UDIMM i RDIMM) a také SSD

« Poslední příspěvek od uwe.filter kdy Dnes v 13:40:43 »

Dostupnost energie je jedno zásadní omezení. Druhým omezením je ekonomická návratnost a výdělečnost, se kterými to v současném stavu moc nevychází.

2

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od Karmelos kdy Dnes v 13:35:53 »

Korporace co jim jde o bezpečnost dat si platí a používají speciální LLM, které jsou dedikované jenom pro zaměstnance a žádná vložená data se nedostávají mimo firmu, ani se jimi modely neučí. Běží to třeba na AWS.

3

Hardware / Re:Ceny modulů DIMM (UDIMM i RDIMM) a také SSD

« Poslední příspěvek od anonacct kdy Dnes v 13:26:03 »

Je to krátkodobé.

To záleží na tom co si představujete pod pojmem "krátkodobé".

Celé AI je v současné době neudržitelné a to, že ceny teď letí nahoru bude znamenat, že zase poletí dolů. Výrobci zvýší výrobu, pak budou mít plné sklady, a až ta bublina splaskne, tak budou plné sklady RAM a SSD/NVME disků, které budou chtít prodat.

U SSD možná, ale těch se to aktuální zdražování zase tak moc netýká. U RAM je to větší problém, protože ty paměťové čipy, které budou namontované v různých AI akcelerátorech, nepůjde nijak jednoduše přemontovat do modulů DIMM, které potřebujeme do běžných počítačů.

U NVME disků je taky poptávka obrovská - bez NVME žádné AI není, data je potřeba skladovat.

Jinak krátkodobé pro mě znamená do doby, než datacentra narazí na jeden jednoduchý limit - elektřina. Chci vidět jak v US postaví elektrárny, které budou zásobovat datacentra 10GW v příštím roce. Není na to ani grid, ani to není technicky možné.

4

Hardware / Re:Ceny modulů DIMM (UDIMM i RDIMM) a také SSD

« Poslední příspěvek od uwe.filter kdy Dnes v 13:15:07 »

Číňani se o recyklaci těch čipů rádi postarají. Za pár let se bude ten HW vyřazovat ve stejném objemu, jako se dnes draze nakupoval.

No, zase aby to pak bylo použitelné...

5

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od uwe.filter kdy Dnes v 13:14:38 »

Podle mě jediným reálným důvodem může být paranoia / obecně zdráhavost posílat data někam do cloudu.

Soukromí holt není zadarmo (nejen z hlediska peněz).

6

Hardware / Re:Ceny modulů DIMM (UDIMM i RDIMM) a také SSD

« Poslední příspěvek od 🇺🇦 GPU kdy Dnes v 13:08:18 »

Číňani se o recyklaci těch čipů rádi postarají. Za pár let se bude ten HW vyřazovat ve stejném objemu, jako se dnes draze nakupoval.

7

Hardware / Re:Ceny modulů DIMM (UDIMM i RDIMM) a také SSD

« Poslední příspěvek od LeosB kdy Dnes v 12:42:48 »

Je to krátkodobé.

To záleží na tom co si představujete pod pojmem "krátkodobé".

Celé AI je v současné době neudržitelné a to, že ceny teď letí nahoru bude znamenat, že zase poletí dolů. Výrobci zvýší výrobu, pak budou mít plné sklady, a až ta bublina splaskne, tak budou plné sklady RAM a SSD/NVME disků, které budou chtít prodat.

U SSD možná, ale těch se to aktuální zdražování zase tak moc netýká. U RAM je to větší problém, protože ty paměťové čipy, které budou namontované v různých AI akcelerátorech, nepůjde nijak jednoduše přemontovat do modulů DIMM, které potřebujeme do běžných počítačů.

8

Hardware / Re:Hardware pro provoz lokálního LLM

« Poslední příspěvek od I.O.Z.L kdy Dnes v 12:41:42 »

Podle mě jediným reálným důvodem může být paranoia / obecně zdráhavost posílat data někam do cloudu.

Co nejake NDA, zbrojni prumysl (staci ze tam chce proniknout jako dodavatel), cizi patenty (blokace ze strany LLM), nejaky nepatentovatelny extra napad, genialni investicni strategie? Mozna by jen nechtene posunul financne zabezpecenou konkurenci vpred a on by ostrouhal. Nemusi mit penize na realizaci a co LLM jednou naucis, to pozdeji pouziji ostatni a zdarma. Proc ucit cizi model, kdyz muzes mit vlastni?

Sam jsem zazil podobne situace s nekolika nepatentovatelnymi napady. Neustoupil jsem, nic nezverejnoval, konkurence se neposunula vpred a ja tezil z vysledku. Dokonce konkurence tvrdila, ze toho nelze dosahnout s realnymi naklady. Slo :-)

9

Hardware / Re:Ceny modulů DIMM (UDIMM i RDIMM) a také SSD

« Poslední příspěvek od Martin Poljak kdy Dnes v 12:36:54 »

I pokud by skutečně bublina AI v dohledné době splaskla, což se mi zdá být dost nepravděpodobné, protože celý obor je stále teprve na začátku rozvoje [...]

Vím, že jednu dobu došlo k vyprodání křišťálových koulí. Už jsou zase skladem? To je zhruba to jediné, co mě napadá vždy když čtu podobné prognózy. Reálně to neví víceméně nikdo. Rychlost vývoje v minulosi nijak neimplikuje rychlost vývoje v budoucnosti.

Proto je zde plno lidí kteří řeknou "nemám s tím problém". Dokud vydělával někdo dvacítku převracel každou korunu, ale nyní má osmdesátku tak růst z tisícovky na čtyřitisíce je marginální.

Přesně tohle je jeden z důvodů, proč jsem se odstěhoval z Prahy. Lidé tam jsou ochotní vyhazovat za nesmyslné věci nesmyslné částky a úplně tím mrví trh.

10

Hardware / Re:Ceny modulů DIMM (UDIMM i RDIMM) a také SSD

« Poslední příspěvek od anonacct kdy Dnes v 12:24:48 »

Je to krátkodobé.

Celé AI je v současné době neudržitelné a to, že ceny teď letí nahoru bude znamenat, že zase poletí dolů. Výrobci zvýší výrobu, pak budou mít plné sklady, a až ta bublina splaskne, tak budou plné sklady RAM a SSD/NVME disků, které budou chtít prodat.