Přibližná cena serveru+elektřiny na AI

[GloGlo]

Zdravím. Nejsem ajťák, je to jen můj koníček. Nedávno jsem se spíš jako hobby začal učit Machine learning/AI dle kurzu na Udemy, ale jsem teprv začátečník. V budoucnu bych chtěl vytvořit určitý svůj projekt, který asi bude vyžadovat hodně výpočetní síly, ale nedokážu to v tuto chvíli odhadnout.

Každopádně moje otázka: mám nějaké skripty v Pythonu spíš na hraní/učení a sbírám pro ně data. Momentálně mám třetí VPS. První byl asi za 15 EUR/měsíc 8jádro někde v Litvě, pak sem zkoušel Microsoft Azure, kde mi dali 100 USD kredit, ale ten sem docela rychle vyčerpal a hlavně měl problém s jejich IP adresami, na některé se prostě nešlo připojit přes některé porty, třeba z mobilu. Netuším proč. A momentálně mám server v Holandsku u firmy, která mi dala na měsíc 100 EUR kredit, je to 16jádro 16GB RAM a normálně by to stálo zhruba 100 EUR/měsíc.

A teď moje otázka: ten server, který v současnosti mám, je asi ten nejhorší typ, každopádně mi jeden výpočet trval zhruba 450-500 sekund, což by nebylo tak hrozné. Jenže mi pak poslali mail, že příliš moc využívám CPU a že mi nějak odebrali Burst Mode, který mi to zrychloval o 100%, jenže se mi zdá, že se to teď zpomalilo ještě mnohem víc, jeden test teď trvá kolem 1400 sekund a to už se mi zdá celkem pomalé.

Jedna z možností, kterou zvažuju, je, že bych si koupil nějaký svůj server, třeba z druhé ruky. Jde mi hlavně o CPU, RAM asi není potřeba zas tak moc, těch 16GB by mohlo stačit (ale na 100% jistý si nejsem). Za kolik by šlo pořídit nějak levně server s třeba 24 nebo 48 CPU?

A dále, kdybych si ho hypoteticky pořídil, tak kolik to pak žere elektřiny? :-) Prostě mi jde o to, jestli se víc vyplatí si takový server koupit a nebo pronajmout jako VPS.

Díky za vaše tipy/odhady

[Reklama]

[Pavel Rauš]

Nejlevněji na pořízení vyjde bazarový 2x 12core ( něco jako E5-2695v2 nebo E5-2697v2 ).

Housing takové věci, při dnešních cenách energie, bude někde mezi 2-3tis.

[RDa]

A musi tvoje veci bezet na CPU, nebo to lze akcelerovat na GPU?

Predpokladam ze mas nejaky pocitac doma a nejedes frikulinsky z telefonu jako decka na hristi.

Takze si spust ty ukoly na lokalu, zjisti si CAS * SPOTREBU = ENERGII kterou zaplatis.

Pokud ti to vyhovuje a jen to chces mit rychleji, hledej vicejadrove reseni ve stejne generaci kterou mas.
Pokud to chces v cene nakladu na energie levneji, musis zainvestovat do novejsi generace cpu/gpu.

Tohle si nedokazes ale sam odvodit a prozkoumat?

[Michal Žažo]

Provozovat doma vlastní server je sice v mnoha ohledech fajn. Ale je z toho horko, hluk (a při práci může být velmi hlasitý) a při dnešních cenách energií tě to bude nutit trochu hlídat. Možná bych zvážil vlastni dedikovaný server. Tam tě nikdo hlídat nebude. Například v aukci hetzner.com, můřeš pořídit dost výkonné železo za rozumný peníz. Například za 40 euro tam máš vlastní 8 jadro /16 vláken s 64GB RAM. Jsou to servery s plnou podporu. Jde najít i levnější, ale když si připlatíš, můžeš mít i výkonnejší. Sice se to musí platit tak jako tak, nicméně ti tam skripty můžou běžet nonstop, doma ticho a chládek. A nehlídáš si elektroměr.

[GloGlo]

A musi tvoje veci bezet na CPU, nebo to lze akcelerovat na GPU?

Predpokladam ze mas nejaky pocitac doma a nejedes frikulinsky z telefonu jako decka na hristi.

Takze si spust ty ukoly na lokalu, zjisti si CAS * SPOTREBU = ENERGII kterou zaplatis.

Pokud ti to vyhovuje a jen to chces mit rychleji, hledej vicejadrove reseni ve stejne generaci kterou mas.
Pokud to chces v cene nakladu na energie levneji, musis zainvestovat do novejsi generace cpu/gpu.

Tohle si nedokazes ale sam odvodit a prozkoumat?

PC nemám, jen starší NB, kterej mi na surfování po netu, nějaký to bastlení a filmy bohatě stačí, ale jinak to na něco složitějšího absolutně není. Odhaduju, že to moje současný VPS je tak 10x výkonější než můj NB.

[Reklama]

[michal_h]

Co je na tech Python scriptech nejnarocnejsi? Nejde to nejak optimalizovat (vypocetni operace provadet napr. vektorove pres Numpy, apod.)?

[Hafraan]

Nejlevněji na pořízení vyjde bazarový 2x 12core ( něco jako E5-2695v2 nebo E5-2697v2 ).

Housing takové věci, při dnešních cenách energie, bude někde mezi 2-3tis.

Tak to radší nějaký nový Ryzen 5900X poř. 5950X, provozní náklady na měsíc sou cca 750,- za elektřinu (cca 200W, 24/7, 5Kč/kWh), výkon srovnatelný... Doma s dobrým chladičem neslyšné.

[Exceptions]

server koupíš asi do 20 tis, něco takovéhoto by ti mělo stačit https://www.czech-server.cz/servery-hp-proliant-dl360-gen8_c20.html#cls=spresenttrees&strid=20&sps_v_1615=10-Core%201.70%20GHz%20E5-2650L%20v2

Zvaž to, potřebuješ na to místo, servery jsou dost hlučné. Náklady na spotřebu jdou teď opravdu do jednotek tisíc měsíčně. Tady si nevybereš? https://www.soyoustart.com/en/

[GloGlo]

Co je na tech Python scriptech nejnarocnejsi? Nejde to nejak optimalizovat (vypocetni operace provadet napr. vektorove pres Numpy, apod.)?

Určitě to optimalizovat půjde a to hodně. Momentálně mám v databázi svoje data, generuju z nich určitý data přes externí knihovnu a pak dělám určitý věci z různých kombinací mých dat + těch vygenerovaných dat. Je to tak pomalý hlavně proto, že trvá spočítat ty data přes externí knihovnu. Nejspíš to extrémně moc zrychlím tím, že si ty vygenerovaný data někde uložím do databáze a nebudu je pokaždý počítat znova. To je mi jasný.. Jenže vtip je v tom, že zatímco teďka dělám jeden test spíš jen abych se podíval, jestli to funguje, tak až trochu pokročím, tak nebudu dělat jeden test který trvá 1400 sekund, ale miliony nebo miliardy testů, kde každý bude trvat třeba 0.01s, ty hodnoty jsou jen ilustrační samozřejmě. Každopádně asi budu potřebovat hodně výpočetní síly

[GloGlo]

Jinak díky za všechny odpovědi. Na první pohled to vypadá tak, že řešit pořízení vlastního serveru se jen tak nevyplatí a pokud vůbec by se ta investice vrátila (celkové náklady nižší než VPS), tak jedině za delší dobu.

[olok]

hele co na hraní jen tak zkusit google colab nebo obdobný stránky? většinou je tam limit x hodin, ale jinak dostaneš relativně slušný gpu/cpu a nestojí to nic

pak samozřejmě se zamyslet jestli to je opravdu potřeba počítat znova, můžeš to spočítat jednou, uložit si (stačí v daným skriptu) a pak to využívat znova už vypočítaný...

[michal_h]

5Kč/kWh

Tohle uz ted nebude uplne realna cena, s novou smlouvou spise 8-10kc/kWh.

[Hafraan]

5Kč/kWh

Tohle uz ted nebude uplne realna cena, s novou smlouvou spise 8-10kc/kWh.

Tak já nevím, poslední fakturace před měsícem 4,28 Kč/kWh  a myslím, že to má většina lidí stále podobné. Pokud kupujete na spotu tak ano může být 6-10Kč/kWh, " alternativní dodavatel ", poslední instance a nebo nový zákaznik a pod.  Je tokaždého věc, jestli šel do rizika nebo do normálního dodavatele.

[_Jenda]

GPU se levně pronajímají na https://vast.ai/ a je mi trochu divné že by někdo dneska dělal AI bez GPU (možná nějaké klasické metody, ne neuronky?).

Kupovat použitý server pokud potřebuješ CPU výkon je nesmysl, výkon CPU šel v posledních letech extrémně nahoru, použité budou tragické.

[honzako]

Pro tvé upřesnění
server = počítač který je optimalizovaný na dlouhodobý a trvale stabilní provoz.

Musíš jít na to obráceně.
Nejdříve si říci kolik chceš do toho dát peněz.

Máš rozpočet >100 tis?, OK kup si nějaký základní server.
Předpokládám, ale že jsi úplný laik a naiva co se týče cen. Takže si kup i5/i7 počítač a experimentuj na něm. Tam ti bude stačit prvotní investice cca. 30 tis. S grafikou a licencí Windows do 50 tis.