Fórum Root.cz

Hlavní témata => Server => Téma založeno: GloGlo 27. 06. 2022, 14:27:08

Název: Přibližná cena serveru+elektřiny na AI
Přispěvatel: GloGlo 27. 06. 2022, 14:27:08
Zdravím. Nejsem ajťák, je to jen můj koníček. Nedávno jsem se spíš jako hobby začal učit Machine learning/AI dle kurzu na Udemy, ale jsem teprv začátečník. V budoucnu bych chtěl vytvořit určitý svůj projekt, který asi bude vyžadovat hodně výpočetní síly, ale nedokážu to v tuto chvíli odhadnout.

Každopádně moje otázka: mám nějaké skripty v Pythonu spíš na hraní/učení a sbírám pro ně data. Momentálně mám třetí VPS. První byl asi za 15 EUR/měsíc 8jádro někde v Litvě, pak sem zkoušel Microsoft Azure, kde mi dali 100 USD kredit, ale ten sem docela rychle vyčerpal a hlavně měl problém s jejich IP adresami, na některé se prostě nešlo připojit přes některé porty, třeba z mobilu. Netuším proč. A momentálně mám server v Holandsku u firmy, která mi dala na měsíc 100 EUR kredit, je to 16jádro 16GB RAM a normálně by to stálo zhruba 100 EUR/měsíc.

A teď moje otázka: ten server, který v současnosti mám, je asi ten nejhorší typ, každopádně mi jeden výpočet trval zhruba 450-500 sekund, což by nebylo tak hrozné. Jenže mi pak poslali mail, že příliš moc využívám CPU a že mi nějak odebrali Burst Mode, který mi to zrychloval o 100%, jenže se mi zdá, že se to teď zpomalilo ještě mnohem víc, jeden test teď trvá kolem 1400 sekund a to už se mi zdá celkem pomalé.

Jedna z možností, kterou zvažuju, je, že bych si koupil nějaký svůj server, třeba z druhé ruky. Jde mi hlavně o CPU, RAM asi není potřeba zas tak moc, těch 16GB by mohlo stačit (ale na 100% jistý si nejsem). Za kolik by šlo pořídit nějak levně server s třeba 24 nebo 48 CPU?

A dále, kdybych si ho hypoteticky pořídil, tak kolik to pak žere elektřiny? :-) Prostě mi jde o to, jestli se víc vyplatí si takový server koupit a nebo pronajmout jako VPS.

Díky za vaše tipy/odhady :)
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: Pavel Rauš 27. 06. 2022, 14:46:40
Nejlevněji na pořízení vyjde bazarový 2x 12core ( něco jako E5-2695v2 nebo E5-2697v2 ).

Housing takové věci, při dnešních cenách energie, bude někde mezi 2-3tis.
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: RDa 27. 06. 2022, 15:25:26
A musi tvoje veci bezet na CPU, nebo to lze akcelerovat na GPU?

Predpokladam ze mas nejaky pocitac doma a nejedes frikulinsky z telefonu jako decka na hristi.

Takze si spust ty ukoly na lokalu, zjisti si CAS * SPOTREBU = ENERGII kterou zaplatis.

Pokud ti to vyhovuje a jen to chces mit rychleji, hledej vicejadrove reseni ve stejne generaci kterou mas.
Pokud to chces v cene nakladu na energie levneji, musis zainvestovat do novejsi generace cpu/gpu.

Tohle si nedokazes ale sam odvodit a prozkoumat? :)
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: Michal Žažo 27. 06. 2022, 15:36:16
Provozovat doma vlastní server je sice v mnoha ohledech fajn. Ale je z toho horko, hluk (a při práci může být velmi hlasitý) a při dnešních cenách energií tě to bude nutit trochu hlídat. Možná bych zvážil vlastni dedikovaný server. Tam tě nikdo hlídat nebude. Například v aukci hetzner.com, můřeš pořídit dost výkonné železo za rozumný peníz. Například za 40 euro tam máš vlastní 8 jadro /16 vláken s 64GB RAM. Jsou to servery s plnou podporu. Jde najít i levnější, ale když si připlatíš, můžeš mít i výkonnejší. Sice se to musí platit tak jako tak, nicméně ti tam skripty můžou běžet nonstop, doma ticho a chládek. A nehlídáš si elektroměr.
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: GloGlo 27. 06. 2022, 15:59:51
A musi tvoje veci bezet na CPU, nebo to lze akcelerovat na GPU?

Predpokladam ze mas nejaky pocitac doma a nejedes frikulinsky z telefonu jako decka na hristi.

Takze si spust ty ukoly na lokalu, zjisti si CAS * SPOTREBU = ENERGII kterou zaplatis.

Pokud ti to vyhovuje a jen to chces mit rychleji, hledej vicejadrove reseni ve stejne generaci kterou mas.
Pokud to chces v cene nakladu na energie levneji, musis zainvestovat do novejsi generace cpu/gpu.

Tohle si nedokazes ale sam odvodit a prozkoumat? :)

PC nemám, jen starší NB, kterej mi na surfování po netu, nějaký to bastlení a filmy bohatě stačí, ale jinak to na něco složitějšího absolutně není. Odhaduju, že to moje současný VPS je tak 10x výkonější než můj NB.
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: michal_h 27. 06. 2022, 16:43:41
Co je na tech Python scriptech nejnarocnejsi? Nejde to nejak optimalizovat (vypocetni operace provadet napr. vektorove pres Numpy, apod.)?
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: Hafraan 27. 06. 2022, 19:25:30
Nejlevněji na pořízení vyjde bazarový 2x 12core ( něco jako E5-2695v2 nebo E5-2697v2 ).

Housing takové věci, při dnešních cenách energie, bude někde mezi 2-3tis.

Tak to radší nějaký nový Ryzen 5900X poř. 5950X, provozní náklady na měsíc sou cca 750,- za elektřinu (cca 200W, 24/7, 5Kč/kWh), výkon srovnatelný... Doma s dobrým chladičem neslyšné.
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: _Tomáš_ 27. 06. 2022, 19:35:19
server koupíš asi do 20 tis, něco takovéhoto by ti mělo stačit https://www.czech-server.cz/servery-hp-proliant-dl360-gen8_c20.html#cls=spresenttrees&strid=20&sps_v_1615=10-Core%201.70%20GHz%20E5-2650L%20v2

Zvaž to, potřebuješ na to místo, servery jsou dost hlučné. Náklady na spotřebu jdou teď opravdu do jednotek tisíc měsíčně. Tady si nevybereš? https://www.soyoustart.com/en/

Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: GloGlo 27. 06. 2022, 20:13:04
Co je na tech Python scriptech nejnarocnejsi? Nejde to nejak optimalizovat (vypocetni operace provadet napr. vektorove pres Numpy, apod.)?

Určitě to optimalizovat půjde a to hodně. Momentálně mám v databázi svoje data, generuju z nich určitý data přes externí knihovnu a pak dělám určitý věci z různých kombinací mých dat + těch vygenerovaných dat. Je to tak pomalý hlavně proto, že trvá spočítat ty data přes externí knihovnu. Nejspíš to extrémně moc zrychlím tím, že si ty vygenerovaný data někde uložím do databáze a nebudu je pokaždý počítat znova. To je mi jasný.. Jenže vtip je v tom, že zatímco teďka dělám jeden test spíš jen abych se podíval, jestli to funguje, tak až trochu pokročím, tak nebudu dělat jeden test který trvá 1400 sekund, ale miliony nebo miliardy testů, kde každý bude trvat třeba 0.01s, ty hodnoty jsou jen ilustrační samozřejmě. Každopádně asi budu potřebovat hodně výpočetní síly :)
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: GloGlo 27. 06. 2022, 20:25:37
Jinak díky za všechny odpovědi. Na první pohled to vypadá tak, že řešit pořízení vlastního serveru se jen tak nevyplatí a pokud vůbec by se ta investice vrátila (celkové náklady nižší než VPS), tak jedině za delší dobu.
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: olok 27. 06. 2022, 21:52:17
hele co na hraní jen tak zkusit google colab nebo obdobný stránky? většinou je tam limit x hodin, ale jinak dostaneš relativně slušný gpu/cpu a nestojí to nic :)

pak samozřejmě se zamyslet jestli to je opravdu potřeba počítat znova, můžeš to spočítat jednou, uložit si (stačí v daným skriptu) a pak to využívat znova už vypočítaný...
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: michal_h 27. 06. 2022, 21:55:44
Citace
5Kč/kWh

Tohle uz ted nebude uplne realna cena, s novou smlouvou spise 8-10kc/kWh.
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: Hafraan 27. 06. 2022, 22:09:34
Citace
5Kč/kWh

Tohle uz ted nebude uplne realna cena, s novou smlouvou spise 8-10kc/kWh.

Tak já nevím, poslední fakturace před měsícem 4,28 Kč/kWh  :o a myslím, že to má většina lidí stále podobné. Pokud kupujete na spotu tak ano může být 6-10Kč/kWh, " alternativní dodavatel ", poslední instance a nebo nový zákaznik a pod.  Je tokaždého věc, jestli šel do rizika nebo do normálního dodavatele.
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: _Jenda 27. 06. 2022, 22:32:15
GPU se levně pronajímají na https://vast.ai/ a je mi trochu divné že by někdo dneska dělal AI bez GPU (možná nějaké klasické metody, ne neuronky?).

Kupovat použitý server pokud potřebuješ CPU výkon je nesmysl, výkon CPU šel v posledních letech extrémně nahoru, použité budou tragické.
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: honzako 27. 06. 2022, 23:21:04
Pro tvé upřesnění
server = počítač který je optimalizovaný na dlouhodobý a trvale stabilní provoz.

Musíš jít na to obráceně.
Nejdříve si říci kolik chceš do toho dát peněz.

Máš rozpočet >100 tis?, OK kup si nějaký základní server.
Předpokládám, ale že jsi úplný laik a naiva co se týče cen. Takže si kup i5/i7 počítač a experimentuj na něm. Tam ti bude stačit prvotní investice cca. 30 tis. S grafikou a licencí Windows do 50 tis.

 
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: APhacker_mob 27. 06. 2022, 23:24:16
Delat Machine learning na VPS bez GPU je nesmysl.
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: GloGlo 27. 06. 2022, 23:33:32
hele co na hraní jen tak zkusit google colab nebo obdobný stránky? většinou je tam limit x hodin, ale jinak dostaneš relativně slušný gpu/cpu a nestojí to nic :)

pak samozřejmě se zamyslet jestli to je opravdu potřeba počítat znova, můžeš to spočítat jednou, uložit si (stačí v daným skriptu) a pak to využívat znova už vypočítaný...

začal sem podle nějakýho videa na youtube s jupyter notebook, kterej sem si nainstaloval na vps. je pravda, že ten učitel na udemy pracuje s google colab, ale jak sem pochopil, tak to prostě je jupyter notebook od googlu, nějak mě nenapadlo, že by tam nabízeli nějakou velkou výkonnost, ale mrknu na to, díky za tip
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: Logik 28. 06. 2022, 00:18:38
Ahoj, zvaž použití tohodle:
https://coral.ai/products/accelerator/
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: greenlinuxguru 28. 06. 2022, 00:40:10
Já teda doma jedu klasické desktop PC s Windows a HyperV, na Windows pracuji, a v HyperV mám server, běží mi to furt, dokonce když se instalují aktualizace, tak mi to uloží to HyperV a pak ho to nahodí s uloženými stavy.

Je to klasický HP EliteDesk, spotřebu elektřiny jsem měřil, stojí mě to asi 700 Kč měsíčně a to elektřiny včetvně všech složek kupuji asi za 7kč / kW.

Trošku výhoda může být noční proud. Jinak silně nedoporučuji kupovat něco hodně starého, to se nevyplatí, to co člověk ušetří na pořizovačce za pár měsíců propálí na elektřině. Pokud už bazarový, tak 1-2 roky starý max.
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: oss 28. 06. 2022, 07:51:59
Ono hlavne, ked chce robit clovek AI na Azure, tak si nekupi virtualku, co je ta najdrahsia moznost ale kupi si to ako SaaS, alebo pouzije lacnejsie sposoby virtualok na vypocty - Azure Batch, serverless riesnia, ci jestvuju virtualky na velmi kratke pouzitie, ktore su niekolkonasobne lacnejsie.
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: aaa158 28. 06. 2022, 18:31:07
tak si trochu zatrollim  ;)
https://www.nvidia.com/en-us/data-center/dgx-a100/
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: GloGlo 28. 06. 2022, 22:00:52
Ono hlavne, ked chce robit clovek AI na Azure, tak si nekupi virtualku, co je ta najdrahsia moznost ale kupi si to ako SaaS, alebo pouzije lacnejsie sposoby virtualok na vypocty - Azure Batch, serverless riesnia, ci jestvuju virtualky na velmi kratke pouzitie, ktore su niekolkonasobne lacnejsie.

Primárně nemám vps kvůli AI, ale kvůli webhostingu (flask), wiki pro svoje vlastní potřeby a běží mi tam skripty, který scrawlujou pár webů a ukládají data do databáze. Ten Azure sem jen tak zkoušel, čekal sem, že se to bude podobat Google Cloud, který sem měl asi před 2 rokama, dali mi tam 300 usd kredit a tak sem měl free vps skoro na půl roku. Oproti tomu je Azure teda dost zklamání :D
Název: Re:Přibližná cena serveru+elektřiny na AI
Přispěvatel: _Tomáš_ 29. 06. 2022, 08:52:20
Na amazonu na tohle používáme ec2-p3, občas se spotově použije 24xlarge (asi 800 Kč na hodinu) na velké trénování. Prakticky ale věšina modelů vzniká na dvousocketových xeonech, protože to je k dispozici a ne vždy je tolik dat, aby ten rozdíl byl tak obrovský a nešlo přes noc počkat.

Paradoxně se ukazuje, že pro domácí potřeby vypadá nejvhodněji počítač od apple s m1/m2 procesorem, už to tady vývojáři kolem mě mají a reálně používají, sice to je pořád pomalejší než na xeon serverech, ale pro většinu potřeb to je dobře použitelné, hlavně na ty začátky.

Pokud s tím začínáš, tak nemusíš pracovat s terebajkty vstupních dat, ale s něčím menším a můžeš na některé úkony použít již natrénovaný model, nepotřebuješ inkrementálně trénovat každý den a můžeš si občas pár hodin počkat.