Přibližná cena serveru+elektřiny na AI

[APhacker_mob]

Delat Machine learning na VPS bez GPU je nesmysl.

[Reklama]

[GloGlo]

hele co na hraní jen tak zkusit google colab nebo obdobný stránky? většinou je tam limit x hodin, ale jinak dostaneš relativně slušný gpu/cpu a nestojí to nic

pak samozřejmě se zamyslet jestli to je opravdu potřeba počítat znova, můžeš to spočítat jednou, uložit si (stačí v daným skriptu) a pak to využívat znova už vypočítaný...

začal sem podle nějakýho videa na youtube s jupyter notebook, kterej sem si nainstaloval na vps. je pravda, že ten učitel na udemy pracuje s google colab, ale jak sem pochopil, tak to prostě je jupyter notebook od googlu, nějak mě nenapadlo, že by tam nabízeli nějakou velkou výkonnost, ale mrknu na to, díky za tip

[Logik]

Ahoj, zvaž použití tohodle:
https://coral.ai/products/accelerator/

[greenlinuxguru]

Já teda doma jedu klasické desktop PC s Windows a HyperV, na Windows pracuji, a v HyperV mám server, běží mi to furt, dokonce když se instalují aktualizace, tak mi to uloží to HyperV a pak ho to nahodí s uloženými stavy.

Je to klasický HP EliteDesk, spotřebu elektřiny jsem měřil, stojí mě to asi 700 Kč měsíčně a to elektřiny včetvně všech složek kupuji asi za 7kč / kW.

Trošku výhoda může být noční proud. Jinak silně nedoporučuji kupovat něco hodně starého, to se nevyplatí, to co člověk ušetří na pořizovačce za pár měsíců propálí na elektřině. Pokud už bazarový, tak 1-2 roky starý max.

[oss]

Ono hlavne, ked chce robit clovek AI na Azure, tak si nekupi virtualku, co je ta najdrahsia moznost ale kupi si to ako SaaS, alebo pouzije lacnejsie sposoby virtualok na vypocty - Azure Batch, serverless riesnia, ci jestvuju virtualky na velmi kratke pouzitie, ktore su niekolkonasobne lacnejsie.

[Reklama]

[aaa158]

tak si trochu zatrollim 
https://www.nvidia.com/en-us/data-center/dgx-a100/

[GloGlo]

Ono hlavne, ked chce robit clovek AI na Azure, tak si nekupi virtualku, co je ta najdrahsia moznost ale kupi si to ako SaaS, alebo pouzije lacnejsie sposoby virtualok na vypocty - Azure Batch, serverless riesnia, ci jestvuju virtualky na velmi kratke pouzitie, ktore su niekolkonasobne lacnejsie.

Primárně nemám vps kvůli AI, ale kvůli webhostingu (flask), wiki pro svoje vlastní potřeby a běží mi tam skripty, který scrawlujou pár webů a ukládají data do databáze. Ten Azure sem jen tak zkoušel, čekal sem, že se to bude podobat Google Cloud, který sem měl asi před 2 rokama, dali mi tam 300 usd kredit a tak sem měl free vps skoro na půl roku. Oproti tomu je Azure teda dost zklamání

[_Tomáš_]

Na amazonu na tohle používáme ec2-p3, občas se spotově použije 24xlarge (asi 800 Kč na hodinu) na velké trénování. Prakticky ale věšina modelů vzniká na dvousocketových xeonech, protože to je k dispozici a ne vždy je tolik dat, aby ten rozdíl byl tak obrovský a nešlo přes noc počkat.

Paradoxně se ukazuje, že pro domácí potřeby vypadá nejvhodněji počítač od apple s m1/m2 procesorem, už to tady vývojáři kolem mě mají a reálně používají, sice to je pořád pomalejší než na xeon serverech, ale pro většinu potřeb to je dobře použitelné, hlavně na ty začátky.

Pokud s tím začínáš, tak nemusíš pracovat s terebajkty vstupních dat, ale s něčím menším a můžeš na některé úkony použít již natrénovaný model, nepotřebuješ inkrementálně trénovat každý den a můžeš si občas pár hodin počkat.