Fórum Root.cz

Hlavní témata => Server => Téma založeno: Jirka_hav 17. 09. 2019, 09:14:44

Název: Testovací servery v cloudu
Přispěvatel: Jirka_hav 17. 09. 2019, 09:14:44
Mám větší množství testovacích serverů, pro různé účely. Tyto servery se tipicky používají jen po velmi omezenou dobu (každý den několik hodin). Zbytek dne běží bez využití. Napadlo mě, že bych kvůli snížení nákladů využil některou z cloud služeb, které ummožňují účtovat využití serverů po vteřinnách. Potřebuji velmi rychlí star serverů. Nemohu si dovalit server pokaždé opětovně instalovat, takže daná služba by měla nabízet možnost uchovávat data vypnutího serveru.  Jakou službumám využít?
Název: Re:Testovací servery v cloudu
Přispěvatel: Miroslav Šilhavý 17. 09. 2019, 09:17:26
Víceméně žádnou, neexistuje žádná, která by toto podporovala a dávalo to ekonomický smysl.
Škálovat se dá např. AWS nebo Azure, výměnou za škálovatelnost je daleko vyšší cena.
Důvodem je, že ani ten provider neumí nijak ekonomicky pracovat s takovými výkyvy - nižší cenu umí obvykle výměnou za delší objednávku a predikovatelné zatížení.
Název: Re:Testovací servery v cloudu
Přispěvatel: RDa 17. 09. 2019, 09:55:20
Jaky pocet, konfigurace a vykon se ocekava? A kolik jsi do toho schopny investovat?
Název: Re:Testovací servery v cloudu
Přispěvatel: czipis 17. 09. 2019, 10:03:46
ja si naopak myslim ze to smysl ma. nez zivit a porizovat vlastni servery kvuli par hodinam denne.
Asi bude zalezet jake pozadavky mate na HW.

Technicky resitelne treba v AWS. budete mit vlastni image, ve ktere bude vse nainstalovane jak potrebujete a k tomu nejaky EBS volume, kde budou prezistentni data. Pres API vytvorite insanci, pripojite volume a hned pouzivate. Instanci po pouziti smazete, volume si nechate a pripojite k nove instanci druhy den. Platit tedy budete za cas kdy mate vytvorenou VM plus k tomu cenu za volume podle kapacity a typu.
Název: Re:Testovací servery v cloudu
Přispěvatel: Miroslav Šilhavý 17. 09. 2019, 10:05:33
Technicky resitelne treba v AWS. budete mit vlastni image, ve ktere bude vse nainstalovane jak potrebujete a k tomu nejaky EBS volume, kde budou prezistentni data. Pres API vytvorite insanci, pripojite volume a hned pouzivate. Instanci po pouziti smazete, volume si nechate a pripojite k nove instanci druhy den. Platit tedy budete za cas kdy mate vytvorenou VM plus k tomu cenu za volume podle kapacity a typu.

To ano, jenže v AWS toto používání vyjde +/- stejně draho, jako "neznačkové" VPS na trhu s nepřetržitým během. (Kritériem dotazu byla cena, ne snadnost deploymentu atd. - to se pak může započítávat na jednu nebo druhou stranu).
Název: Re:Testovací servery v cloudu
Přispěvatel: AgentK 17. 09. 2019, 10:33:56
Ja na takovy testovaci srandy pouzivam docker. Nevim co asi muze byt efektivnejsi - napisu Dockerfile a ten mi vsechno pusti.... Pokud je to slozitejsi tak s compose...

Nebo - jak to ted spousite a pouzivate @Jirka_hav? Co to je za tasky?

-K-
Název: Re:Testovací servery v cloudu
Přispěvatel: cjohn 17. 09. 2019, 11:23:27
AWS ma aj spot market, kde cena je este nizsia, ako standardne EC2 (treba pocitat s tym, ze spot instance moze byt predcasne ukoncena, co vsak pri CI testoch nie je zvycajne problem). Idealne napisat CI test, ktory si pripravi prostredie v AWS (typicky s pouzitim terraform-u) a ukonci ho po testoch.
Název: Re:Testovací servery v cloudu
Přispěvatel: Filip Jirsák 17. 09. 2019, 11:58:10
Umí to kterákoli služba, která účtuje provoz po hodinách nebo menších jednotkách, tedy každý cloud. Funguje to přesně, jak popisujete – někde máte uložený obraz disku (za to platíte) a pak si podle potřeby startujete a vypínáte servery běžící z toho obrazu (a platíte jen za dobu, kdy běží). AWS je asi nejznámější, ale umí to spousta dalších poskytovatelů – OVH, DigitalOcean, Homeatcloud…
Název: Re:Testovací servery v cloudu
Přispěvatel: Kit 17. 09. 2019, 12:07:00
Používám Forpsi, kde ceny začínají na 0,40 Kč/h. Natáhneš image, spustíš, vypneš.

Ovšem cena základního VPS 70 Kč/měsíc je podle mne tak nízká, že se vyplatí ho mít spuštěný trvale.
Název: Re:Testovací servery v cloudu
Přispěvatel: Mirek Prýmek 17. 09. 2019, 12:16:26
Napadlo mě, že bych kvůli snížení nákladů
Musel bys aspoň rámcově napsat, jaké ty náklady jsou, a kolik procent z nich bys rád ušetřil. "Větší množství serverů" je pro někoho deset a pro někoho deset tisíc :)

Jenom tak z placu, bez dalších informací, odhaduju, že žádnou nezanedbatelnou úsporu nedosáhneš. Všechna řešení jsou řádově stejně drahá, pokud nehodláš zásadně změnit workflow. A zásadně změnit workflow je tak drahé, že pokud k němu nemáš jiné důvody, tak se ti to taky nezaplatí :)
Název: Re:Testovací servery v cloudu
Přispěvatel: alex6bbc 17. 09. 2019, 12:37:08
musi byt to (velke) mnozstvi testovacich uloh opravdu provedeno v nejkratsim case s vysokou urovni paralelniho behu??
neslo by testovani serializovat, ze by se zmensil pocet serveru, ulohy by se spoustly postupne za sebou, ze by se testovani rozlozilo na dobu celeho dne.

v nejhorsim budou testy hotovy az na druhy den, je to takovy problem?
Název: Re:Testovací servery v cloudu
Přispěvatel: Josef Komjati 18. 09. 2019, 08:55:49
Osobně bych zvolil ve Vašem případě (tedy pokud se jedná o nějaké dummy úlohy) variantu obyčejná VPS (viz. @Kit) + Docker (viz. @AgentK). Pokud se jedná o "něco většího", pak záleží na detailech, které bohužel neznáme.
Název: Re:Testovací servery v cloudu
Přispěvatel: Miroslav Šilhavý 18. 09. 2019, 09:09:55
Osobně bych zvolil ve Vašem případě (tedy pokud se jedná o nějaké dummy úlohy) variantu obyčejná VPS (viz. @Kit) + Docker (viz. @AgentK). Pokud se jedná o "něco většího", pak záleží na detailech, které bohužel neznáme.

Další možností je FreeBSD + ZFS + Jails. Jail vytvoří zcela nezávislé prostředí a díky ZFS se to dá deploynout velmi rychle i velmi rychle odstranit. Možnosti konfigurace a nastavení prostředí jsou IMHO lepší než poskytne docker.
Název: Re:Testovací servery v cloudu
Přispěvatel: Mirek Prýmek 18. 09. 2019, 09:25:59
Další možností je FreeBSD + ZFS + Jails. Jail vytvoří zcela nezávislé prostředí a díky ZFS se to dá deploynout velmi rychle i velmi rychle odstranit. Možnosti konfigurace a nastavení prostředí jsou IMHO lepší než poskytne docker.
FreeBSD je dost odlišné prostředí. Spousta sw na *BSD buď nejede vůbec, nebo se musí patchovat. Nemá moc smysl testovat v jiném prostředí než na jakém to reálně bude provozovat.
Název: Re:Testovací servery v cloudu
Přispěvatel: Miroslav Šilhavý 18. 09. 2019, 09:29:23
FreeBSD je dost odlišné prostředí. Spousta sw na *BSD buď nejede vůbec, nebo se musí patchovat. Nemá moc smysl testovat v jiném prostředí než na jakém to reálně bude provozovat.

To je pravda. Nevíme ale o co se tady jedná, pokud třeba o Apache / nginx + PHP FPM, je to prostředí bez rozdílu.
Pokud JAVA, může se to už lišit.
Pokud jiné jazyky, tam záleží. V perlu nebo pythonu a dalších by taky rozdíl být neměl.

...

Takže jsme zpět u toho, že máme málo informací :) a z jednoduché otázky je složitá odpověď.
Název: Re:Testovací servery v cloudu
Přispěvatel: Josef Komjati 18. 09. 2019, 10:50:11
Osobně bych zvolil ve Vašem případě (tedy pokud se jedná o nějaké dummy úlohy) variantu obyčejná VPS (viz. @Kit) + Docker (viz. @AgentK). Pokud se jedná o "něco většího", pak záleží na detailech, které bohužel neznáme.

Další možností je FreeBSD + ZFS + Jails. Jail vytvoří zcela nezávislé prostředí a díky ZFS se to dá deploynout velmi rychle i velmi rychle odstranit. Možnosti konfigurace a nastavení prostředí jsou IMHO lepší než poskytne docker.

Dobrý nápad :-) Škoda, že nemáme od autora více informací.
Název: Re:Testovací servery v cloudu
Přispěvatel: Miroslav Šilhavý 18. 09. 2019, 10:54:40
Dobrý nápad :-) Škoda, že nemáme od autora více informací.

Nechci generalizovat, ale moje zkušenost je, že tyto dotazy bývají většinou pokládány nováčky, kteří tyto nuance vůbec nevidí. Ten, kdo je vidí, by si totiž na takový dotaz uměl zodpovědět sám.

Proto tíhnu k tomu dávat rychlou, srozumitelnou odpověď: nedává to ekonomický smysl. Buďto má složité deploy mechanismy, ale pak asi cena VPS nebude moc na překážku. Nebo je nemá, ale pak časově účtované čmoudy nepřinesou úsporu.

Podobně se o diskusi vedle řeší ukládání nočního proudu do UPS, přičemž trvalá zátěž je 300 W a potenciál úspory je asi 300 Kč ročně. Tazatelé jsou mnohdy trochu líní vzít do ruky kalkulačku.
Název: Re:Testovací servery v cloudu
Přispěvatel: Mirek Prýmek 18. 09. 2019, 15:04:38
Nevíme ale o co se tady jedná, pokud třeba o Apache / nginx + PHP FPM, je to prostředí bez rozdílu.
Spis bysme museli vedet, co vlastne tazatel testuje. Pokud by treba spoustel vylozene interni Python testy (jestli nekde nema nejakou spatne pojmenovanou promennou apod.), tak by to teoreticky slo. U cehokoliv jineho ale moc smysl nevidim, i kdyz jsem dlouholety uzivatel FreeBSD, takze proti nemu rozhodne nejsem zaujaty. Ale testovat se ma imho proste z principu na prostredi, ktere je co nejblizsi produkci. FreeBSD ma jiny kernel, jiny prekladac C, jiny userland a vetsina 3rd party sw je patchovana. Takze na FreeBSD bych otestoval tak leda, jak dobre mi to jede na FreeBSD :)

Jinak ta rychlost nahozeni pres ZFS by mela jit i na Dockeru (protoze ma pro ZFS podporu), ale bohuzel co jsem to zkousel, nebylo to stabilni. Dneska uz muze byt situace zase trochu jinde. Nicmene tady uzke hrdlo nejspis nebude. Udelat si image a pres nej namountovat overlay je plus minus milisekundy stejne rychle.