(Server) HW pro virtualizaci (+prip. motherboard pro Epyc 2)

ui

Zdravim,
do server HW se nevyznam, dopredu se omlouvam za pripadne chyby v usudcich.

Hledam HW, ktery splnuje nasledujici zadani:
- na podkladovem Linuxu pobezi vetsi mnozstvi virtualnich masin
    - rekneme 6 stalych Linuxu a nekdy navic napr dalsich 5-10 Windowsu (workstation/server) jako simulace AD domeny
- duraz na stabilitu systemu, bude bezet 24/7
- velkym plusem jsou:
  - nejake rychle M.2 porty (idealne 2) pro SSD
  - moznost pripojit vicero GPU (2+) jako "GAINWARD GeForce RTX 2080 Ti Phoenix 11GB"
- plusem je podpora non-ECC pameti (ECC jsou drazsi a pomalejsi)
  - napr "HyperX 64GB KIT DDR4 3200MHz CL16 FURY series"
- umisteny bude v klimatizovane serverovne
    - format muze byt rack (mozna problem s umistenim GPU) nebo stojici tower (klidne velikosti EATX)
- idealne dodavatel Alza nebo CZC (podnikove procesy), ale asi neni uplna nutnost

Pozorovani:
Kvuli spolehlivosti mi z toho vychazi spis serverovy HW, vykonny procesor s vetsim mnozstvim jader a mnoho RAM.

Koukal jsem na aktualni nabidku procesoru a v pomeru cena/vykon vychazi jednoznacne nejlip AMD Epyc nove Rome 7002 generace pro slot SP3 (napr. AMD EPYC 7452 nebo 7352).

Necekane jsem ale narazil u motherboardu podporujicich SP3 a 7002, kde je nabidka v CR bidna:
- nespolehlivejsi vyrobci (?):
    - Gigabyte GA-MZ32-AR0
        - nabizi i Alza, ale reviews jsou velice rozpacite, hlavne co se prace s RAM tyce -
            - https://www.amazon.com/Gigabyte-MZ31-AR0-Socket-SlimSAS-Motherboard/dp/B077BKKJXZ#customerReviews
            - je to o starsi MZ31-AR0, na MZ32-AR0 jsem nenasel
            - ale neverim, ze Gigabyte uplne zmenil pristup, navic ma pry problemy s dodavkami:
                - https://forums.servethehome.com/index.php?threads/planning-a-mz32-ar0-based-multicomputer.27201/
    - ASUS KRPA-U16
        - rovnez rozpacite recenze (na predchozi typ KNPA-U16, na KRPA jsem nenasel):
            - https://www.amazon.com/Asus-KNPA-U16-Motherboard-Processors-OCulink/dp/B07K2WBDS7#customerReviews
- spolehlivejsi vyrobci (?):
    - Supermicro
        - pro 7002 nabizi jedinou desku, navic s nevyhovujicimi PCIe porty pro GPU:
            - https://www.smicro.cz/supermicro-h12ssw-in-18403.html#
    - ASRock EPYCD8 / EPYCD8-2T
        - podpora jen pro RDIMM and LRDIMM
        - Alza ani CZC nema, nikdo v CR nema skladem
        - ale jinak vypada zajimave
    - ASRock ROMED8-2T
        - v CR nikdo nenabizi

Dotazy:
- nemate tip na nejakou spolehlivou desku pro 7002 Epyc s PCIe sloty (alespon dva x16 3.0), M.2 a podporou non-ECC RAM?
- pobezi na desce s podporou 7000 i novy 7002 AMD procesor?
- nebo vam napada jine reseni zadani (netrvam na AMD, ale porovnatelne vykonny Xeon je o dost drazsi)
- je treba si pri montazi server HW dat na neco specielniho bacha? Myslim oproti kompletaci klasickeho desktop PC
- je nutne na server desky pouzit jenom RDIMM / LRDIMM registered pameti, nebo funguji i s klasikymi desktop DIMM?

Moc dekuji.


Re:(Server) HW pro virtualizaci (+prip. motherboard pro Epyc 2)
« Odpověď #1 kdy: 21. 02. 2020, 10:08:16 »
Mnoho dotazů v jednom.

Pokud je důraz na stabilitu systému a provoz 24/7, tak mi přijde dost nesmyslné uvažovat o něčem jiném než serveru, ECC RAM, RAIDU a redundantním napájení. Pokud je ta stabilita opravdu hodně důležitá, budete to dokonce potřebovat posunout do clusteru (dva servery, dvě externí pole, SAN switch). Úvahy o non-ECC, o kombinaci RAM atd. jsou naprosto proti tomu, co jste označil jako "důraz je kladen".

5-10 Windows serverů záleží na verzi Windows. WS2016 a WS2019 běhají velmi dobře, starší verze mají o dost vyšší nároky na IOPS, zejména při startu. Jeden, dva SSD mohou být pěkně na hraně, když se zátěž sejde ve stejnou dobu.

Pro server HW musíte mít poměrně dost znalostí, které na desktopu nepotkáte. Určitě si s tím poradíte, maximálně Vás trochu zdrží, jak na to budete přicházet (a dokupovat, na co jste zapomněl).

Pokud chcete levný server, myslím, že dobrá volba je Supermicro. Domluvíte se na sestavě a distributor Vám dodá hotovou sestavu, bez rizik a ještě s tříletým servisem zdarma. Stavět si to sám nedává podle mě smysl.

Možná kombinujete do sebe úlohy, které by se měly rozdělit mezi dva stroje. Část, která má být opravdu stabilní (AD, síťové prostředky, ..) a to, co bude vyžadovat početní výkon. Není to možné?

ui

Re:(Server) HW pro virtualizaci (+prip. motherboard pro Epyc 2)
« Odpověď #2 kdy: 21. 02. 2020, 11:15:18 »
Dekuji za odpoved.
Pokud je ta stabilita opravdu hodně důležitá, budete to dokonce potřebovat posunout do clusteru (dva servery, dvě externí pole, SAN switch). Úvahy o non-ECC, o kombinaci RAM atd. jsou naprosto proti tomu, co jste označil jako "důraz je kladen".
Spolehlivost je dulezita, ale ne kriticka, nebudu poskytovat sluzbu zakaznikum, jenom uvnitr maleho timu

5-10 Windows serverů záleží na verzi Windows. WS2016 a WS2019 běhají velmi dobře, starší verze mají o dost vyšší nároky na IOPS, zejména při startu. Jeden, dva SSD mohou být pěkně na hraně, když se zátěž sejde ve stejnou dobu.
Typicky scenar tady je jenom (parhodinove) testovani, ne opravdovy dlouhodoby provoz domeny. Je mozne, ze budou soucasne potreba rekneme WS 2012R2, WS 2016 a WS 2019 + par Win10, nemusi startovat ve stejnou dobu.

Pokud chcete levný server, myslím, že dobrá volba je Supermicro.
Diky za tip, kouknu na to.

Možná kombinujete do sebe úlohy, které by se měly rozdělit mezi dva stroje. Část, která má být opravdu stabilní (AD, síťové prostředky, ..) a to, co bude vyžadovat početní výkon. Není to možné?
To je samozrejme velmi dobra otazka. Ten vypocetni vykon na GPU se asi oddelit da, to by vyrazne redukovalo slozitost problemu. Byl bych rad, kdybych nemusel kupovat stroje dva, ale mozna to tak nakonec skonci.

Re:(Server) HW pro virtualizaci (+prip. motherboard pro Epyc 2)
« Odpověď #3 kdy: 21. 02. 2020, 11:17:49 »
To je samozrejme velmi dobra otazka. Ten vypocetni vykon na GPU se asi oddelit da, to by vyrazne redukovalo slozitost problemu. Byl bych rad, kdybych nemusel kupovat stroje dva, ale mozna to tak nakonec skonci.

Třeba z mého pohledu je důležitá jednoduchost správy, a tam je někdy prospěšné věci slučovat do jednoho řešení, ale jindy je zase prospěšnější oddělovat.

Re:(Server) HW pro virtualizaci (+prip. motherboard pro Epyc 2)
« Odpověď #4 kdy: 21. 02. 2020, 13:05:05 »
  - nejake rychle M.2 porty (idealne 2) pro SSD

Pokud není m.2 hotplug (což asi nebude), pak úplně stejnou službu udělají volné PCI-e porty s adaptéry na M.2 NVMe za pár desetikorun (kromě filtračního kondenzátoru na desce adaptéru nic jiného není, takže bych se o spolehlivost nebál).  Výběr velmi výkonných PCIe disků v M.2 formátu neustále roste a jejich cena klesá, IMO je škoda v serveru nepoužívat, pokud mi nevadí non-hotplug.


ECC je důležité, čas od času se ECC oprava v logu objevuje...


Re:(Server) HW pro virtualizaci (+prip. motherboard pro Epyc 2)
« Odpověď #5 kdy: 22. 02. 2020, 08:51:58 »
Nenapsal jste kolik pameti budete potrebovat. Nad 128gb v podstate nemate moznost pouzit nic jineho nez registrovane ecc pameti protoze alternativa neexistuje. Nehlede na to ze s mnozstvim pameti pravdepodobnost chyby stoupa ... myslim ze se uvadi 1-2 bity / 1gb za mesic.
Pri mensich pametovych narocich by se dalo uvazovat i o necem zalozenem na threadripperu ktery je rychlejsi ale neni to serverove reseni a mohou se pouzit jen neregistrovane ecc pameti. Navic vetsina desek je spis hernich.

Jinak vykonna serverova reseni dodavaji spis specializovane firmy jako treba abacus. Firmy jako alza nebo czc nemaji treba procesory vyssich rad ani v nabidce. Supermicro byva v tehle oblasti oznacovano jako lowend, a o cokoli levnejsim bych neuvazoval.