Pořízení domácího serveru na Proxmox

Pořízení domácího serveru na Proxmox
« kdy: 02. 10. 2024, 13:34:14 »
Dobry den.

Rikal jsem si, ze bych si chtel poridit domu nejaky trochu vykonnejsi hardware, ktery bych mel doma jako server. Aktualne tam mam minipc s Atom x-z8350 a premyslel jsem puvodne nad porizenim nejakeho starsiho Dell PowerEdge, napriklad R530 nebo R630, pripadne tower varianty jako T330. U rack verzi me ale trochu odrazuje spotreba a hlucnost, precejen bude server v byte, v mistnosti vedle loznice. Zenu a deti nemam, takze tem to vadit nebude, ale poslouchat v noci 50 db z vedlejsi mistnosti nebude idealni. Pripadne poridim nejake Xeony s nizkym TDP, to by mohlo spotrebu a hluk snizit.

Prvne bych se chtel ale poradit a tak napisu specifikace, co bych primarne potreboval aby server mel.

Velikost 2U nebo Tower, Dual CPU (neni uplne ale nutnost), minimalne 16 core, ci 10 core v pripade Dual CPU, minimalne 8 RAM slotu DDR4, RAID pole s hotswap disky, PCIexpress sloty, 2x Gbit LAN, nejaka varianta remote managementu - IPMI, iDRAC, etc.,

Jeste jsem uvazoval postavit to na beznem domacim HW, jen bych zvolil CPU s dostatkem jader s HT a situaci by to taky mohlo resit. Akorat nevim o desktop zakladnich deskach, ktere by mely IPMI nebo neco podobneho. Remote management bych tam docela potreboval.

Bude se na tom provozovat Proxmox a v nem nejake virtualy, presunu tam svuj stavajici server, bude slouzit jako NAS, kamerovy server, v budoucnu mozna i jako router a dalsi takova vyuziti.

Jak to mate vy doma? Provozujete vyrazeny serverovy HW, nebo jste si staveli neco vlastniho? Budu rad za rady a tipy.

Dik za odpovedi


alex6bbc

  • *****
  • 1 629
    • Zobrazit profil
    • E-mail
Re:Porizeni domaciho serveru na Proxmox
« Odpověď #1 kdy: 02. 10. 2024, 13:51:29 »
tak musi to jet v kuse? pokud chces ticho, tak dej vodnika na chlazeni.

ja bych chtel zkusit ty mnohojadrove procesory arm ampere na virtualizaci.

zkusit si to, ale muzes na cemkoliv.

ipmi, remote management se u domacich kompu resi pomoci rpi krabicek, ktere mohou zvenku uvladat pc.
« Poslední změna: 02. 10. 2024, 13:53:12 od alex6bbc »

RDa

  • *****
  • 2 652
    • Zobrazit profil
    • E-mail
Re:Pořízení domácího serveru na Proxmox
« Odpověď #2 kdy: 02. 10. 2024, 14:16:33 »
Je videt ze tomu prd rozumis, takze jen moje noticky:

- Znackovy server (HP/DELL) znamena vendor lock na hw dily, nekdy obskurni whitelist/blacklist chovani

- Znackovy server (HP/DELL) znamena HLUK. Nikdy to nepujde modifikovat => lepsi je standardni PC/ATX reseni (supermicro ci asus/asrock)

- 2U znamena problematicke chlazeni => lepsi je 4U IPC case (bude to vyssi, ale ne tak hluboky)

- 2S reseni je overkill pokud existuje 1S alternativa se stejnym poctem jader a pameti, kterou hodlas nasadit

- Xeon s nizkym TDP je mytus (LGA 2011/3647 bude vzdy mit vysokej idle), a stejneho efektu (nizsi load peak) dosahnes pouhym omezenim frekvence a/nebo vypnutim turbo-boostu (ale to je blbost, pac nektere single thread zateze z toho dost tezi).



Co je dobre:

- ze uvazujes nad modernejsim zelezem, tj DDR4 je must have. To je napr. Xeon E5-v3/v4 (haswell/broadwell). Ale staci ti 1S reseni, pac tam pohodlne das 22C/44T a 8x64G lrdimm = 512G pameti (pokud obyc rimm, tak 8x32G=256G). Pameti budou max 2400 MT/s.

- HT ano, zvysuje to znatelne energetickou efektivitu.


Pozor: u takto stare generace (Supermicro X10) je malinkej problem - nebootuje to nativne z NVMe, to je mozne az s X11 generaci (at uz LGA3647 nebo skylake/coffee lake).


Pokud to chces provozovat 24/7 a neresis spotrebu (150w+) a nutne potrebujes moc pameti - tak jdi do tech starej Broadwellu na 1S (xeon E5-26xx-V4) v X10 supermicro desce, pokud naopak resis spotrebu, jdi do entry level Coffee Lake reseni (X11SCx-x desky od Supermicro a cpu E-21xx / E22xx). Zde mas omezeni na 4x32G UDIMM ecc (128G RAM), ale s o neco rychlejsim casovanim.

Podle toho co pises, tohle ti slusne pokryje tve potreby - osobne nemam NVR, ale zbytek ano a na mnohem slabsim hw (skylake/kaby lake, X11SSx-x, E3-12xx-V5/V6, 4x16G, tri VM, router). Preferuji tyhle entry level reseni, protoze dokazou jit se spotrebou v idle hodne dolu. Ty zrave platformy a diskretni radice pak mam naopak tam, kde uz nejakych par desitek wattu nehraje roli - treba je tam 24 disku.


Na starej/novej EPYC se ani nedivej, to je taky 100W+ jen za to ze jsi to zapnul. Nemaji low power stavy - je to urceno pouze do zateze.

RDa

  • *****
  • 2 652
    • Zobrazit profil
    • E-mail
Re:Porizeni domaciho serveru na Proxmox
« Odpověď #3 kdy: 02. 10. 2024, 14:21:42 »
tak musi to jet v kuse? pokud chces ticho, tak dej vodnika na chlazeni.

Vodnik je nespolehlive reseni, a z mych zkusenosti hlucnejsi, nez vzduch, pokud jde o to, uchladit < 200 W kontinualniho topeni.


ipmi, remote management se u domacich kompu resi pomoci rpi krabicek, ktere mohou zvenku uvladat pc.

Blbost. IPMI maji jakekoliv stare desky (treba supermicro X9 ... se sandybridge/ivybridge cpu), ktere dnes jsou uz za zenitem a celou sestavu sezenete levneji nez RPi :D

By me v zivote nenapadlo bastlit IPMI z neceho externe, kor kdyz jde o kusovku a poradne reseni uz existuje.

jjrsk

  • ****
  • 477
    • Zobrazit profil
Re:Pořízení domácího serveru na Proxmox
« Odpověď #4 kdy: 02. 10. 2024, 14:27:26 »
...
Na ten blabol s vodnikama a arm vejs uplne zapomen.

U serveru se da typicky bud nastavit profil chlazeni, kterym vyrazne snizis otacky vetraku tudiz i hluk nebo lze volit z nekolika typu vetraku. Samozrejma pak nemuzes mit ten srv plne nalozenej nebo ho trvale zatezovat na 100%. Ovsem zaroven se jaksi predpoklada, ze to mas v mistnosti s trvale bezici klimatizaci.

Spotreba bude u libovolnyho relevaltniho HW stejna. Ta neni dana konstrukci ale tim co mas uvnitr. Dam ti priklad, mam tu 1U R650 512GB ram diskless (jsou tam 2x ssd na start vmware) je jich vice kousku v clusteru, stredni spotreba se pohybuje kolem 250W (ve spickach to jde na cca 300W). Je v tom 2x Intel(R) Xeon(R) Gold 5317 CPU @ 3.00GHz. Bezi na tom cca 15VMs

Stavet to se nevyplati, protoze ten HW z frcu koupis za par zbrdli. Na skladacce narazis na to ze nebude zadny hotswap, ze i kdyz to pripadne radic umi, nemas na to supliky atd.


Re:Pořízení domácího serveru na Proxmox
« Odpověď #5 kdy: 02. 10. 2024, 14:41:19 »
starý ntb ;) 4 x Intel(R) Core(TM) i7-3520M CPU @ 2.90GHz , má aj ups

home assistant, unifi network, qbittorrent, w2k16 srv , procesor ide na 10%, RAM má 10 GB zo 16 GB

najviac žerie RAM ten HA


Re:Pořízení domácího serveru na Proxmox
« Odpověď #6 kdy: 02. 10. 2024, 14:42:54 »
Je tam samozřejmě víc faktorů.
Rozhodně bych do bytu nedával non-stop běžící rackový server s redundantním zdrojem kvůli hluku. Do baráku s nějakou vzdálenější technickou místností asi jo. Ale i v tom případě bych se snažil důsledně propočítat spotřebu.

Nicméně asi nejvíc bych se rozhodoval podle toho, kolik výkonu by bylo potřeba.

- pokud by to byl takový ten klasický menší homelab server, který často zastává víc funkcí, od sdílení souborů přes nějaké míň náročné virtuály (testovací deployment pro vývoj, sdílený git server, domácí řízení atp.), tak bych šel do něčeho s novými malými AlderLake CPU (N90, N100). Cesta nejmenšího odporu a investic, něco jako Odroid H4 Ultra. Může se to osadit 32 nebo 48 GB paměti. Umí to in-band ECC.
Je to výrazně rychlejší než staré ATOMy, co máte. Disky bych vzhledem k účelu moc nedramatizoval. 4x SATA (dvě SSD a dva velké HDD, oboje do mirroru).
Redundantní zdroj bych také oželel, dal bych to na UPS a pokud by to bylo jen pro mě, případně nějaké přidružené služby zadarmo pro rodinu a známé, tak bych asi unesl, že to třeba půl dne nepoběží. Jelikož kdybych měl řešit nějakou reálnou dostupnost, tak to určitě nebudu provozovat z domova.

- pak kdybych potřeboval o něco víc výkonu. U mě by se to asi lámalo, kdybych na to měl často kompilovat, buildovat nějaké věci, tak bych se poohlédnul po nějaké Micro-ATX desce. Buď s Epycem 4004, nebo Xeonem E23xx, E24xx. To jsou server CPU, která jsou odvozená od desktopových řad a nemají tak velkou spotřebu. Tyhle Xeony mají stejnou mikroarchitekturu jako současné i7/i9, ale nemají tu kombinaci plných a zkriplených jader (všechna jsou rovnocenná). Navíc typičtí výrobci server desek (Tyan, ASRock, Supermicro..) mají normálně VGA ASPeed a BMC.
Nevýhodou je, že modely typicky nemají tolik PCIe slotů (je to vyloženě mířeno na malé SOHO servery), takže je to potřeba trochu víc rozmyslet.. a např. nějaká významnější expanze kapacity, pokud by byla třeba, by se asi musela řešit třeba přes externí SAS/SATA šasi.

- finálně kdybych potřeboval výkonu ještě víc.. typově něco jako trénování neuronek atp., tak bych si asi postavil nějaký Threadripper do většího tower case a počítal bych s tím, že budu třeba posílat větší grafickou kartu do nějakého z virtuálů. A přesně jak tu zaznělo, kvůli hluku bych třeba zvažoval i nějaké vodní AIO chlazení.

Nepochybuji, že určitě někdo bude mít jiný náhled. Já bych třeba hodně řešil poměr cena výkon a nechtěl bych za to dát majlant, nebo třeba platit desítky tisíc ročně navíc za elektriku. Ale to primárně proto, že ty výkonné a důležité věci prostě vůbec neřeším doma.
Na druhou stranu si dovedu přestavit, že pro někoho to může být přesně obráceně. Dělá kompletně věci sám nebo v nějaké malé skupině. Nebo je třeba zvyklý, že je komplet mobilní s notebookem a naopak všechny výpočetně náročné věci dělá na serveru, který chce mít doma.