Pořízení domácího serveru na Proxmox

Pořízení domácího serveru na Proxmox
« kdy: 02. 10. 2024, 13:34:14 »
Dobry den.

Rikal jsem si, ze bych si chtel poridit domu nejaky trochu vykonnejsi hardware, ktery bych mel doma jako server. Aktualne tam mam minipc s Atom x-z8350 a premyslel jsem puvodne nad porizenim nejakeho starsiho Dell PowerEdge, napriklad R530 nebo R630, pripadne tower varianty jako T330. U rack verzi me ale trochu odrazuje spotreba a hlucnost, precejen bude server v byte, v mistnosti vedle loznice. Zenu a deti nemam, takze tem to vadit nebude, ale poslouchat v noci 50 db z vedlejsi mistnosti nebude idealni. Pripadne poridim nejake Xeony s nizkym TDP, to by mohlo spotrebu a hluk snizit.

Prvne bych se chtel ale poradit a tak napisu specifikace, co bych primarne potreboval aby server mel.

Velikost 2U nebo Tower, Dual CPU (neni uplne ale nutnost), minimalne 16 core, ci 10 core v pripade Dual CPU, minimalne 8 RAM slotu DDR4, RAID pole s hotswap disky, PCIexpress sloty, 2x Gbit LAN, nejaka varianta remote managementu - IPMI, iDRAC, etc.,

Jeste jsem uvazoval postavit to na beznem domacim HW, jen bych zvolil CPU s dostatkem jader s HT a situaci by to taky mohlo resit. Akorat nevim o desktop zakladnich deskach, ktere by mely IPMI nebo neco podobneho. Remote management bych tam docela potreboval.

Bude se na tom provozovat Proxmox a v nem nejake virtualy, presunu tam svuj stavajici server, bude slouzit jako NAS, kamerovy server, v budoucnu mozna i jako router a dalsi takova vyuziti.

Jak to mate vy doma? Provozujete vyrazeny serverovy HW, nebo jste si staveli neco vlastniho? Budu rad za rady a tipy.

Dik za odpovedi


alex6bbc

  • *****
  • 1 673
    • Zobrazit profil
    • E-mail
Re:Porizeni domaciho serveru na Proxmox
« Odpověď #1 kdy: 02. 10. 2024, 13:51:29 »
tak musi to jet v kuse? pokud chces ticho, tak dej vodnika na chlazeni.

ja bych chtel zkusit ty mnohojadrove procesory arm ampere na virtualizaci.

zkusit si to, ale muzes na cemkoliv.

ipmi, remote management se u domacich kompu resi pomoci rpi krabicek, ktere mohou zvenku uvladat pc.
« Poslední změna: 02. 10. 2024, 13:53:12 od alex6bbc »

RDa

  • *****
  • 2 740
    • Zobrazit profil
    • E-mail
Re:Pořízení domácího serveru na Proxmox
« Odpověď #2 kdy: 02. 10. 2024, 14:16:33 »
Je videt ze tomu prd rozumis, takze jen moje noticky:

- Znackovy server (HP/DELL) znamena vendor lock na hw dily, nekdy obskurni whitelist/blacklist chovani

- Znackovy server (HP/DELL) znamena HLUK. Nikdy to nepujde modifikovat => lepsi je standardni PC/ATX reseni (supermicro ci asus/asrock)

- 2U znamena problematicke chlazeni => lepsi je 4U IPC case (bude to vyssi, ale ne tak hluboky)

- 2S reseni je overkill pokud existuje 1S alternativa se stejnym poctem jader a pameti, kterou hodlas nasadit

- Xeon s nizkym TDP je mytus (LGA 2011/3647 bude vzdy mit vysokej idle), a stejneho efektu (nizsi load peak) dosahnes pouhym omezenim frekvence a/nebo vypnutim turbo-boostu (ale to je blbost, pac nektere single thread zateze z toho dost tezi).



Co je dobre:

- ze uvazujes nad modernejsim zelezem, tj DDR4 je must have. To je napr. Xeon E5-v3/v4 (haswell/broadwell). Ale staci ti 1S reseni, pac tam pohodlne das 22C/44T a 8x64G lrdimm = 512G pameti (pokud obyc rimm, tak 8x32G=256G). Pameti budou max 2400 MT/s.

- HT ano, zvysuje to znatelne energetickou efektivitu.


Pozor: u takto stare generace (Supermicro X10) je malinkej problem - nebootuje to nativne z NVMe, to je mozne az s X11 generaci (at uz LGA3647 nebo skylake/coffee lake).


Pokud to chces provozovat 24/7 a neresis spotrebu (150w+) a nutne potrebujes moc pameti - tak jdi do tech starej Broadwellu na 1S (xeon E5-26xx-V4) v X10 supermicro desce, pokud naopak resis spotrebu, jdi do entry level Coffee Lake reseni (X11SCx-x desky od Supermicro a cpu E-21xx / E22xx). Zde mas omezeni na 4x32G UDIMM ecc (128G RAM), ale s o neco rychlejsim casovanim.

Podle toho co pises, tohle ti slusne pokryje tve potreby - osobne nemam NVR, ale zbytek ano a na mnohem slabsim hw (skylake/kaby lake, X11SSx-x, E3-12xx-V5/V6, 4x16G, tri VM, router). Preferuji tyhle entry level reseni, protoze dokazou jit se spotrebou v idle hodne dolu. Ty zrave platformy a diskretni radice pak mam naopak tam, kde uz nejakych par desitek wattu nehraje roli - treba je tam 24 disku.


Na starej/novej EPYC se ani nedivej, to je taky 100W+ jen za to ze jsi to zapnul. Nemaji low power stavy - je to urceno pouze do zateze.

RDa

  • *****
  • 2 740
    • Zobrazit profil
    • E-mail
Re:Porizeni domaciho serveru na Proxmox
« Odpověď #3 kdy: 02. 10. 2024, 14:21:42 »
tak musi to jet v kuse? pokud chces ticho, tak dej vodnika na chlazeni.

Vodnik je nespolehlive reseni, a z mych zkusenosti hlucnejsi, nez vzduch, pokud jde o to, uchladit < 200 W kontinualniho topeni.


ipmi, remote management se u domacich kompu resi pomoci rpi krabicek, ktere mohou zvenku uvladat pc.

Blbost. IPMI maji jakekoliv stare desky (treba supermicro X9 ... se sandybridge/ivybridge cpu), ktere dnes jsou uz za zenitem a celou sestavu sezenete levneji nez RPi :D

By me v zivote nenapadlo bastlit IPMI z neceho externe, kor kdyz jde o kusovku a poradne reseni uz existuje.

jjrsk

  • *****
  • 550
    • Zobrazit profil
Re:Pořízení domácího serveru na Proxmox
« Odpověď #4 kdy: 02. 10. 2024, 14:27:26 »
...
Na ten blabol s vodnikama a arm vejs uplne zapomen.

U serveru se da typicky bud nastavit profil chlazeni, kterym vyrazne snizis otacky vetraku tudiz i hluk nebo lze volit z nekolika typu vetraku. Samozrejma pak nemuzes mit ten srv plne nalozenej nebo ho trvale zatezovat na 100%. Ovsem zaroven se jaksi predpoklada, ze to mas v mistnosti s trvale bezici klimatizaci.

Spotreba bude u libovolnyho relevaltniho HW stejna. Ta neni dana konstrukci ale tim co mas uvnitr. Dam ti priklad, mam tu 1U R650 512GB ram diskless (jsou tam 2x ssd na start vmware) je jich vice kousku v clusteru, stredni spotreba se pohybuje kolem 250W (ve spickach to jde na cca 300W). Je v tom 2x Intel(R) Xeon(R) Gold 5317 CPU @ 3.00GHz. Bezi na tom cca 15VMs

Stavet to se nevyplati, protoze ten HW z frcu koupis za par zbrdli. Na skladacce narazis na to ze nebude zadny hotswap, ze i kdyz to pripadne radic umi, nemas na to supliky atd.


Re:Pořízení domácího serveru na Proxmox
« Odpověď #5 kdy: 02. 10. 2024, 14:41:19 »
starý ntb ;) 4 x Intel(R) Core(TM) i7-3520M CPU @ 2.90GHz , má aj ups

home assistant, unifi network, qbittorrent, w2k16 srv , procesor ide na 10%, RAM má 10 GB zo 16 GB

najviac žerie RAM ten HA


Re:Pořízení domácího serveru na Proxmox
« Odpověď #6 kdy: 02. 10. 2024, 14:42:54 »
Je tam samozřejmě víc faktorů.
Rozhodně bych do bytu nedával non-stop běžící rackový server s redundantním zdrojem kvůli hluku. Do baráku s nějakou vzdálenější technickou místností asi jo. Ale i v tom případě bych se snažil důsledně propočítat spotřebu.

Nicméně asi nejvíc bych se rozhodoval podle toho, kolik výkonu by bylo potřeba.

- pokud by to byl takový ten klasický menší homelab server, který často zastává víc funkcí, od sdílení souborů přes nějaké míň náročné virtuály (testovací deployment pro vývoj, sdílený git server, domácí řízení atp.), tak bych šel do něčeho s novými malými AlderLake CPU (N90, N100). Cesta nejmenšího odporu a investic, něco jako Odroid H4 Ultra. Může se to osadit 32 nebo 48 GB paměti. Umí to in-band ECC.
Je to výrazně rychlejší než staré ATOMy, co máte. Disky bych vzhledem k účelu moc nedramatizoval. 4x SATA (dvě SSD a dva velké HDD, oboje do mirroru).
Redundantní zdroj bych také oželel, dal bych to na UPS a pokud by to bylo jen pro mě, případně nějaké přidružené služby zadarmo pro rodinu a známé, tak bych asi unesl, že to třeba půl dne nepoběží. Jelikož kdybych měl řešit nějakou reálnou dostupnost, tak to určitě nebudu provozovat z domova.

- pak kdybych potřeboval o něco víc výkonu. U mě by se to asi lámalo, kdybych na to měl často kompilovat, buildovat nějaké věci, tak bych se poohlédnul po nějaké Micro-ATX desce. Buď s Epycem 4004, nebo Xeonem E23xx, E24xx. To jsou server CPU, která jsou odvozená od desktopových řad a nemají tak velkou spotřebu. Tyhle Xeony mají stejnou mikroarchitekturu jako současné i7/i9, ale nemají tu kombinaci plných a zkriplených jader (všechna jsou rovnocenná). Navíc typičtí výrobci server desek (Tyan, ASRock, Supermicro..) mají normálně VGA ASPeed a BMC.
Nevýhodou je, že modely typicky nemají tolik PCIe slotů (je to vyloženě mířeno na malé SOHO servery), takže je to potřeba trochu víc rozmyslet.. a např. nějaká významnější expanze kapacity, pokud by byla třeba, by se asi musela řešit třeba přes externí SAS/SATA šasi.

- finálně kdybych potřeboval výkonu ještě víc.. typově něco jako trénování neuronek atp., tak bych si asi postavil nějaký Threadripper do většího tower case a počítal bych s tím, že budu třeba posílat větší grafickou kartu do nějakého z virtuálů. A přesně jak tu zaznělo, kvůli hluku bych třeba zvažoval i nějaké vodní AIO chlazení.

Nepochybuji, že určitě někdo bude mít jiný náhled. Já bych třeba hodně řešil poměr cena výkon a nechtěl bych za to dát majlant, nebo třeba platit desítky tisíc ročně navíc za elektriku. Ale to primárně proto, že ty výkonné a důležité věci prostě vůbec neřeším doma.
Na druhou stranu si dovedu přestavit, že pro někoho to může být přesně obráceně. Dělá kompletně věci sám nebo v nějaké malé skupině. Nebo je třeba zvyklý, že je komplet mobilní s notebookem a naopak všechny výpočetně náročné věci dělá na serveru, který chce mít doma.

Re:Pořízení domácího serveru na Proxmox
« Odpověď #7 kdy: 03. 10. 2024, 20:32:24 »
Já jsem si stavěl domací proxmox server před rokem, nároky byli trochu nižší, ale s volbou jsem spokojený.
Desktopové Intel coffe lake cpu, micro atx deska asrock H370 chipset, 32 GB ram, 2xSSD v raid pro boot a 2x3,5" disky pro nas. napájí to PicoPSU a 12V adaptér. Celé je to chlazené jen jedním 120mm větrákem noctua. IPMI jsem nikdy nepotřeboval, proxmox funguje spolehlivě. žere to v idle když stojí disky pod 10W, při běžném provozu kolem 25W, max 60W. Pokud stojí disky tak je server téměř neslyšný. výkonový nárůst oproti starému atomu J1900 byl obrovský.

Re:Pořízení domácího serveru na Proxmox
« Odpověď #8 kdy: 04. 10. 2024, 07:21:04 »
Doma pouzivam HA cluster z 3x Lenovo M920q tiny na proxmoxu...
IDLE spotreba se da kolem 50W, 10GBe v PCIe a Ceph.

Cele to stalo kolem 10k, pouzity HW z ebay.
Bezzasahove vydrzi uplny vypadek jednoho node, zasahove dvou, ve standardni situaci je tak load ballancing, funguje ziva migrace...

Re:Pořízení domácího serveru na Proxmox
« Odpověď #9 kdy: 05. 10. 2024, 23:35:48 »
No, já nejdřív pořídila jeden jetý 1U Dell, slušně výkonný, levný, ale tak hlučný, že šel do školy.
Domů jsem si do racku postavila 3U server na B550 s Ryzen 9 5900x / 64GB, to plně na virtualizaci stačí, ačkoliv nepoužívám Proxmox ale KVM/QEMU na holém Debianu. IPMI to taky nemá, ani mi nechybí, mám v tom jakousi starou gpu pro všechny případy. SW Raid v SuperMicro klecích, disky navěšené na bazarovém SAS řadiči. Spokojenost, chlazeno vzduchem, pokud se v tom děje něco žravého, pravda, trochu to hučí, ale většinu času se to prakticky nudí, takže jen tak šumí. Klidová spotřeba něco kolem 70W.
 

Re:Pořízení domácího serveru na Proxmox
« Odpověď #10 kdy: 06. 10. 2024, 01:11:24 »
Já koupil nový HP Microserver gen10 plus V2. Přidal pcie->nvme kartu, 64GB ram a iLO kartu. Nemůžu si stěžovat. Oproti starším HP microsrv je mnohem kompaktnější.

Džan

Re:Pořízení domácího serveru na Proxmox
« Odpověď #11 kdy: 07. 10. 2024, 10:45:27 »
Skládal jsem si "domácí server" do skříně Thermaltake Core v21 s požadavkem na co nejnižší hlučnost, protože poběží v ložnici. Skříň vleze přesně do IKEA Kallax regálu.
Deska: ASRock B760M PRO RS/D4
CPU: Intel i3-12100
RAM: 64GB DDR4
2x2TB NVMe Kingston KC4000 na Proxmox a OS ve virtuálkách
3x8TB SATA SSD Samsung na data
Zdroj Corsair RM650x
Větráky a chladiče vyměněny za Noctua
Běžím na tom Proxmox, ve virtuálkách pak Alpine s cca 50 kontejnery.
Většinu času server jede pasivně, při náročnějších operacích se roztočí větráky, aby k tomu moc často nedocházelo, vypnul jsem Turbo Boost, dost to pomohlo. Zdroj se uchladí pasivně.
Chladič na CPU je Arctic Freezer i35
Průměrný load je 0.6, teploty systémových disků jsou 48 a 50 stupňů. Průměrná teplota na CPU je 47.
Mám ještě osazenou grafiku na CUDA pokusy/transcoding videa/detekci objektů ve Frigate, příkon je v průměru 63 W.
Předtím jsem měl natuněný HPE Microserver Gen8, ale z pohledu hluku to bylo nic moc, tady prakticky nic neslyším, abych slyšel větráky, musím se hodně soustředit.

Re:Pořízení domácího serveru na Proxmox
« Odpověď #12 kdy: 07. 10. 2024, 22:17:00 »
Taky se pochlubím se svou zkušeností. Ne zrovna pro Proxmox, ale ono je to vesměs jedno, běží mi tam QEMU/KVM, kdyby tam měl běžet Proxmox, je to prašť jak uhoď. Redundanci (zatím) nepotřebuju ;).

Server č. 1: Svého času nový hardware: CPU Core i3-10100F, deska ASUS PRIME B460M-K, 64 GB RAM. Na OS SSD Kingston 240GB SATA, do jedné virtuálky, která byla původně hardwarem, přišel jako RAW device šindelovej 8TB Seagate Archive, na data je tam v RAID1 dvojice 18TB héliových Exos X18. Šindelka dlouhodobě vykazuje ve statistikách dva errory, ale jinak se tváří, že jí nic není, nalítáno má 70k hodin. Exosy jsou zatím bez závad, nalítáno mají 25k hodin. běží tu tři virtuálky (jedna má tu šindelku jako datový disk), z toho jedna na Minecraft, ta žere půlku RAM, ale alokovat si může skoro všechno.

Server č. 2 plánuju přehodit jako čtvrtou virtuálku do serveru č. 1: stará plečka s Core i5-650, deska Intel DP55KG, 8 GB RAM. Běží zde web server na Nginxu + MariaDB, mimo jiné NextCloud a hraje to tedy roli takového datového úložiště typu „co dům dal“ (virtuálky to vlastní nemá žádné).
Server je bohatý na disky :). Na OS je tam 512GB SATA SSD Kingston připojený přes obskurní PCI VIA SATA řadič (prostě už nebyly porty a na OS tohle stačí) a ke všemu možnému, co je na desce, je připojených dalších 8 pevných disků různých značek a rychlostí: 4×500 GB coby 1,5TB RAID5 a 2×640GB + 2×320 GB jako 1,2TB RAID5 (technicky je to 3×640GB, z toho jedna ta 640GB je to 2×320GB v RAID0 - fakticky to stejně jako u RAID5 znamená, že ztráta jediného z těch disků je přežitelná).

Výhledový plán je dát to všechno do nového stroje, kde bude nějaký AM5 procesor a 192 GB RAM, možná i 256GB, pokud se objeví 64GB moduly (podle mě na RAMce nemá smysl šetřit, když tam člověk chce mít virtuálky, takže desku rovnou narvat RAMkou po okraj). Anžto se tam tolik disků nevejde, tak to franken-pole se prostě datově přesune na ty 18TB Exosy, protože místa je tam zatím dost. Stroj bude optimalizován na tichost, i když to nebude v žádné obyvatelné místnosti, protože prostě když to řvát nemusí, tak to řvát nebude :).
« Poslední změna: 07. 10. 2024, 22:21:10 od WIFT ​​​​​​​​​​ »

Re:Pořízení domácího serveru na Proxmox
« Odpověď #13 kdy: 07. 10. 2024, 22:41:42 »
Ja na Proxmox pouzivam v sucasnosti GA-IMB410M, CPU Intel Core i5-10400 na data mam 2x SSD 1TB v mirror.
Ja osobne nepotrebujem na data velky priestor, lebo tam nemam co davat (nefotim, nekamerujem, filmi nepozeram). Vsetko ostatne je dohladatelne na internete.
Tuto dosku mam preto, lebo som potreboval dual LAN Gbit intel, kvoli KVM pfSense. Kedze ta MB bola v akcii za 59€ tak som nevahal ani sekundu.

Predtym som mal Odroid H2 a celkom to slo, ale vacsi traffic ako 500 Mbit to nezvladlo. Teraz poskulujem po Odroid H4 ultra, ale ta cena  je neskutocna, takze asi z toho nic nebude  ;D

RDa

  • *****
  • 2 740
    • Zobrazit profil
    • E-mail
Re:Pořízení domácího serveru na Proxmox
« Odpověď #14 kdy: 08. 10. 2024, 00:55:13 »
Výhledový plán je dát to všechno do nového stroje, kde bude nějaký AM5 procesor a 192 GB RAM, možná i 256GB, pokud se objeví 64GB moduly (podle mě na RAMce nemá smysl šetřit, když tam člověk chce mít virtuálky, takže desku rovnou narvat RAMkou po okraj).

Ja mam i DDR4 platformy a neni problem tam dat 512GiB ~ 1.5TiB, ale prakticky co provozuji 24/7 stejne bezi na 64GB 6/7th gen (xeon e3-xxxx v5/v6), protoze - se to tam pohodlne vejde.

Uvazuj stylem - potrebuje tvuj web/db/nas/router/cokoliv vice nez 8GB (ci 16GB) ram na instanci? Potrebujes vice nez 8 (ci 4) virtualky? Kdyz ne, tak jsi porad v limitu 64 GB systemu.

Pokud das tomu hodku prace si zjistit realne vyuziti pameti (buffers/cache ti zlepsi latence napr. u NAS, ale ne na tolik, abys realne poznal zda ma tva naska 8/16/32/64G ram... protoze nejvetsi bolistka bude synchronni fsync na kterem cela performance sleti 10-100-1000x) - tak dospejes k nazoru ze ten "server-side" vlastne neni tak narocny na pamet (ve srovnani s client-side ... desktopy s browsery a GUI). A jednak usetris, a tvoje AMD fosna te bude mit radeji v 1DPC konfiguraci :D