Nedávno jsem se dopustil jednoho bastlu, který by pro někoho mohl být relevantní... ne na prodej to není, spíš jako inspirace.
Cíle: server s ECC, úsporný výkonný procesor, pro konkrétní software co nejkratší latence mezi jádry, peníze omezené, hlavně ať je to zticha. Prostorem (rack units) netřeba šetřit. Původně jsem se chtěl obejít bez HW RAIDu, nakonec je tam i ten.
Součástky: X570D4U od AsRock Rack, Ryzen 5700X3D CPU, 64 GB ECC unbuffered RAM (vejde se 128 ve 4x DIMM). Chladič CPU Arctic Freezer M4U (pozor! viz poznámka níže.) Levné průvzdušné šasi 19"/4U InterTech 40255, hluboké asi 55 cm - k němu originální lyže (kluzné polovýsuv) a originální dvě basy kastlíků, každá pro 5x 3.5". Dávají bez problému SATA III, nemají failure LED (což mě později mrzelo, protože Areca umí budit diskrétní LEDky nebo SGPIO nebo "svoje" i2c. Toto by uměly např. TQ kastlíky SuperMicro nebo některé od Chieftecu.) Jsou v tom dva docela velké točivé disky. Nakonec jsem přidal Arecu ARC-1203-8i. Zdroj FSP500-50RAB.
Dost mě překvapilo, jak hezky funguje PMBus od zdroje proti IPMI BMC na motherboardu (možná vykecá až moc detailů - nevědomost je blažená). Přikládám screenshot IPMI BMC GUI (HTTPS) s několika zajímavými senzory. Jestli správně čtu, zdroj hlásí celkovou spotřebu asi 60W na vstupu ze zásuvky - v idle.
Na domácí žvýkání je ten motherboard asi zbytečně drahý - zas na druhou stranu, pro nějaké serióznější nasazení, má v dokumentaci garantovánu podporu ECC (unbuffered), což u kancelářských desek (AsRock) teoreticky taky nakonec funguje, ale výrobce to pokud vím veřejně neslibuje. Dále, tím že je board serverový, tak má DIMM sloty v šasi podélně a zřejmě proto socket CPU otočený o 90* (aby dobře vycházelo routování paměťové sběrnice k DIMM slotům). Takže kompatibilní desktopové chladiče CPU vycházejí kolmo na proudění ventilace v 19" šasi (kromě toho, že není mnoho desktopových velkých chladičů, které se vejdou do 4U - dnešní tower má pár cm navíc). Snad pro své sklony k zločinu, řešil jsem to zámečnicky... vzal jsem serverový CPU chladič (pro EPYC) a vyrobil jsem si custom uchycení měděnou mezi-deskou na desktopový socket AM4, se žádanou orientací... Pro normálního smrtelníka je na tom příliš mnoho "dodělej doma". Ale výsledek je... zajímavý :-)
Originální ventilátory v šasi nemají PWM, ale i bez něj jsou relativně příjemně tiché (u Inter-Techu obecně). Tyto jsem nahradil 80mm a 120mm tichými kousky od Arctic Cooling, které mají PWM vstup (P8 a P12 PWM PST) a konektorem přímo pasují do použitého motherboardu. Jak originál tak Arctic jsou nakonec nějaká Čína - klidně bych i dal něco lehce značkovějšího (třeba Sunon) ale bohužel v tomhle "obecném bastlířském" sortimentu se čtyřdrát s PWM nějak ne a ne prosadit. Opravdu značkové kousky (Nidec, Delta, NMB) jsou spíš výkonné a hlučné a drahé a nedostupné, a třeba Papst je sice tichý ale taky drahý...
Na tomhle konkrétním boardu má regulační smyčky ventilátorů (a teplotní čidla) pod palcem IPMI BMC firmware, z OS si na ně nesáhnete. Naštěstí se to dá docela detailně konfigurovat přes HTTP GUI. Nakonec je to asi optimální varianta - člověk nemusí v Linuxu řešit kompatibilní ovladač hwmon/lmsensors, šněrovat konfiguraci fancontrol apod.
Originální IPMI BMC firmware od AsRock Rack funguje dost pěkně - přesto si dovedu představit, že na značkových strojích má ještě pár vychytávek navíc. Nechci srovnávat.
Fajn věc na tomhle AsRocku je například schopnost flashnout BIOS i v případě, že CPU není stávajícím BIOSem podporován. BMC si prostě přepne SPI signály na motherboardu pod svoji nadvládu a BIOS tam smahne :-)
Board je starší platforma AM4 (DDR4) a tuším efektivně končí na 128 GB ECC unbuffered RAM. Aktuálnější je AM5 (DDR5). Do těchto "serverových boardů s desktopovým procesorem" je myslím dodnes problém, nacpat 256 GB ECC unbuffered RAM (DDR5). Procesory s X3D (veliká cache) pro AM4 se před pár měsíci přestaly prodávat - a popravdě to jejich chlazení nic moc. Teplotní spád mezi CPU die a heatspreaderem je v plné zátěži dost nepříjemný. Mladší X3D pro AM5 jsou na tom líp. Rozumné latence mezi jádry mají jenom modely s jediným CPU die (osmijádra) - vyšší 16jádra mají dva CPU plátky a chovají se víc jako "NUMA v jednom pouzdře". Pokud oželíte X3D, dá se dodnes koupit podobný model AM4 s "X" na konci, který má sice "pouhých" 32 MB cache, ale taky menší idle spotřebu a líp se chladí v zátěži. To X na konci je (potenciálně) důležité - znamená, že CPU nemá integrovanou grafiku, a zároveň, že umí ECC (unbuffered) RAM. Co se týče kompatibility s Linuxem (a Proxmoxem), je starší AM4 CPU v podstatě boží - PCI-e IOV, EDAC... v Debianu na úrovni 11 tohle všecko funguje.
Ve výsledku je to tiché, uchladí se to bez problému... byť jsem byl nepříjemně překvapen v detailech poněkud nedotaženým chlazením (nebo neoptimalizovaným na prostornou tichou skříň) u některých součástek: vedle AM4 X3D CPU ještě X570 south bridge a levná řada Arecy :-( Detailista ve mně trpí.
Kdybych vzal nějaké Supermicro (velký tower 945 už se zřejmě nedělá) tak to bude líp integrované, líp učesaná kabeláž, ale hlučnější ventilátory (vrní i podtočené) a nejspíš overkill napájecí zdroj. Bylo by s tím míň práce.
25 Odpovědí
3663 Zhlédnutí