Fórum Root.cz

Hlavní témata => Hardware => Téma založeno: pruzkumbojem 07. 04. 2023, 09:39:14

Název: Náhrada za Supermicro s Pentiem D pro Proxmox
Přispěvatel: pruzkumbojem 07. 04. 2023, 09:39:14
Tak  mi zrejme zdroj spalil motherboard, nejaka rada na alternativu?

momentalne jsem pouzival xd10sdv-7TP4f,ale na moje potreby bylo tech 8c malo, tomu maximum 128GB RAM jsem se blizil. ale zase spotreba 50-70W
a protoze ty onboard sfp+ obcas zlobily (vsem), tak jsem potreboval jednu PCIe pro Mellanox NIC, druhou pro NVME  PCIe kartu. takze by to chtelo 2+ PCIe.

ECC a IMPI dnes povazuju za samozrejmost.

Samozrejme muzu na bazosi a jinde najit spoustu Supermicro motherboardu is CPU, ale vsechno jsou to monstra 2x 120+ W jen v tech CPU
Název: Re:nahrada za supermicro s Pentiem D pro Proxmox
Přispěvatel: RDa 07. 04. 2023, 10:48:04
Pokud bys dokazal vymenit pameti za UDIMM (coz dnes neni problem sehnat 4x32G), tak muzes jit do neceho jako je X11SCA-F (Xeon E, 8/9th gen Core - to bude mit vyssi vykon na jadro nez starej 5th gen broadwell), na routru s par VM mam pak X11SSL-F (xeon e3 v5/6, tj 6/7th gen Core) - i to je slusne co se idle spotreby tyce - bez disku s 32G ram se to veslo do 9.9W na zasuvce, v zatezi pak adekvatne tomu co to dela.

Tj. chci rict - ze tyhle moderni veci jsou hodne dal nez treba ty stare dual 2011-3 reseni s v3/v4 xeonem. Ale i na tom starem1S to idluje porad na cca 30w, e5-2690v3, 4x16G rdimm v X10SRi-F. A spotreba samozrejme vyleti nad 60W kdyz tomu pocet jader * frekvence dovoli - tj. ze chces vykon vetsi nez nynejsi strop (lze to samozrejme omezit, kdybys mel kripl chlazeni).

S RDIMM pak mam X10SDV-4C-TLN2F (2x10G) a dve X10SDV-8C+-LN2F, kdybys to chtel nahradit 1:1 - jen to PCIe se musi rozvest nejakym stromeckem, bifurkaci to umi s 8/4/4 i 4/4/4/4 a je tam lokalne jedno NVMe.

Ty X10SDV jsou az do 16C ale, jen to je strasne drahy.. takze spis prejdi na ty novsi boardy s 25GbE - X12SDV?

Btw mel bych zajem o tu starou desku.. mel jsem deset tech 8C X10SDV a nevratnou vadu jich ma 8 (vrm fet odpalenej a Vcore v zkratu, pripadne RAM Vref a hlasi to chybu pameti). By me zajimalo co te tvoji bude :-)
Název: Re:nahrada za supermicro s Pentiem D pro Proxmox
Přispěvatel: pruzkumbojem 07. 04. 2023, 11:09:49
Diky, si budu muset prostudovat az vecer.

Urcite hledam neco 2nd hand, ale vsechno to silene zdrazili a muj domaci rozpocet uz je pryc.

A pameti jsem zrovna koupil dalsich 2x 16+2x32, kdyz ta deska odesla (podezrela korelace, ale ten zdroj je ocividne mrtvy taky, takza root cause byl spis on).
Název: Re:nahrada za supermicro s Pentiem D pro Proxmox
Přispěvatel: František Ryšánek 07. 04. 2023, 11:13:40
:-DDD Pentium D (https://www.intel.com/content/www/us/en/products/sku/27512/intel-pentium-d-processor-820-2m-cache-2-80-ghz-800-mhz-fsb/specifications.html).  Tak nic... tzn. hledáte ultra-low-power plnotučnej Xeon s vyšším počtem jader, konkrétně nejspíš něco z rodiny Xeon D (https://ark.intel.com/content/www/us/en/ark/products/series/87041/intel-xeon-d-processor.html).

Váš zesnulý Xeon D-1537 je Broadwell, podle mého krásný kousek z Intelovy první 14nm generace.
Bohužel se zdá, že poslední v rodině Xeon D je momentálně Ice Lake, z nepovedené první 10nm generace. A zřejmě spadá do doby, kdy Intelu začala (opět) hořet koudel, tak se snažil kontrovat zvyšováním taktů za cenu zvýšené spotřeby :-(

Souhlasím s Vámi, že tady je asi dobrá rada drahá. Takový Xeon® D-2173IT vypadá jako možný kompromis. 14 core, 70W, 14nm Skylake.

Pokud byste upustil od požadavku na plnotučný procesor, tak Intel dělá taky ULP procesory s větším počtem ATOMových jader a podporou ECC. Třeba takový ATOM P5362 = jádro Tremont (dnes předposlední), rodina/řada procesoru Snow Ridge. Supermicro s tím má desku (https://www.supermicro.com/en/products/motherboard/a3ssv-24c-spln10f). Následníkem má být před-oznámená rodina/řada Sierra Forest (s jádry Gracemont, která známe z CPU Alder Lake). Zatím neproběhl launch, takže na ark.intel.com to není.
Údajně má být Sierra Forest konkurencí AMD Bergamo s jádry Zen 4c. Což je taky dobrej masakr, ale spotřebou nejspíš někde jinde.

Tyhle procesory jsou všechny BGAčkové = letované onboard. Takže do patice smolík. A najdete to nejspíš v motherboardech nějakého proprietary formátu. Google ukazuje na nějaké Supermicro...

Koukám Supermicro umí i AMD (A+ series) ale všude samý EPYC = stovky Wattů. Jinak ECC a větší počty jader by uměl od AMD taky Threadripper, což je taková workstation řada mezi Ryzenem a EPYCem. Obecně s AMD nemám zkušenosti, možná někdo poradí. Ve srovnání AMD/Intel mám stále ještě pocit, že Intel má veřejně k dispozici podrobnější dokumentaci.

Co se týče spotřeby... vídám občas v BIOSech všelijaká nastavení, třeba taky nastavit profile spotřeby / omezení TDP. Toto hlavně u posledních generací procesorů. U předchozích generací (řekněme Haswell...Skylake) aspoň na Intelu by mělo být možno, ladit "performance profile" - buď v BIOSu nebo v OS, nebo v krajním případě snad i přímým pošťuchováním hardwaru (je to pár MSR registrů, s trochou štěstí nebudou zamčené). Osobně bych větší svobodu hledal v Linuxu, spíš než pod Windows. Pohrát si s P-states / C-states, případně nastavit natvrdo T-state. Vyladit si kompromis žravost / latence / hrubý výkon podle svého. Pokud peníze nejsou až takový problém, vzít třeba nějaký procík s větším počtem jader, a trochu ho přiškrtit směrem k nízkým taktům.
Název: Re:nahrada za supermicro s Pentiem D pro Proxmox
Přispěvatel: pruzkumbojem 07. 04. 2023, 11:22:06
Xeon D-2173IT?

jako treba v tehle desce?
https://www.abacus.cz/x11sdw-wio-xeon-d-2173it-70w-14c-1-7ghz-pci-e32-2-10gbe-t-2-10gbe-sfp-9gbe-4ddr4-4sata-m-2-ipmi-_d5096209.html

3000 EUR, tak to je slusna cena za embedded desku.
ta moje stala pod 11 000kc
Název: Re:nahrada za supermicro s Pentiem D pro Proxmox
Přispěvatel: František Ryšánek 07. 04. 2023, 11:22:37
vrm fet odpalenej a Vcore v zkratu
:-( smutnej konec. Kvůli součástce za 2 USD odejde procík za 500 USD na desce, která je jako celek ještě dražší.

By me zajimalo co te tvoji bude :-)
To mě taky.
Název: Re:nahrada za supermicro s Pentiem D pro Proxmox
Přispěvatel: František Ryšánek 07. 04. 2023, 11:32:10
3000 EUR, tak to je slusna cena za embedded desku.
ta moje stala pod 11 000kc

Taky ta Vaše měla jenom 8jádro a byla už normálně dostupná, když jste ji koupil.

Cena 3000 EURO za motherboard nebo procesor je u Intelu takovým eufemistickým způsobem jak říct, "toto momentálně/zatím není dostupné". V momentě, kdy to reálně začnou vyrábět, spadne cena na mírně přátelštější hodnoty.

Jinak ty Péčkové ATOMy měly být původně "privátní" model pro nějakého výrobce mobilních BTS. Je trochu zázrak, že se k nim Supermicro dostalo.

Celá tahle kategorie CPU s 10+ jádry... mně taky úplně "embedded" nepřipadá :-) Řekl bych tomu spíš "malý server pro labužníky se specifickými potřebami". Že to letujou na desku v úchylném svém formátu, to je obchodní rozhodnutí výrobce desky...

Jestli bylo primární příčinou skutečně selhání zdroje, tak je to fakt pešek v dnešní době. Ošklivé SuperMicro / Ablecom nebo jak se ten výrobce jmenuje.
Název: Re:nahrada za supermicro s Pentiem D pro Proxmox
Přispěvatel: pruzkumbojem 07. 04. 2023, 11:32:49
se ozvu,

ale teda nova Supermicro MBD-X12SDV-16C-SPT8F-O za 68000, on existuje trh pro neco takovyho? to mi hlava nebere.
To uz fakt muzu jit do THreadripperu.

P.s. vsechny  X10SDV maji problem s temi SFP+, cas od casu proste zmrtvi  na dny az tydny. (Mam 3 a  opakovane to delaji v pomerne dlouhych intervalech vsechny a v komunite se o tom taky mluvilo) Proto pro mne uz jen samostatna NIC a ty SFP vypnout. Intel a Supermicro o tom vi, ale ocividne podporovali jen nejvetsi partnery.


Pokud bys dokazal vymenit pameti za UDIMM (coz dnes neni problem sehnat 4x32G), tak muzes jit do neceho jako je X11SCA-F (Xeon E, 8/9th gen Core - to bude mit vyssi vykon na jadro nez starej 5th gen broadwell), na routru s par VM mam pak X11SSL-F (xeon e3 v5/6, tj 6/7th gen Core) - i to je slusne co se idle spotreby tyce - bez disku s 32G ram se to veslo do 9.9W na zasuvce, v zatezi pak adekvatne tomu co to dela.

Tj. chci rict - ze tyhle moderni veci jsou hodne dal nez treba ty stare dual 2011-3 reseni s v3/v4 xeonem. Ale i na tom starem1S to idluje porad na cca 30w, e5-2690v3, 4x16G rdimm v X10SRi-F. A spotreba samozrejme vyleti nad 60W kdyz tomu pocet jader * frekvence dovoli - tj. ze chces vykon vetsi nez nynejsi strop (lze to samozrejme omezit, kdybys mel kripl chlazeni).

S RDIMM pak mam X10SDV-4C-TLN2F (2x10G) a dve X10SDV-8C+-LN2F, kdybys to chtel nahradit 1:1 - jen to PCIe se musi rozvest nejakym stromeckem, bifurkaci to umi s 8/4/4 i 4/4/4/4 a je tam lokalne jedno NVMe.

Ty X10SDV jsou az do 16C ale, jen to je strasne drahy.. takze spis prejdi na ty novsi boardy s 25GbE - X12SDV?

Btw mel bych zajem o tu starou desku.. mel jsem deset tech 8C X10SDV a nevratnou vadu jich ma 8 (vrm fet odpalenej a Vcore v zkratu, pripadne RAM Vref a hlasi to chybu pameti). By me zajimalo co te tvoji bude :-)
Název: Re:nahrada za supermicro s Pentiem D pro Proxmox
Přispěvatel: RDa 07. 04. 2023, 11:40:29
Koukám Supermicro umí i AMD (A+ series) ale všude samý EPYC = stovky Wattů. Jinak ECC a větší počty jader by uměl od AMD taky Threadripper, což je taková workstation řada mezi Ryzenem a EPYCem. Obecně s AMD nemám zkušenosti, možná někdo poradí. Ve srovnání AMD/Intel mám stále ještě pocit, že Intel má veřejně k dispozici podrobnější dokumentaci.

V konkurenci na Xeon-D existuji AMD EPYCy v BGA a jsou s TDP na urovni desktop CPU (35-100w) - neni to zravy monstr s 8ch memory jako SP3/TR4, viz tady:

https://www.servethehome.com/amd-epyc-3000-coverage-from-sth-your-guide/

(jen mam osobne tiky kdyz vidim ze to ma odhalenej kremik a na nem primo chladic.. to je strasne staromodni)
Název: Re:nahrada za supermicro s Pentiem D pro Proxmox
Přispěvatel: pruzkumbojem 07. 04. 2023, 12:04:46
doufam, ze je zrejme, ze jediny duvod pro to embedded volbu tehdy byla ta spotreba. jeste se zdalo , ze je dobre tam vsechno uz mit na desce, ale tohle jsem po tom SFP+ vietnamu opustil a preferuju profesionalni pCIe karty (jak jsem zachytil, tak Intel nevyresil nekolik let i jejich problem s 2.5Gbit ethernetovymi chipy, tak je to spis trend nez vyjimka. Neuveritelny, jak Intel dokazal sam sebe odrovnat. (osobne si rastisticky myslim, ze to slo do kopru s indickymi managery, ktery navic poslali vyvoj do Indie.)

jinak ja ty mini boardy provozoval v 3U supermicro bednach (tam moc nesedi), takze opravdu mi neslo o rozmer.

a ted jsem taky u virtualizovaneho Home Assistenta narazil na nedostatek USB portu, u kterych jsem delal pathrough kvuli ZibBee a Zwave a dalsim cumbrkum.

Ale teda tech uvadenych celkovych 30W u toho  e5-2690v3 mi prijde zazracnych, i kdyz buhvi kam to leti pri jakekoli aktivite.
Se zoufale snazim udrzet muj sklepni rack pod 1 kW, mne to zivi jen neprimo pres knowhow z experimentovani.
Název: Re:nahrada za supermicro s Pentiem D pro Proxmox
Přispěvatel: RDa 07. 04. 2023, 12:34:52
Ale teda tech uvadenych celkovych 30W u toho  e5-2690v3 mi prijde zazracnych, i kdyz buhvi kam to leti pri jakekoli aktivite.

135W pri stress -c 12
145W pri stress -c 24

jenom deska, 4ch pameti, noctua s 2x90mm, usb redukce + sata disk s poslednim Gentoo admin CD.

Problem pro prakticke pouziti zde neni uplne idle spotreba / full spotreba, ale jak se to bude chovat kdyz tam bude mirna zatez - jako muzu udelat jeste testy postupne se zvysovanim poctu jader, pripadne pri capnuti max frekvence nekam (skoda ze nemam nejaky wattmetr s rozhranim, by to bylo snazsi nasamplovat vsechny pocty jader x vsechny frekvence.. rucne se me to nechce delat)

1 kW je hodne velky budget, ja se snazim dosat z 350 na 200-250 (nonstop). Plus tedy faktor ticha, protoze je rack v pracovne.
Název: Re:nahrada za supermicro s Pentiem D pro Proxmox
Přispěvatel: pruzkumbojem 07. 04. 2023, 12:47:34
tak ja tam mam Brocade ICX6450, nejaky Cisco a  atd, tak se to nascita. F5 a podobny obcasne hracicky vetsinou drzim vypnute.

Treba NAS mi ted nouzove bezi na prastarym Supermicro s 2x Xeon 5150. Moc to nezvladaji a zere to pri minimalni cinnosti 230 W (1x 5150 ma TDP 65W)_

Je to ve sklepe i v zime ho drzi pres 20C
Název: Re:nahrada za supermicro s Pentiem D pro Proxmox
Přispěvatel: pruzkumbojem 07. 04. 2023, 12:54:52
tak to bych mozna v ramci vymenu nabidl nejake PDU, mam volne ServerTech 0U (maji teda zastrcku 32A/3PIN a redukci si clovek musi udelat sam). Jen mne teda nakrklo, kdyz jsem zjistil, ze rika W, ale ve skutecnosti meri VA. PowerFactor se v preferencich zadat da, ale je spolecny pro cely PDU (meri 3 skupiny po 8 zasuvkach)


Ale teda tech uvadenych celkovych 30W u toho  e5-2690v3 mi prijde zazracnych, i kdyz buhvi kam to leti pri jakekoli aktivite.

(skoda ze nemam nejaky wattmetr s rozhranim, by to bylo snazsi nasamplovat vsechny pocty jader x vsechny frekvence.. rucne se me to nechce delat)


Název: Re:nahrada za supermicro s Pentiem D pro Proxmox
Přispěvatel: RDa 07. 04. 2023, 13:20:59
tak to bych mozna v ramci vymenu nabidl nejake PDU, mam volne ServerTech 0U (maji teda zastrcku 32A/3PIN a redukci si clovek musi udelat sam). Jen mne teda nakrklo, kdyz jsem zjistil, ze rika W, ale ve skutecnosti meri VA. PowerFactor se v preferencich zadat da, ale je spolecny pro cely PDU (meri 3 skupiny po 8 zasuvkach)

PDU mam (8 portove od APC) ale nemeri to tak presne (a ta presnost i u UPS je diskutabilni). A hlavne jsem ho vyradil.. tusim zralo 25W a kazilo me to efektivitu reseni. S IPMI to navic uz neni takova potreba (jasne, na jine veci nez PC se to ale porad hodi).
Název: Re:nahrada za supermicro s Pentiem D pro Proxmox
Přispěvatel: pruzkumbojem 07. 04. 2023, 16:50:37
mas SZ
tak to bych mozna v ramci vymenu nabidl nejake PDU, mam volne ServerTech 0U (maji teda zastrcku 32A/3PIN a redukci si clovek musi udelat sam). Jen mne teda nakrklo, kdyz jsem zjistil, ze rika W, ale ve skutecnosti meri VA. PowerFactor se v preferencich zadat da, ale je spolecny pro cely PDU (meri 3 skupiny po 8 zasuvkach)

PDU mam (8 portove od APC) ale nemeri to tak presne (a ta presnost i u UPS je diskutabilni). A hlavne jsem ho vyradil.. tusim zralo 25W a kazilo me to efektivitu reseni. S IPMI to navic uz neni takova potreba (jasne, na jine veci nez PC se to ale porad hodi).
Název: Re:Náhrada za Supermicro s Pentiem D pro Proxmox
Přispěvatel: pruzkumbojem 10. 04. 2023, 20:17:08
diky za vsechny hodnotne komentare,
po chvili koukani, EPYC3000 by byly OK , ale moc nejsou (k dispozici nebo ve svepravnych cenovych relacich).
ocividne D15xx byl sweet spot, po tom to uz zacalo jit s Intelem z kopce a soucasne jeho naceneni je vic a vic pomatene. Xeon D17xx nebo 2xxx podle vseho maji svoje problem a stejne zase moc nejsou

ty Atomy Pxxx, recenze prakticky neexistuji, ale uz jen z toho nazvu je jasne, co na tom Intel asi napachal. ty chybejici instrukce by presne bodly do zad behem toho experiementovani pro ktere je to urcene.

zminene E3 v6 opravdu jsou usporne, ale pocet core je nedostacujici (ja vim, byly zmineny jen jako priklad).

BTW jak je to zly s Intelem je uz videt na poctu clanku o AMD na Servethehome, ten byl doted az neobjektivne intelovsky.

koukal jsem se treba na tohle,
https://www.ebay.com/itm/175307460477?hash=item28d1238f7d:g:XVAAAOSwAnlim5oY

budu mit vetsi pocet neprilis aktivnich VM, ale ta spotreba bude u tehle procesoru  silena a uprimne receno tem starsim AMD boardum moc neverim, garantovane tam narazim na nejaky skryty problem s PCIe pathrough nebo neco jineho. (i kdyz samozrejme Intel rad vytvari "tiers" a kripli nizsi rady).