Fórum Root.cz
Hlavní témata => Hardware => Téma založeno: xsouku04 21. 02. 2024, 13:44:16
-
Zdravím.
Snažím se postavit co nejlevnější server s ECC pamětmi.
Koupil jsem desku B650D4U (https://www.asrockrack.com/general/productdetail.asp?Model=B650D4U#Specifications) k tomu procesor AM5 Ryzen 9 7900 a paměť
KSM48E40BD8KM-32HM Dle výrobce Kingstone (https://www.kingston.com/en/memory/search/model/106613/asrock-server-board-b650d4u-2l2t-bcm) by měla fungovat s touto deskou.
Po spuštění se začne točit procesor, ale po chvíli startování skončí nedokumentovanou chybou, která se napíše na mini displeji desky "C5".
V čem může být problém?
Objednal jsem ještě jednu desku a problém je úplně stejný.
Pokusil jsem se kontaktovat přímo ASRock přes jejich formulář (https://event.asrockrack.com/tsd.asp), ale nikdo mi neodpověděl. Dost možná, protože nejsem schopen vyplnit věci jako BIOS a BMC verze, protože to nemám jak zjistit.
Deska obsahuje BMC/impi což znamená, že by měl mít vlastní web, pomocí kterého lze počítač na dálku spravovat, např. nahrát nový firmware. To ale také nefungje. BMC heartbeat blikne jen jednou.
Když jsem desku poprvé spustil bliklo to několikrát. Od té doby vždy jen jednou. Ip adresu BMC nedostane, na web se nedostanu.
Mám předchozí generaci serverové desky Asrock X470D4U (https://www.asrockrack.com/general/productdetail.asp?Model=X470D4U#Specifications) na dvou strojích a ta funguje výborně. Hlavně spotřeba v klidu je méně jak 30W i s disky. BMC heartbeat zelená ledka bliká, přes BMC/ipmi lze počítač na dálku pouštět, restartovat, upgradovat BiOS , případně mohu vidět kernel panic hlášku (to se samozřejmě nikdy nestalo).
Nevíte v čem by mohlo být problém? Myslíte že se ke mně dostala nějaká vadná série? Kupoval jsem to z 14 denním odstupem.
Koupil bych hotový SERVER, ale ceny jsou úplně mimo, má to velkou spotřeba, nedostatek paměti a podobně.
Jako alternativa jsou normálně hráčské desky ASUS, které zjevně také podporují ty stejné ECC paměti, ale chybí tam BMC/ipmi.
Nenapadá vás, v čem by mohl být problém?
Dík.
-
Po spuštění se začne točit procesor,...
Tohle bych asi řešil jako první, To rozhodně není standardní chování.
-
cekal bych ze aspon ipmi bude fungovat.
-
Po spuštění se začne točit procesor,...
Tohle bych asi řešil jako první, To rozhodně není standardní chování.
Nojo větráček procesoru ne procesor.
Přikládám ještě obrázek. Procesor už jsem opět demontoval, větráček procesoru jsem měl zapojený na jeden z těch konektorů na které ukazuje šipka.
-
cekal bych ze aspon ipmi bude fungovat.
Nevíte jestli má ipmi fungovat i bez vloženého procesoru a paměti? Já myslím, že by to mohlo, protože někdy může být potřeba upgradovat BIOS, aby konkrétní procesor a možná i paměť fungovala a to lze právě přes to BMC/ipmi. To ipmi má totiž svůj vlastní ARM procesor.
-
Ptal jsem se též na suntech.cz, kde jsem desky koupil a tam mi odpověděli:
"Problém mě napadá jen někde v zapojení, sestavení, zkrat např. distančním šroubkem. Zapojit jen holou desku se zdrojem na stole. Mělo by to fungovat."
A opravdu. Když zapojím desku na stole - tedy přesněji na tom antistatickém igelitu v kterém to bylo zhabalono a to i bez procesoru, tak se to chová jinak a dioda BMC/impi heartbeat bliká, tedy nejspíš ipmi funguje. Tedy připadá mi, že to opravdu bude tímto. Tak snad to pomůže i někomu dalšímu, který se může mým vláknem inspirovat.
-
... na mini displeji desky "C5".
To je podle vseho ramka. Takze ji vyzkousej prehodit do jinych slotu (a pokud mas vic modulu, testuj to samozrejme s jednim), a pripadne si nekde sezen jinou na test.
a to i bez procesoru
Ale to zkousis neco uplne jinyho. Kdyz tam nic neni, bude se kazda deska chovat jinak, nez kdyz tam neco je a nefunguje to.
-
Todle https://download.asrock.com/Manual/B650D4U.pdf (https://download.asrock.com/Manual/B650D4U.pdf)jste četl?
Podle fotky máte tu ramku ve špatném slotu. Má to být ten první nebo druhý modrý = slot A1 (blíže k procesoru) nebo B1 ten nejvzdálenější, pro jeden modul. Více v tom manuálu.
A ještě klasická chyba, nemáte špatně nastrkané piny panelheaderu? Resety power on, apod? Nemáte na resetu nějakou ledku nebo tak?
-
cekal bych ze aspon ipmi bude fungovat.
Nevíte jestli má ipmi fungovat i bez vloženého procesoru a paměti? Já myslím, že by to mohlo, protože někdy může být potřeba upgradovat BIOS, aby konkrétní procesor a možná i paměť fungovala a to lze právě přes to BMC/ipmi. To ipmi má totiž svůj vlastní ARM procesor.
ipmi ma fungovat i kdyz je deska vypnuta, tam by melo byt napsane ip pro ipmi, ja bych se zkusil na ipmi pripojit, treba tam bude vice vypisu.
-
Do IPMI se dostanete i bez CPU a RAM, defaultne je nastaveno pro IPV4:
Manual setting IPMI LAN [No]
Configuration address source [DHCP]
Bezi mi bez problemu tato konfigurace:
B650D4U
100-100000910WOF
M324R4GA3BB0-CQK (4 kusy)
Pouze jsem upgradnul UEFI FW z puvodni 1.10 na 2.11, ve ktere byla pridana podpora pro Ryzen 7800X3D.
-
Daj ramku do ineho slotu. Najdi manual, tam by o tom malo nieco byt. C5 mi pride ze moze byt casovanie a doska ho nepodporuje v tejto konfiguracii slotov(mas len jednu ramku a v specifickom slote, preto ju skus prehodit ak nenajdes manual). Ak nepomoze zozen druhu do paru, niekedy proste jedna nebude fungovat. Alebo zment za pomalsiu. Toto vsetko je v manuale od dosky.
-
ipmi ma fungovat i kdyz je deska vypnuta, tam by melo byt napsane ip pro ipmi, ja bych se zkusil na ipmi pripojit, treba tam bude vice vypisu.
jen bych upresnil, ze do IPMI se da dostat, kdyz deska neni zapnuta pres power button
musi byt pripojena ke zdroji, po pripojeni trva asi 40-50 vterin, nez BMC LED heart beat signalizuje ready a jeste dalsich 10-20 vterin, nez se skutecne da pres LAN pripojit na BMC
v default nastaveni ma BMC pro IPV4 DHCP, takze nema statickou IP adresu a potrebujete DHCP server
-
Ptal jsem se též na suntech.cz, kde jsem desky koupil a tam mi odpověděli:
"Problém mě napadá jen někde v zapojení, sestavení, zkrat např. distančním šroubkem. Zapojit jen holou desku se zdrojem na stole. Mělo by to fungovat."
A opravdu. Když zapojím desku na stole - tedy přesněji na tom antistatickém igelitu v kterém to bylo zhabalono a to i bez procesoru, tak se to chová jinak a dioda BMC/impi heartbeat bliká, tedy nejspíš ipmi funguje. Tedy připadá mi, že to opravdu bude tímto. Tak snad to pomůže i někomu dalšímu, který se může mým vláknem inspirovat.
Tak už je problém vyřešen. Důvod proč nešlo ipmi nebyl nějaký zkrat nebo špatný kontakt se skříní, ale důvod že bylo neustále zmáčknuté tlačítko UID1, když byla deska namontovaná. Ve výlisku se musel odloupnout plíšek, aby mohlo být tlačítko nezmáčknuté.
Zjevně je to jen takové světýlko.
"When the UID button on the
front or rear panel is pressed,
the front/rear UID blue LED
indicator will be truned on.
Press the UID button again to
turn off the indicator."
Jak jsem se dostal do IPMI/BMC tak jsem nahrál nejnovější BIOS. Ani tak se nic nezměnilo. Když jsem pak paměť přesunul, aby byla co nejdále od procesoru, začalo to jít. Jestli ta pamět funguje jen s novějším BIOSem nevím, je to možné. IPMI/BMC mi verzi předchozího biosu nenapsalo.
Co je také zvláštní, že verze BMC mi to píše 4.02. Přitom taková ke stežení vůbec není. https://www.asrockrack.com/general/productdetail.asp?Model=B650D4U#Download
-
Bios Main nyní píše:
Board Product B650D4U
UEFI Version 3.11 (zjevně se tím myslí verze BIOSu)
BMC Version 4.02.00 - taková verze ke stažení vůbec není.
-
Zkoušej to bez ECC pamětí.
Jaké máš zkušenosti se stavbou počítačů?
Mě se zdá, alespoň v tvých zprávách, že v podstatě tápeš v základních věcech.
To jsi si asi složil jeden počítač a získal jsi dojem, že jsi montér?!
Za ty prachy které jsi do toho dal sis mohl koupit HP server.
Sice nevím k čemu si stavíš server, nicméně zcela jistě na tom nepojede žádná kritická aplikace, ale kdyby jsi si pořídil standardní desku s i7 a s normálními paměťmi tak ti to taky dávno funguje.
-
Zkoušej to bez ECC pamětí.
Jaké máš zkušenosti se stavbou počítačů?
Mě se zdá, alespoň v tvých zprávách, že v podstatě tápeš v základních věcech.
To jsi si asi složil jeden počítač a získal jsi dojem, že jsi montér?!
Za ty prachy které jsi do toho dal sis mohl koupit HP server.
Sice nevím k čemu si stavíš server, nicméně zcela jistě na tom nepojede žádná kritická aplikace, ale kdyby jsi si pořídil standardní desku s i7 a s normálními paměťmi tak ti to taky dávno funguje.
Už vše funguje, memtest86 hlásí, že vidí ECC a že je aktivní, ještě to ověřím v debianu po instalaci.
Tohle má výhodu, že je to jen malinko dražší než běžný herní stroj, ale je to server. Vlastně kdybych chtěl herní server se slušnou grafikou tak to vyjde podobně nebo ještě víc. U serveru grafiku nepotřebuji.
Kde by se dal koupit HP server za rozumnou cenu s 128 GB pamětí, 2 krát m.2, aby to nebyl již použitý hardware (ten má špatný poměr spotřeba elektřiny/výkon) ? Problém je, že Xeony mají dvojnásobnou cenu a poloviční výkon oproti běžným procesorům. U AMD funguje ECC i u běžných procesorů a ta ECC paměť je jen za minimální příplatek. Příplatek za serverovou desku je zanedbatelný.
Stavím dva stroje každý rok nebo dva.
Jo a také se mi u tohohle řešení líbí spotřeba. Předpokládám do 30W bez zátěže i s disky. A je to úplně tiché.
-
honzako: Zase další zbytečný příspěvek s téměř nulovou informační hodnotou a povýšeným tónem. Proč myslíš, že si asi koupil ECC v kombinaci s platformou AMD? A mimochodem ten problém už vyřešil. Holt měl dát paměť do vhodného slotu už když to skládal, což nejspíš bude uvedené v manuálu k desce (zejména při použití pamětí ECC), ale co, nikdo nemůže vědět všechno hned.
-
Článek z Corsairu k On-die ECC
JE PAMĚŤ DDR5 ECC?
Nyní, když docela dobře rozumíte tomu, co je paměť ECC, vraťme se k původní otázce: Je DDR5 považována za paměť ECC?
DDR5 má některé funkce ECC (kód pro opravu chyb), které jí umožňují detekovat a opravovat chyby jednobitové paměti. Tato funkce se označuje jako vestavěná kontrola dat. Je však třeba poznamenat, že to není totéž jako u tradiční paměti ECC, která má na paměťovém modulu přídavný čip pro korekci dat. Tradiční paměť ECC nejen detekuje a opravuje chyby, ale také zajišťuje úplnou integritu dat na všech úrovních. Chrání data, když jsou v paměťové buňce a během přenosu do CPU nebo GPU, takže je ideální pro ochranu kritických dat.
Viz třeba pro vyvrácení pochyb
https://www.mironet.cz/pameti-ram/do-pocitace-dimm+c14434/
a
https://www.cnews.cz/clanky/pameti-ddr5-detaily-az-8400mhz-zlepseni-vykon-ochrana-dat-on-die-ecc/
-
Zde je informace od Kingston
https://www.kingston.com/datasheets/KSM48E40BD8KM-32HM.pdf
I ona využívá On-die ECC pro opravu jednobitových chyb.
Ale je to plnohodnotná ECC.
Nicméně každá DDR5 ty nejběžnější náhodné, ale velmi výjimečně vzniklé, chyby umí detekovat (a vyřešit je).
-
V manuálech pro AM5 desky se píše o inicializaci DDR5 pamětí, která může trvat i 10 minut, takže to chce při prvním zapnutí trpělivost.
-
Zde je informace od Kingston
https://www.kingston.com/datasheets/KSM48E40BD8KM-32HM.pdf
I ona využívá On-die ECC pro opravu jednobitových chyb.
Ale je to plnohodnotná ECC.
Nicméně každá DDR5 ty nejběžnější náhodné, ale velmi výjimečně vzniklé, chyby umí detekovat (a vyřešit je).
On-die ECC resi jenom problemy kdy vam kosmicke zareni preklopi bit v nektere bunce na DRAM cipu.
Neni to plnohodnotna ECC !
Plnohodnotne ECC (tj 72bit/64bit po DDR4, nebo 40bit/32bit u DDR5, per kanal) vam pomuze i kdyz vam budou breberky lezt po zakladovce a menit impedanci a cross-talk spoju do DRAM :) Nebo nastane jina nehoda po trase mezi pameti a procesorem (tj. chrani to veskerou modularni konektivitu - socket pro cpu i slot na ram).
On-DIE ECC je tedy... velice slabej caj. Ale laicy zaplesaji, ze maj konecne ECC.. tak jisteeee... jdete si dale snit :)
-
xsouku04 - gratuluji k vyreseni problemu a ze si konecne muzes uzivat novy stroj a radovat se z neho
Presne to same, libi se mi ticho, nizka spotreba v idle. Dal jsem vse do 2U case a osadil tiche 80x80 ventilatory, ktere v idle jedou na 800-900 RPM, je to opravdu velmi tichy stroj. Sestavit si vlastni novy server nemusi byt az tak drahe. A je z toho i nejaka radost, kdyz se vse poprve rozbehne, to je neco jineho, nez kdyz koupite hotovou masinu.
Ramky jsou s plnou ECC podporou. Nejsou to nejake pseudo on-die ECC.
Ryzen taky podpora ECC.
Deska taky podpora ECC, jde ji vypnout/zapnout v nastaveni UEFI setup menu.
Ano prvni zapnuti - trva dele RAM training, pak si firmware ulozi optimalni nastaveni.
-
Zde je informace od Kingston
https://www.kingston.com/datasheets/KSM48E40BD8KM-32HM.pdf
I ona využívá On-die ECC pro opravu jednobitových chyb.
Ale je to plnohodnotná ECC.
Nicméně každá DDR5 ty nejběžnější náhodné, ale velmi výjimečně vzniklé, chyby umí detekovat (a vyřešit je).
On-die ECC resi jenom problemy kdy vam kosmicke zareni preklopi bit v nektere bunce na DRAM cipu.
Neni to plnohodnotna ECC !
Plnohodnotne ECC (tj 72bit/64bit po DDR4, nebo 40bit/32bit u DDR5, per kanal) vam pomuze i kdyz vam budou breberky lezt po zakladovce a menit impedanci a cross-talk spoju do DRAM :) Nebo nastane jina nehoda po trase mezi pameti a procesorem (tj. chrani to veskerou modularni konektivitu - socket pro cpu i slot na ram).
On-DIE ECC je tedy... velice slabej caj. Ale laicy zaplesaji, ze maj konecne ECC.. tak jisteeee... jdete si dale snit :)
Ale je to chápu tak, že obyčejnou On-die ECC mají úplně všechny DDR5 paměti. I ty obyčejné, co se jako ECC neprodávají.
Ty co se jako ECC prodávají, musí mít podporu desky a procesoru, aby se přenášelo více bitů, což u AMD není problém.
I debian mi hlásí podporu ECC. Jak by to poznal, kdyby to byla jen interní záležitost paměti?
-
Ty tvé jsou plnohodnotné ECC paměti :-).
-
Ale je to chápu tak, že obyčejnou On-die ECC mají úplně všechny DDR5 paměti. I ty obyčejné, co se jako ECC neprodávají.
Ty co se jako ECC prodávají, musí mít podporu desky a procesoru, aby se přenášelo více bitů, což u AMD není problém.
Potreba on-DIE ECC vyplyva z procesu - cim mene nm, tim ta potreba je nutnejsi protoze k preklopeni staci mene energeticka castice, u DDR5 to je "vzdy", protoze jsou vyrabeny modernim procesem. Pokud by nekoho napadlo na stejne modernim procesu delat DDR4 cipy, tak tam bude on-die ECC taky potreba.
Procesory maji jen par KB a MB cache.. ale ty jsou chraneny uz desetileti skrze ECC.
U poslednich (12-13gen) intel CPU ted ECC taky uz nejsou problem (v i7, i9), jen to chce spravnej chipset (napr. W680) a ten se bohuzel nachazi jen na malo vybranych deskach. U AMD to sice temer vsechny CPU "podporuji" (tj. nezakazuji), ale je tam podobny problem v stesti na desku - ze jeji navrh musi ty extra draty mit, coz nemusi byt vsude (otazka je, zda maji v referencnim navrhu ty spoje, a kolik vyrobcu pouziva referencni layout).
U tve desky to je easy - jak to ma BMC, tak je 99% sance ze to bude mit i ECC, pac je to server. Ale ve spotrebce.. good luck.
-
U poslednich (12-13gen) intel CPU ted ECC taky uz nejsou problem (v i7, i9), jen to chce spravnej chipset (napr. W680) a ten se bohuzel nachazi jen na malo vybranych deskach. U AMD to sice temer vsechny CPU "podporuji" (tj. nezakazuji), ale je tam podobny problem v stesti na desku - ze jeji navrh musi ty extra draty mit, coz nemusi byt vsude (otazka je, zda maji v referencnim navrhu ty spoje, a kolik vyrobcu pouziva referencni layout).
Tak to je super, příště mohu zkusit Intel. Třeba zde jsem našel jednu desku (https://www.westercom.eu/cs/serverove-desky/7383/advantech-asmb-588g2-00a1.html) i když je to generace jen 12. Intel i7 a i9 by měl být lepší na spotřebu v klidu, při zátěži je lepší Ryzen. Ale ty Xeony to je kolikrát za dvojnásobnou cenu, dvojnásobná spotřeba a často i menší výkon oproti Ryzenům i běžným Intel procesorům.
Když ale porovnáváme běžné procesory Intel I7 a i9 s Ryzenem, tak jsou rozdíly malé.
-
Jo a také se mi u tohohle řešení líbí spotřeba. Předpokládám do 30W bez zátěže i s disky. A je to úplně tiché.
tak kolik ti to nakonec zere?
-
Jo a také se mi u tohohle řešení líbí spotřeba. Předpokládám do 30W bez zátěže i s disky. A je to úplně tiché.
tak kolik ti to nakonec zere?
36 W s dvěma SSD m.2 disky.
-
Když přidám 128GB paměti tak to ukazuje spotřebu v klidu cca 40W, ale pokud vyměním zdroj za kvalitnější co má 80+ Gold certifikaci https://www.suntech.cz/fsp-fortron-fsp350-50egn-350w-atx-zdroj-80-gold-bulk_d558327.html a originální chladič za jiný, tak se dostanu zpět na cca 34-35W se třemi m.2 disky bez zátěže.
Aby fungovalo ECC, musím v biousu přepnout z Auto na Enablet. To najdu “advanced tab” → AMD CBS → UMC Common Options → DD4 Common Options → Common RAS → ECC configuration.
Také jsem si vyzkoušel, že mohu omezit maximální teplotu procesoru, pokud hrozí, že to nebude úplně dobře chladit. Defaultně jen 95 stupňů. Mohu snížit třeba na 85. Advanced -AMD CBS→SMU Common Options → Thermal control.
Zajímavé, že to má jen nepatrný vliv na skutečný výkon, větší vliv na maximální spotřebu která je kolem 120W při benchmarku které na 100% zatěžují všechny jádra.
Bez zátěže je to absolutně tiché.
Nevíte někdo k čemu to má ty dva konektory pro napájení procesoru? Když zapojím oba dva tak to nestartuje. Viz přiložený obrázek.
-
Nevíte někdo k čemu to má ty dva konektory pro napájení procesoru? Když zapojím oba dva tak to nestartuje. Viz přiložený obrázek.
Ty konektory jsou to same, mel bys to byt schopen overit multimetrem, ze 4+4 piny (gnd a 12v) jsou zapojeny stejne na obou.
Otazka je, co tam pripojujes - typicky zdroj nema dva 8-pin ATX12V CPU konce (a divil bych se ze bys do tohoto maleho serveru daval nejaky 1200W zdroj) - ale ma neco podobneho pro GPU, kde jsou plus a minus prohozeny. Takze pokud do zakladovky zapojis onen GPU konec zdroje, tak prakticky zkratujes tu 12V vetev a pak by te mela zachranit nadprodova ochrana zdroje (ale +5VSB pojede a BMC ti zit bude).
-
Nevíte někdo k čemu to má ty dva konektory pro napájení procesoru? Když zapojím oba dva tak to nestartuje. Viz přiložený obrázek.
Pro procesory, které potřebují víc než 300W (doufám, že si tu hodnotu pamatuju správně, když jsem o tom četl).
-
Nevíte někdo k čemu to má ty dva konektory pro napájení procesoru? Když zapojím oba dva tak to nestartuje. Viz přiložený obrázek.
Pro procesory, které potřebují víc než 300W (doufám, že si tu hodnotu pamatuju správně, když jsem o tom četl).
On ten limit je slozitejsi - zalezi taky jaky drat pouzije vyrobce zdroje. Obecne se muzeme bavit o necem od 4A po 7A, coz dava 12V * 16A az *28A ... 192W az 336W. Z pohledu konektoru je mene lepe.
V kombinaci s hlavnim 24pin konektorem, je tento vykon dostacujici na bezne procesory i single socket servery - napr. u H12SSL-i kterou mam jsou taky dva 8-pin, ale na ruznem konci desky - pry staci zapojit jeden a to ktery se pouzije je spis otazkou jaky dlouhy kabel vam trci ze zdroje.
Samozrejme pri osazeni hromadou PCIe karet, by se melo zapojit oboji.
EPS12V standard definuje 4+4+4pin nebo zkombinovane 8+4 pin - a to jsem i videl v praxi. Ze na desce je 8+8 pin je mozna taky otazkou toho, ze pak maj jen jeden druh komponenty a bude levnejsi. Navic ten 4pin ze zdroje do 8pin na desce lze zastrcit - je to kompatibilni.
-
Asi bych ty desky znovu nekoupil. To BMC IPMI je hrozně zabagované. A defaultně je to nastavené na DHCP na prostřední síťovce. Pokud chci pevnou ip adresu, je to hrozný risk, protože nastavování a reste BMC adresy přes BIOS nefunguje, takže když se udělá v nastavování chyba, není to jak resetovat. Ale ani se chyba nemusí udělat, může to přestat fungovat tak nějak samo a reset do továrního nastavení neni z biosu možný.
Utilita impitool z linuxu také nefunguje a nahrání nového BMC firmware z dosu se mi také nedařilo neb z UEFI biosem se nedá nabootovat do DOSu.
Lepší je asi koupit obyčejnou desku od ASUSu, ECC umí ale impi nemá, takže to není další bezpečnotní díra a komplikace navíc.
-
Tak ono to muze byt specifikum ASUS / ASrock, bud rad ze tam mas IPMI - na jedne desce od nich je veskery hw, krome firmware flash cipu, ktery prodavaj jako placene prislusenstvi, tvl.
Supermicro ma oproti tomuto lepsi IPMI, resp melo na starych deskach. Pak to nejakou dobu zpet cele taky podelali - zacali zavadet secure boot do ipmi, a FW upgrade mi odkrouhl cele ipmi, protoze nemaji postup jak upgradnout verzi 2 na verzi 4 a celkove tam maji verzovane zavislosti kde neni jasne jaky intermediate fw ten nevratny proces zbridguje aby to nechciplo.
A dalsi neduhy SM jsou, ze v novem hw maj jakysi golden image a prepinani mezi dvouma na hw urovni.. i pro bios, ale pokud CPU nebootuje, tak se to ani neprepne, a hw inventory neaktualizuje, takze v ipmi vidite nejaky seznam hw, ktery neni vas.. mam chut to nekdy roztriskat fakt.
A posledni vec u SM bude - ze za virtualni media si berou zas uplatek, jako kdyby to bylo neco hodnotneho.. zde nemam nazor, protoze tak daleko jsem se s jejich hw ani nedostal :D V starych verzich zas bylo pod licencnim klicem moznost odblokovat bios upgrade.. ale to bylo prolomeno, je to jen nejaky checksum z mac adresy ipmi..
Bud tedy rad ze ti to vubec jede - a pokud nejede, tak otravuj vyrobce nebo distributora. Nedodelany hw je jim treba omlatit o hlavu.. a neakceptovat to jako standard dnesni doby.
-
Ono dneska platí, že čím jednodušší HW, tím lípe. Spousta funkcí navíc se používá jen občas, zatímco v mezičase dělají jen problémy.
-
Jediný způsob jak tohle ipmi používat je zůstat u továrního nastavení impi síťové rozhraní přes DHCP. Kde ipmi funguje na dedikované síťovce, která se k ničemu jinému nepoužívá.
Pustit si ipmi na jiné síťovce může být totiž bezpečnostní riziko, i když si nastavíte silné heslo, nikdy nevíte jaké díry tam nechali.
Jakékoli síťové změny jsou problematické, nemusí zafungovat. A fungovat nemusí ani reset nastavní z biosu (někdy ale může), protože bios v některých případech s ipmi nekomunikuje. Než taková ipmi, je asi lepší žádné, ušetřit si ty nervy a 5000Kč/deska.
-
...
Hele z tohodle bych te trocha vyved, protoze to ze to mas nejak nastaveno, vlastne vubec nic neznamena. Vpodstate se da rict, ze vyhrazeny port mas v situaci, kdy to je vyhrazena karta, ale jakmile je to jen dalsi konektor ... tak dost casto (videl sem, i sem to vyuzil) staci spravny paket, a na ipmi se pripojis i pres port, na kterem bezet nema.
A typicky s tim nic nenadelas, protoze bezici system ten paket nikdy neuvidi, a vyrobce na to prdi.
-
Souhlasím, že ipmi je potencionální bezpečností riziko, zvlášť když je to hodně zabagovaný, špatně dokumentovaný a s nepravidelnými updaty. Proto je asi lepší se tomu vyhnout, zvláště když jsou s tím náklady extra a člověk třeba stráví dva dny než to rozumně nastaví, ale nikdy si nemůže být jistý, že tam nejsou zadními vrátka.
Vypadá, že to má tři síťovky. Jedna je jen pro ipmi, vypadá, že v linuxu nejde použít i když je vidět. Ukazuje to status UNKNOWN. Druhá je gigabitová síťovka, na ní lze při troše štěstí bondnout ta ipmi také (někdy to píše nesmyslnou chybu), takže na ní může být ipmi a nemusí, ale zároveň lze použít jako obyčejná síťovka. A pak je tam třetí a u ní to vypadá, že na ni ipmi nejde nastavit vůbec. Tak to používám směrem do internetu. A tu bondnutou na ipmi propojím s počítačem vedle, který mi bude dělat most na ipmi mezi dvěma počítači.
Tedy vždy propojím dva počítače co jsou vedle sebe jedním ethernet kabelem, abych se na ipmi dostal, ale jen z toho druhého zabezpečeného počítače v páru, aby to útočník neměl tak snadné.
Pokud se chci přihlásit na ipmi, spustím
ssh -L 1098:10.0.0.98:443 root@sparovanyserver.mojedoman.cz
a pak na web ipmi přistupuji pomocí adresy https://localhost:1098 . (aby nebyly zmatky tak to 98 je číslo serveru)
Samozřejmě je tam ještě silné heslo.
Kdybych ale věděl, jaký je s tím trápení a bezpečnostní riziko, tak bych raději volil obyčejnou Asus kartu s podporou ECC ale bez IPMI.
Najednou mi začalo fungovat základní nastavení ipmi z biousu i příkaz impitool v debianu.
Např.
ipmitool lan printVypíše informace o nastavení ipmi sítě.
Problém je ale ten, že kdyby chtěl člověk něco nastavit něco složitějšího, možná se to znovu rozbije a to možná dokonce tak, že už se tam nikdy nedostane.
Je tam třeba i možnost nastavit si firewall. Ale není to moc dokumentované, není jasné které pravidlo má před kterým přednost a jak si např. povolit přístup jen z jedné ip adresy. No a taky může být problém, že ten firewall nemusí fungovat pro všechny otevřené porty, např. pro ping nefungoval. Prostě k ničemu. Jen hrozí že se tam nedostanu já sám a to třeba už nikdy.
-
Pokud se nekam nedostanes, tak na supermicro to skrze ipmitool lze resit nekolika zpusoby (vyuzil jsem vsechny):
- zmenit ipmi login, password a opravneni
- zmenit ipmi ip adresu a prepinat static/dhcp
- nechat ipmi udelat factory reset (delam to u zakoupenych 2nd hand desek)
Podle me i Asus ma factory reset skrze nejaky specialni prikaz.
Jediny co jsem pak nastavoval pres web, bylo zda ma byt RJ45 port jeden z techto rezimu: dedicated / shared / fallback (je to celkem jednoznacny co to dela)
To pouziti sitovek, kdy je druha WAN a prvni/sdilena LAN, je OK. ta sitovka dela takovy bridge (vygoogli si NCSI).
Jednou se me stalo, ze to v nastaveni shared a tudiz v tom jak to mas ty, nejak nechodilo poradne se sw bridge v linuxu, kdyz tam byly i virtualni stroje - nejspis te sitovce s ncsi do toho hrabalo nastaveni linuxu ze ma jet v promiskuitnim rezimu kvuli sw bridge. Tak az bys s tim mel problemy pri nahozeni VM - doporucuji prejit v ipmi na "dedicated" nastaveni a holt ten stroj pripojis kablikem navic do sveho switche.
-
Asi bych ty desky znovu nekoupil. To BMC IPMI je hrozně zabagované. A defaultně je to nastavené na DHCP na prostřední síťovce. Pokud chci pevnou ip adresu, je to hrozný risk, protože nastavování a reste BMC adresy přes BIOS nefunguje, takže když se udělá v nastavování chyba, není to jak resetovat. Ale ani se chyba nemusí udělat, může to přestat fungovat tak nějak samo a reset do továrního nastavení neni z biosu možný.
Utilita impitool z linuxu také nefunguje a nahrání nového BMC firmware z dosu se mi také nedařilo neb z UEFI biosem se nedá nabootovat do DOSu.
Lepší je asi koupit obyčejnou desku od ASUSu, ECC umí ale impi nemá, takže to není další bezpečnotní díra a komplikace navíc.
v asrocku mi vse funguje... pouze jsem v uefi nastaveni v menu pro BMC vypnul bonding a pro IPMI mi od te doby bezi jen jedna sitovka (a linux ji vidi tez), ty dalsi dve funguji jako bezne sitovky
ip adresy jsem nastavil static, je to hned o par radku niz jak jsem vypinal bonding
mam pripojeny vga monitor a ps/2 klavesnici, pres ne vse nastavuji
update bmc i uefi firmwaru jsem delal pres web browser, kterym se pripojuji na ipmi, vse probehlo OK a relativne rychle
od asusu mam P12R-E (ipmi ma) a v tom CM8070804494617 + 4x M391A4G43BB1-CWE a je to dost podobne asrocku, co se tyce ovladani i funcionality... akurat asus markantne o neco rychleji bootuje a asrock se mi zda, ze boot trva asi 2x dele, ale presneji jsem to nemeril (co se tyce hardwaru tak dalsi hardware mam vsude podobny, zhruba stejne mnozstvi disku atd, neni nikde pripojeno nic do usb atd...) - co se tyce rychlosti mam jeste 2 "hracky" s N100 a to ASUS Prime N100i-d D4 a ASROCK N100DC-ITX a i tam je boot asrocku asi 2x pomalejsi, ale neni to nic strasneho - cojavim odhadem tak 5 vterin asus vs 10 vterin asrock... nemeril jsem to presne... fast boot mam u obou vypnuty, aby se dalo dostat snadno do uefi setup menu pres keystroke pri bootu
servery asus vs asrock - u obou booty trvaji odhadem pres 2 minuty (opet jsem to presneji nemeril) ale i tam odhadem asus nabootuje za 2x kratsi cas, nez asrock
-
Pro inspiraci, ale nevím jestli to řeší tvůj problém:
https://forum-en.msi.com/index.php?threads/ram-explained-why-two-modules-are-better-than-four-single-vs-dual-rank-stability-testing.363139/
-
Pro inspiraci, ale nevím jestli to řeší tvůj problém:
https://forum-en.msi.com/index.php?threads/ram-explained-why-two-modules-are-better-than-four-single-vs-dual-rank-stability-testing.363139/
Díky. S podivnými problémy s pamětmi jsem se setkal. Ale později. Myslel jsem, že mám vadnou desku, pak procesor a nakonec to byly náhodné komplikace kvůli pamětem. https://forum.root.cz/index.php?topic=29057.0
Vypadá, že jediný spolehlivý způsob je osazovat jen dva paměťové sloty ze 4.
-
Bezi mi v pohode se 4 ks RAM M324R4GA3BB0-CQK, sel jsem do nich, protoze jsou uvedeny v QVL a jsou ECC.
Ryzen 7800X3D jsem nastavil v UEFI setup menu na ECO mode. Nepotrebuji vykon.
Nedavno byla pridana podpora pro EPYC 4004 series, ale zustanu u Ryzenu... je to jiz i ve specifikaci na https://www.asrockrack.com/general/productdetail.asp?Model=B650D4U#Specifications
"Supports AMD EPYC™ 4004 and AMD Ryzen™ 8000/7000 Series Processors"
V beta zone byl par dnu link ke stazeni, pak zmizel, UEFI FW s podporou EPYC 4004, asi je lepsi pockat na novejsi, ale je aktualne jeste porad dostupny:
https://download.asrock.com/BIOS/Server/B650D4U(10.15)ROM.zip
Jeste me tesi integrovana grafika v Ryzenu - mohu po HDMI kabelu posilat zvuk ze serveru do receiveru a poslouchat pisnicky, ten server je velmi tichy - vetraky jsou ACFAN00154A (ARCTIC P8 PWM PST) a bezi kolem 800-900 RPM, na CPU je NH-L9x65 (Noctua) a PSU je BN333 (be quiet! Dark Power 13 750W 80+ Titanium) a bezi opet na velmi nizke otacky.
-
Jí mám dva identické stroje dva. Jeden funguje v pohodě, ale druhý jen když se osadí dva paměťové sloty ze čtyř.
Když jsou osazeny čtyři sloty paměti, znamená to vždy zpomalení běhu pamětí a je to prostě nějaké riziko záhadných potíží, které se ale neprojeví vždy a i u té problémové sestavy se projevují jen občas a záhadně.
Vypadá to, jako by se ty paměti nějak neměly rády navzájem i když jsou všechny OK a v párech fungují bez problémů.
A jsou výrobcem schváleny pro tu desku. Není to jen problém asrock, ale obecně prostě DDR5.
Osazovat všechny 4 sloty má smysl jen když potřebujete 128 GB paměti, jinak je rozhodně lepší se tomu vyhnout. Je zajímavé, jak těžké je se o zásadních nedostatcích dočíst, protože se prostě o tom moc nepíše. Ty stroje většinou kupují hráči her a ty nemají důvod mít tolik paměti.