Server ASRock B650D4U s AM5 nebootuje

ByCzech

  • *****
  • 1 861
    • Zobrazit profil
    • E-mail
Re:Server ASRock B650D4U s AM5 nebootuje
« Odpověď #30 kdy: 04. 03. 2024, 03:40:21 »
Nevíte někdo k čemu to má ty dva konektory pro napájení procesoru?  Když zapojím oba dva tak to nestartuje. Viz přiložený obrázek.

Pro procesory, které potřebují víc než 300W (doufám, že si tu hodnotu pamatuju správně, když jsem o tom četl).


RDa

  • *****
  • 2 740
    • Zobrazit profil
    • E-mail
Re:Server ASRock B650D4U s AM5 nebootuje
« Odpověď #31 kdy: 04. 03. 2024, 10:41:31 »
Nevíte někdo k čemu to má ty dva konektory pro napájení procesoru?  Když zapojím oba dva tak to nestartuje. Viz přiložený obrázek.

Pro procesory, které potřebují víc než 300W (doufám, že si tu hodnotu pamatuju správně, když jsem o tom četl).

On ten limit je slozitejsi - zalezi taky jaky drat pouzije vyrobce zdroje. Obecne se muzeme bavit o necem od 4A po 7A, coz dava 12V * 16A az *28A ... 192W az 336W. Z pohledu konektoru je mene lepe.

V kombinaci s hlavnim 24pin konektorem, je tento vykon dostacujici na bezne procesory i single socket servery - napr. u H12SSL-i kterou mam jsou taky dva 8-pin, ale na ruznem konci desky - pry staci zapojit jeden a to ktery se pouzije je spis otazkou jaky dlouhy kabel vam trci ze zdroje.

Samozrejme pri osazeni hromadou PCIe karet, by se melo zapojit oboji.

EPS12V standard definuje 4+4+4pin nebo zkombinovane 8+4 pin - a to jsem i videl v praxi. Ze na desce je 8+8 pin je mozna taky otazkou toho, ze pak maj jen jeden druh komponenty a bude levnejsi. Navic ten 4pin ze zdroje do 8pin na desce lze zastrcit - je to kompatibilni.

Re:Server ASRock B650D4U s AM5 nebootuje
« Odpověď #32 kdy: 06. 03. 2024, 13:39:34 »
Asi bych ty desky znovu nekoupil. To BMC IPMI je hrozně zabagované. A defaultně je to nastavené na DHCP na prostřední síťovce.  Pokud chci pevnou ip adresu, je to hrozný risk, protože nastavování a reste BMC adresy přes BIOS nefunguje, takže když se udělá v nastavování chyba, není to jak resetovat. Ale ani se chyba nemusí udělat, může to přestat fungovat tak nějak samo a reset do továrního nastavení neni z biosu možný.
Utilita impitool z linuxu také nefunguje a nahrání nového BMC firmware z dosu se mi také nedařilo neb z UEFI biosem se nedá nabootovat do DOSu.

Lepší je asi koupit obyčejnou desku od ASUSu, ECC umí ale impi nemá, takže to není další bezpečnotní díra a komplikace navíc.

RDa

  • *****
  • 2 740
    • Zobrazit profil
    • E-mail
Re:Server ASRock B650D4U s AM5 nebootuje
« Odpověď #33 kdy: 06. 03. 2024, 14:11:36 »
Tak ono to muze byt specifikum ASUS / ASrock, bud rad ze tam mas IPMI - na jedne desce od nich je veskery hw, krome firmware flash cipu, ktery prodavaj jako placene prislusenstvi, tvl.

Supermicro ma oproti tomuto lepsi IPMI, resp melo na starych deskach. Pak to nejakou dobu zpet cele taky podelali - zacali zavadet secure boot do ipmi, a FW upgrade mi odkrouhl cele ipmi, protoze nemaji postup jak upgradnout verzi 2 na verzi 4 a celkove tam maji verzovane zavislosti kde neni jasne jaky intermediate fw ten nevratny proces zbridguje aby to nechciplo.

A dalsi neduhy SM jsou, ze v novem hw maj jakysi golden image a prepinani mezi dvouma na hw urovni.. i pro bios, ale pokud CPU nebootuje, tak se to ani neprepne, a hw inventory neaktualizuje, takze v ipmi vidite nejaky seznam hw, ktery neni vas.. mam chut to nekdy roztriskat fakt.

A posledni vec u SM bude - ze za virtualni media si berou zas uplatek, jako kdyby to bylo neco hodnotneho.. zde nemam nazor, protoze tak daleko jsem se s jejich hw ani nedostal :D V starych verzich zas bylo pod licencnim klicem moznost odblokovat bios upgrade.. ale to bylo prolomeno, je to jen nejaky checksum z mac adresy ipmi..

Bud tedy rad ze ti to vubec jede - a pokud nejede, tak otravuj vyrobce nebo distributora. Nedodelany hw je jim treba omlatit o hlavu.. a neakceptovat to jako standard dnesni doby.

Re:Server ASRock B650D4U s AM5 nebootuje
« Odpověď #34 kdy: 06. 03. 2024, 14:57:50 »
Ono dneska platí, že čím jednodušší HW, tím lípe. Spousta funkcí navíc se používá jen občas, zatímco v mezičase dělají jen problémy.



Re:Server ASRock B650D4U s AM5 nebootuje
« Odpověď #35 kdy: 06. 03. 2024, 15:33:44 »
Jediný způsob jak tohle ipmi používat je zůstat u továrního nastavení impi síťové rozhraní přes DHCP. Kde ipmi funguje na dedikované síťovce, která se k ničemu jinému nepoužívá.

Pustit si ipmi na jiné síťovce může být totiž bezpečnostní riziko, i když si nastavíte silné heslo, nikdy nevíte jaké díry tam nechali.

Jakékoli síťové změny jsou problematické, nemusí zafungovat. A fungovat nemusí ani reset nastavní z biosu (někdy ale může), protože bios v některých případech s ipmi nekomunikuje.  Než taková ipmi, je asi lepší žádné, ušetřit si ty nervy a 5000Kč/deska.

jjrsk

  • *****
  • 546
    • Zobrazit profil
Re:Server ASRock B650D4U s AM5 nebootuje
« Odpověď #36 kdy: 06. 03. 2024, 17:36:35 »
...
Hele z tohodle bych te trocha vyved, protoze to ze to mas nejak nastaveno, vlastne vubec nic neznamena. Vpodstate se da rict, ze vyhrazeny port mas v situaci, kdy to je vyhrazena karta, ale jakmile je to jen dalsi konektor ... tak dost casto (videl sem, i sem to vyuzil) staci spravny paket, a na ipmi se pripojis i pres port, na kterem bezet nema.

A typicky s tim nic nenadelas, protoze bezici system ten paket nikdy neuvidi, a vyrobce na to prdi.

Re:Server ASRock B650D4U s AM5 nebootuje
« Odpověď #37 kdy: 06. 03. 2024, 18:52:22 »
Souhlasím, že ipmi je potencionální bezpečností riziko, zvlášť když je to hodně zabagovaný, špatně dokumentovaný a s nepravidelnými updaty. Proto je asi lepší se tomu vyhnout, zvláště když jsou s tím náklady extra a člověk třeba stráví dva dny než to rozumně nastaví, ale nikdy si nemůže být jistý, že tam nejsou  zadními vrátka.

Vypadá, že to má tři síťovky. Jedna je jen pro ipmi, vypadá, že v linuxu nejde použít i když je vidět. Ukazuje to status UNKNOWN.  Druhá je gigabitová síťovka, na ní lze při troše štěstí bondnout ta ipmi také (někdy to píše nesmyslnou chybu), takže na ní může být ipmi a nemusí, ale zároveň lze použít jako obyčejná síťovka. A pak je tam třetí a u ní to vypadá, že na ni ipmi nejde nastavit vůbec. Tak to používám směrem do internetu. A tu bondnutou na ipmi propojím s počítačem vedle, který mi bude dělat most na ipmi mezi dvěma počítači.

Tedy vždy propojím dva počítače co jsou vedle sebe jedním ethernet kabelem, abych se na ipmi dostal, ale jen z toho druhého zabezpečeného počítače v páru, aby to útočník neměl tak snadné.

Pokud se chci přihlásit na ipmi, spustím
Kód: [Vybrat]
ssh -L  1098:10.0.0.98:443  root@sparovanyserver.mojedoman.cz
a pak na web ipmi přistupuji pomocí adresy  https://localhost:1098  . (aby nebyly zmatky tak to 98 je číslo serveru)

Samozřejmě je tam ještě silné heslo.

Kdybych ale věděl, jaký je s tím trápení a bezpečnostní riziko, tak bych raději volil obyčejnou Asus kartu s podporou ECC ale bez IPMI.

Najednou mi začalo fungovat základní nastavení ipmi z biousu i příkaz impitool v debianu.

Např.

Kód: [Vybrat]
ipmitool lan printVypíše informace o nastavení ipmi sítě.


Problém je ale ten, že kdyby chtěl člověk něco nastavit něco složitějšího, možná se to znovu rozbije a to možná dokonce tak, že už se tam nikdy nedostane.

Je tam třeba i možnost nastavit si firewall. Ale není to moc dokumentované, není jasné které pravidlo má před kterým přednost a jak si např. povolit přístup jen z jedné ip adresy. No a taky může být problém, že ten firewall nemusí fungovat pro všechny otevřené porty, např. pro ping nefungoval.  Prostě k ničemu. Jen hrozí že se tam nedostanu já sám a to třeba už nikdy.

RDa

  • *****
  • 2 740
    • Zobrazit profil
    • E-mail
Re:Server ASRock B650D4U s AM5 nebootuje
« Odpověď #38 kdy: 06. 03. 2024, 19:39:30 »
Pokud se nekam nedostanes, tak na supermicro to skrze ipmitool lze resit nekolika zpusoby (vyuzil jsem vsechny):
- zmenit ipmi login, password a opravneni
- zmenit ipmi ip adresu a prepinat static/dhcp
- nechat ipmi udelat factory reset (delam to u zakoupenych 2nd hand desek)

Podle me i Asus ma factory reset skrze nejaky specialni prikaz.

Jediny co jsem pak nastavoval pres web, bylo zda ma byt RJ45 port jeden z techto rezimu: dedicated / shared / fallback (je to celkem jednoznacny co to dela)

To pouziti sitovek, kdy je druha WAN a prvni/sdilena LAN, je OK. ta sitovka dela takovy bridge (vygoogli si NCSI).

Jednou se me stalo, ze to v nastaveni shared a tudiz v tom jak to mas ty, nejak nechodilo poradne se sw bridge v linuxu, kdyz tam byly i virtualni stroje - nejspis te sitovce s ncsi do toho hrabalo nastaveni linuxu ze ma jet v promiskuitnim rezimu kvuli sw bridge. Tak az bys s tim mel problemy pri nahozeni VM - doporucuji prejit v ipmi na "dedicated" nastaveni a holt ten stroj pripojis kablikem navic do sveho switche.

rqt

  • *
  • 8
  • hv dev
    • Zobrazit profil
Re:Server ASRock B650D4U s AM5 nebootuje
« Odpověď #39 kdy: 09. 03. 2024, 04:29:27 »
Asi bych ty desky znovu nekoupil. To BMC IPMI je hrozně zabagované. A defaultně je to nastavené na DHCP na prostřední síťovce.  Pokud chci pevnou ip adresu, je to hrozný risk, protože nastavování a reste BMC adresy přes BIOS nefunguje, takže když se udělá v nastavování chyba, není to jak resetovat. Ale ani se chyba nemusí udělat, může to přestat fungovat tak nějak samo a reset do továrního nastavení neni z biosu možný.
Utilita impitool z linuxu také nefunguje a nahrání nového BMC firmware z dosu se mi také nedařilo neb z UEFI biosem se nedá nabootovat do DOSu.

Lepší je asi koupit obyčejnou desku od ASUSu, ECC umí ale impi nemá, takže to není další bezpečnotní díra a komplikace navíc.
v asrocku mi vse funguje... pouze jsem v uefi nastaveni v menu pro BMC vypnul bonding a pro IPMI mi od te doby bezi jen jedna sitovka (a linux ji vidi tez), ty dalsi dve funguji jako bezne sitovky
ip adresy jsem nastavil static, je to hned o par radku niz jak jsem vypinal bonding
mam pripojeny vga monitor a ps/2 klavesnici, pres ne vse nastavuji
update bmc i uefi firmwaru jsem delal pres web browser, kterym se pripojuji na ipmi, vse probehlo OK a relativne rychle
od asusu mam P12R-E (ipmi ma) a v tom CM8070804494617 + 4x M391A4G43BB1-CWE a je to dost podobne asrocku, co se tyce ovladani i funcionality... akurat asus markantne o neco rychleji bootuje a asrock se mi zda, ze boot trva asi 2x dele, ale presneji jsem to nemeril (co se tyce hardwaru tak dalsi hardware mam vsude podobny, zhruba stejne mnozstvi disku atd, neni nikde pripojeno nic do usb atd...) - co se tyce rychlosti mam jeste 2 "hracky" s N100 a to ASUS Prime N100i-d D4 a ASROCK N100DC-ITX a i tam je boot asrocku asi 2x pomalejsi, ale neni to nic strasneho - cojavim odhadem tak 5 vterin asus vs 10 vterin asrock...  nemeril jsem to presne... fast boot mam u obou vypnuty, aby se dalo dostat snadno do uefi setup menu pres keystroke pri bootu
servery asus vs asrock - u obou booty trvaji odhadem pres 2 minuty (opet jsem to presneji nemeril) ale i tam odhadem asus nabootuje za 2x kratsi cas, nez asrock
« Poslední změna: 09. 03. 2024, 04:31:04 od rqt »


Re:Server ASRock B650D4U s AM5 nebootuje
« Odpověď #41 kdy: 24. 05. 2024, 14:08:54 »
Pro inspiraci, ale nevím jestli to řeší tvůj problém:
https://forum-en.msi.com/index.php?threads/ram-explained-why-two-modules-are-better-than-four-single-vs-dual-rank-stability-testing.363139/

Díky. S podivnými problémy s pamětmi jsem se setkal. Ale později.  Myslel jsem, že mám vadnou desku, pak procesor a nakonec to byly náhodné komplikace kvůli pamětem. https://forum.root.cz/index.php?topic=29057.0

Vypadá, že jediný spolehlivý způsob je osazovat jen dva paměťové sloty ze 4.

rqt

  • *
  • 8
  • hv dev
    • Zobrazit profil
Re:Server ASRock B650D4U s AM5 nebootuje
« Odpověď #42 kdy: 25. 05. 2024, 08:16:51 »
Bezi mi v pohode se 4 ks RAM M324R4GA3BB0-CQK, sel jsem do nich, protoze jsou uvedeny v QVL a jsou ECC.
Ryzen 7800X3D jsem nastavil v UEFI setup menu na ECO mode. Nepotrebuji vykon.
Nedavno byla pridana podpora pro EPYC 4004 series, ale zustanu u Ryzenu... je to jiz i ve specifikaci na https://www.asrockrack.com/general/productdetail.asp?Model=B650D4U#Specifications
"Supports AMD EPYC™ 4004 and AMD Ryzen™ 8000/7000 Series Processors"
V beta zone byl par dnu link ke stazeni, pak zmizel, UEFI FW s podporou EPYC 4004, asi je lepsi pockat na novejsi, ale je aktualne jeste porad dostupny:
https://download.asrock.com/BIOS/Server/B650D4U(10.15)ROM.zip
Jeste me tesi integrovana grafika v Ryzenu - mohu po HDMI kabelu posilat zvuk ze serveru do receiveru a poslouchat pisnicky, ten server je velmi tichy - vetraky jsou ACFAN00154A (ARCTIC P8 PWM PST) a bezi kolem 800-900 RPM, na CPU je NH-L9x65 (Noctua) a PSU je BN333 (be quiet! Dark Power 13 750W 80+ Titanium) a bezi opet na velmi nizke otacky.

Re:Server ASRock B650D4U s AM5 nebootuje
« Odpověď #43 kdy: 25. 05. 2024, 09:07:05 »
Jí mám dva identické stroje dva. Jeden funguje v pohodě, ale druhý jen když se osadí dva paměťové sloty ze čtyř.
Když jsou osazeny čtyři sloty paměti, znamená to vždy zpomalení běhu pamětí a je to prostě nějaké riziko záhadných potíží, které se ale neprojeví vždy a i u té problémové sestavy se projevují jen občas a záhadně.
Vypadá to, jako by se ty paměti nějak neměly rády navzájem i když jsou všechny OK a v párech fungují bez problémů.
A jsou výrobcem schváleny pro tu desku. Není to jen problém asrock, ale obecně prostě DDR5.

Osazovat všechny 4 sloty má smysl jen když potřebujete 128 GB paměti, jinak je rozhodně lepší se tomu vyhnout.  Je zajímavé, jak těžké je se o zásadních nedostatcích dočíst, protože se prostě o tom moc nepíše.  Ty stroje většinou kupují hráči her a ty nemají důvod mít tolik paměti.