Dell iDRAC mgmt - attack vector ze systému přes iDRAC do sítě?

Zdravím, narazil jsem na asi už dost paranoidní obavu z možného útoku z operačního systému běžícího na Dell serveru skrz management board do sítě přes management rozhraní iDRACu.  Bezpečnostní experti v mém okolí se totiž drží pravidla, že každý box má být připojen všemi rozhraními v odpovídajícím bezpečnostním perimetru. Dívají se odmítavě na možnost, že server vystrčený do Internetu bez předřazeného firewallu svými systémovými rozhraními by měl být management rozhraním připojen do administračního segmentu, kam jsou zapojené všechny ostatní management rozhraní z dalších serverů. Snad to píši srozumitelně.

Samozřejmě se nedoporučuje strkat management rozhraní do nezabezpečeného segment, protože to je closed blackbox o jehož bezpečnosti toho ví nejvíce Dell. Tam je to riziko samozřejmé a jasné. A díry v něm již byly a jsou.

Na druhou stranu, pokud to v Dellu blbě navrhli, tak je teoretická možnost prorazit ze systému tím managementem do interní sítě.

Slyšel, četl o tom již někdo někde, že by se něco takového podařilo? Jen ze zvědavosti. Já se budu držet pravidla o tom bezp. perimetru a zapojíme to jak nám nařídí do jiného extra segmentu. :-)


Re:Dell iDRAC mgmt - attack vector ze systému přes iDRAC do sítě?
« Odpověď #1 kdy: 19. 11. 2021, 17:11:30 »
zásada je jednoduchá, iDRAC vždy izolovat a nikdy nepovolit komunikací vice iDRACů mezi sebou a ani iDRAC a cokoliv jiného. Útočníkovi by pak stačil přístup do jednoho a kaskádou se může dostat všude.

Těch nebezpečných CVE je celá řada, namátkou https://www.dell.com/support/kbdoc/cs-cz/000177335/dsa-2020-128-idrac-local-file-inclusion-vulnerability

Re:Dell iDRAC mgmt - attack vector ze systému přes iDRAC do sítě?
« Odpověď #2 kdy: 21. 11. 2021, 12:52:04 »
Tak nikdo nic?  Zatím se asi takový útok nepodařil. Možná ani není možný, ale pravidla kolem těch bezp. perimetrů jsou holt daná. Budeme se chovat k mgmt. rozhraní jakoby z něj mohl být veden útok do sítě...

Re:Dell iDRAC mgmt - attack vector ze systému přes iDRAC do sítě?
« Odpověď #3 kdy: 21. 11. 2021, 13:43:55 »
Doporučuji k přečtení třeba popis chyby IDRACula, která umožňuje ovládnout management a nahrát vlastní software. Útočník pak má možnost server ovládat, má přístup ke konzoli,  může do běžícího systému připojit vlastní disk s libovolnými soubory a podobně.

Přes napadení managementu se tedy dá napadnout systém a tím dostat do sítě. Je rozhodně rozumné ho tedy chránit, protože to je blackbox, často děravý.

Re:Dell iDRAC mgmt - attack vector ze systému přes iDRAC do sítě?
« Odpověď #4 kdy: 21. 11. 2021, 19:29:00 »
Citace
iDRAC vždy izolovat
Tohle zni na prvni pohled smysluplne, na druhy ale narazite na realizovatelnost takoveho napadu.

Jak na to?
VLAN per DRAC?
Private VLAN, pripadne kaskada Private VLAN, pokud je management sit slozena z vice switchu?
Nejake dalsi napady?


_Jenda

  • *****
  • 905
    • Zobrazit profil
    • https://jenda.hrach.eu/
    • E-mail
Re:Dell iDRAC mgmt - attack vector ze systému přes iDRAC do sítě?
« Odpověď #5 kdy: 21. 11. 2021, 23:30:29 »
management rozhraním připojen do administračního segmentu, kam jsou zapojené všechny ostatní management rozhraní z dalších serverů.
Ty jo, to je dobrý postřeh, to by mě možná nenapadlo.

Ale dá se to snadno vyřešit, stačí koupit chytrý switch, který umí zakázat komunikaci mezi „klientskými“ porty (lowcost varianta by byl switch s VLANy, dát každý server do vlastní a mezi VLANy softwarově routovat - s patřičně nastaveným firewallem).

Jak na to?
VLAN per DRAC?
Ano, tak bych to dělal (ale vymyslel jsem si to teď po přečtení dotazu), měl by v tom být nějaký problém?

Re:Dell iDRAC mgmt - attack vector ze systému přes iDRAC do sítě?
« Odpověď #6 kdy: 21. 11. 2021, 23:39:08 »
Jak jsem uváděl v dotazu - zajímají mě jenom možnosti útoku:

  síť -> OS -> iDRAC -> mgmt. -> vnitřní síť organizace

že je děravý samotný iDRAC je bez pochyb, protože je to naprogramováno mám pocit čím dál tím dementnějším způsobem, ale to je v tuhle chvíli vedlejší...

To že lze v rámci VLANy izolovat jednotlivé porty je prý na Cisco switchích možné. Je na to potřeba nějaké speciální nastavení a pak se zařízení v dané VLANě mezi sebou nevidí. Nicméně to asi na bezpečností experty neudělá dojem. Firewall je sice dtto, protože je to krabice s rozhraními strčenými do různých bezpečnostních perimetrů, ale asi má v jejich očích nějaký jiný statut. Ačkoliv při použití zdravého selského rozumu... :-)

RDa

  • *****
  • 1 555
    • Zobrazit profil
    • E-mail
Re:Dell iDRAC mgmt - attack vector ze systému přes iDRAC do sítě?
« Odpověď #7 kdy: 21. 11. 2021, 23:53:03 »
Je nutno mit konkurentni pristup na vsechni iDRAC hosty? Nestacila by spis infrastruktura s default izolaci (anonymni neroutovana vlan), a az v pripade nutnosti pristupu na konkretni host by se fabric prekonfiguroval na zivou vlan?

Re:Dell iDRAC mgmt - attack vector ze systému přes iDRAC do sítě?
« Odpověď #8 kdy: 22. 11. 2021, 13:33:38 »
Co jsem hodil do googlu, tak asi by bylo vhodné prozkoumat možnosti Private VLAN u Cisca.

Ale myslím, že téma asi můžeme považovat za ukončené. To prolomení do BMC/iDRACu nikoliv přes jeho síťový port, ale přes systém lokálně (přes rozhraní IPMI například), tady zatím nikdo nezmínil. Myslel jsem, že jako lze konfigurovat BMC třeba pomocí bmc-config, tak jestli ho nelze i nějak ovládnout a spustit na něm útočný kód, schopný pak komunikovat po jeho mgmt portu dál do vnitřní sítě...

A ano, obranou proti něčemu takovému, by bylo izolování portů iDRAC/BMC mezi sebou asi možná právě přes to Private VLAN a dále pak zafiltrováním, aby ta rozhraní nemohla jen tak komunikovat nikam do vnitřní sítě organizace dál. Kdyby na tohle někde ležela kuchařka, tak by to bylo skvělé.

Že se najdou blázni co si iDRAC píchnou na veřejnou adresu přístupnou z Internetu jsem měl v úmyslu ponechat úplně stranou téhle diskuze. ;-)

Re:Dell iDRAC mgmt - attack vector ze systému přes iDRAC do sítě?
« Odpověď #9 kdy: 22. 11. 2021, 13:40:13 »
Nemame iDRAC, ale treba u starsiho Supermicro serveru si clovek mohl upravit firmware BMC a z OS ho v klidu naflashovat. Je tam tusim nejaky malinky linux.

Re:Dell iDRAC mgmt - attack vector ze systému přes iDRAC do sítě?
« Odpověď #10 kdy: 22. 11. 2021, 14:28:31 »
Aha!
No tak z toho ale vyplývá, že obecný BMC lze plně ovládnout z OS serveru. Tedy jakmile je serverový OS napadnutelný - tedy vystavený na nějaké bezp. perimetru, tak to znamená, že rozhraní jeho BMC by měl být na stejném perimetru, protože je potenciálně též v rukou útočníka. Jako tohle jsem si dříve moc nepřipouštěl a koukal jsem na bezpečáky jako na paranoiky. Ale oni mají asi pravdu...  :-)
Je nutné tedy řešit maximální omezení konektivity BMC rozhraní. Tedy povolit připojení na něj, ale nedovolit spojení z něj...
Díky

Re:Dell iDRAC mgmt - attack vector ze systému přes iDRAC do sítě?
« Odpověď #11 kdy: 22. 11. 2021, 15:48:41 »
Nemame iDRAC, ale treba u starsiho Supermicro serveru si clovek mohl upravit firmware BMC a z OS ho v klidu naflashovat. Je tam tusim nejaky malinky linux.

Tohle slo i u HP ILO z OS na zeleze minimalne do G7, pak jsem to jiz nemel potrebu pouzit, tak nevim.

Re:Dell iDRAC mgmt - attack vector ze systému přes iDRAC do sítě?
« Odpověď #12 kdy: 22. 11. 2021, 15:54:53 »
Aha!
No tak z toho ale vyplývá, že obecný BMC lze plně ovládnout z OS serveru. Tedy jakmile je serverový OS napadnutelný - tedy vystavený na nějaké bezp. perimetru, tak to znamená, že rozhraní jeho BMC by měl být na stejném perimetru, protože je potenciálně též v rukou útočníka. Jako tohle jsem si dříve moc nepřipouštěl a koukal jsem na bezpečáky jako na paranoiky. Ale oni mají asi pravdu...  :-)
Je nutné tedy řešit maximální omezení konektivity BMC rozhraní. Tedy povolit připojení na něj, ale nedovolit spojení z něj...
Díky

Nelze zcela zakazat spojeni z BMC rozhrani. Kde vezmete pak ntp, dns, aaaa, monitoring, update atd.?

Umisteni BMC do stejneho bezpecnostniho perimetru (napr. vlan) jako OS toho HW povazuji taky za blbost. To, ze napr. ma uzivatel pristup k OS HW (napr. nainstalovany hypervizor) jeste neznamena, ze ma mit pristup i k BMC.

Re:Dell iDRAC mgmt - attack vector ze systému přes iDRAC do sítě?
« Odpověď #13 kdy: 22. 11. 2021, 17:13:38 »
  síť -> OS -> iDRAC -> mgmt. -> vnitřní síť organizace

ten krok OS -> iDRAC urcite nejak pujde, ale detaily zna jen DELL a ten je nesiri dal. kdo dalsi si dal praci s reverznim inzenyringem je otazka.

Re:Dell iDRAC mgmt - attack vector ze systému přes iDRAC do sítě?
« Odpověď #14 kdy: 22. 11. 2021, 18:54:15 »
Tak v první řadě pro iDRAC je prakticky vždy dedikovaný síťový interface, který jinak nelze nijak využít. Nijak. V OS ho neuvidíte a nijak ho tam nedostanete. To, myslím si, dostatečně zajišťuje oddělení vrstvy OS od vrstvy iDRAC.
Jediný způsob, jak zařídit komunikaci mezi iDRAC a OS, je Dell ISM (Idrac Service Module). Komunikace se řeší přes virtuální dvojici síťových interface na Link-Local adresách, a je pro ni třeba mít aktivní příslušné nastavení v iDRAC, a v OS nainstalovanou službu ISM, která si nahodí virtuální rozhraní pro komunikaci.

Ale i v případě instalace/existence ISM nemáte žádný přístup k management interface iDRAC. Dell designoval iDRAC jako zcela izolovaný nástroj pro low-level management serveru (dnes tam můžete dělat úplně totéž co v BIOSu, ve správě řadiče RAID, ve správě síťovek apod.), a ve výchozím stavu nelze nijak z OS k iDRAC přistoupit.
Samozřejmě může existovat vektor útoku na samotný iDRAC, na jeho FW, ale nemyslím si, že by takový existoval přímo z OS.

Vzhledem k tomu, že iDRAC umožňuje nastavit pevně daný set IP adres, ze kterých můžete na management interface přistupovat, tak je možno velmi přesně nastavit pravidla pro přístup zvenčí.
Dále se předpokládá, že management síť s iDRAC je izolovaná od všeho ostatního, a vstup do ní se realizuje přes firewall, a přes nějaký AAA mechanismus (např.: RADIUS).
Veškerý odchozí provoz, zdrojovaný z IP iDRACu, je zakázán, povolen jsou pouze směry SMTP server (notifikace) a interní mirror updatů pro daný typ/model serveru. NTP, DNS a další podobné služby jsou pro management interface zbytné, a jsou tedy jednak zakázány, a druhak blokovány.
Dále autentizace k iDRAC umožňuje používat adresářové nebo LDAP služby, takže můžete mít přístup do iDRAC svázaný s vaším AD/LDAP atd.

Za velké zlo považujeme nástroj OpenManage Server Administrator pro Windows, který se instaluje do OS, a má (po autentizaci a autorizaci uživatele) přímý přístup ke konfiguraci serveru (byť omezený oproti iDRAC). To už "smrdí", pryč s tím, nedává to zvlášť v případě Enterprise licence k iDRAC vůbec žádný smysl. Ale u některých "pre-install" Windows na Dell serverech je bohužel tato věc už rovnou nainstalovaná.

Pokud mám hovořit sám za svoji praxi, tak iDRAC zrovna není to, co bychom považovali za potenciální vektor útoku. Je třeba si uvědomit,, že iDRAC slouží v naprosté většině ke konfiguraci serveru na začátku jeho životního cyklu, poté k pravidelným updatům firmware, a pro disaster recovery účely v případě, že selže OS serveru a není jisté, co se děje. Každopádně to není určitě věc, ke které by se měl někdo připojovat obden, nebo pravidelně, a pokud se obejdete bez notifikací z iDRAC, je možné v ultra paranoidním řešení i mít trvale shozený port, do kterého je iDRAC připojený, protože na chod serveru to nemá žádný vliv. Takový přístup jsem zažil v praxy, a upřímně řečeno, to už mi přijde poněkud přehnané, hodně z kategorie "security by obscurity".

Za mě se určitě iDRACu nebojte, jeho výhody, přednosti a možnosti značně převyšují možná rizika.