ZFS na controlleru s HW RAID a s jedním diskem v logickém poli

[DanProkop]

Ahoj,
chci použít ZFS na Proxmoxu a můj HW je HP Proliant DL380 G8 se SmartArray P420i. Je mi jasné, že ZFS potřebuje vidět samostatné disky. Controller je ochoten vytvořit logický RAID1, který obsahuje pouze jeden disk.

Tedy chci ZFS prezentovat několik těchto jednodiskových falešných "RAID 1".

Můj dotaz zní, zda bude toto dostatečné pro správnou funkci ZFS nebo je stále nebezpečí, že controller v non-HBA bude ZFS něco zatajovat?

Chtěl bych totiž zachovat možnost HW raidu pro jiný svazek s jiným FS.

díky
Dan

[Reklama]

[redustin]

G8 nemám, ale v G5 i G7 lze do backplane připojit jiný řadič a normálně fungují. V G7 mi dokonce blikaly status ledky z normálního LSI řadiče.

Backplane má dva kabely SFF-8087. Když jeden strčíš třeba do LSI 9210/9211-8i za pár stovek s IT firmwarem, určitě to pojede (provozuji je takto v několika serverech, zcela stabilní). Takže můžeš na 4 discích provozovat HP SmartArray, a na dalších 4 ZFS přes HBA.

[ja.]

P420i sa da prepnut do hba modu. Treba na to relativne aktualny firmware a utilitku "ssacli" bud z hp service packu, alebo z hp repa. Samozrejme, ked sa robi toto nastavenie, tak nic z pola nemoze byt mountnute.

Zmena sa robi:

Kód: [Vybrat]

ssacli controller slot=0 modify hbamode=on

Zobrazit, v akom mode je radic:

Kód: [Vybrat]

ssacli controller slot=0 show

Zmena je permanentna, pokial ju nezmenite naspat s hbamode=off

[ja.]

A este jeden detail: zo smartarray v hba mode sa neda bootovat. Treba sdkartu a na nu dat /boot.

[DanProkop]

To máš pravdu, tohle by samozřejmě šlo. Pokud si dostatečně nepotvrdím, že je to bez problému, tak to HBA nastavím tak jako tak i na tom jednom řadiči.

Chápu, že tohle je asi dost v teoretické rovině, nicméně, pokud v tom není rozdíl, nechci podlehnout paušálnímu doporučení "nepoužívejte to nad RAID", když v tomhle případě už z toho raidu moc nezbylo..

Když ZFS dokáže fungovat na levnějších deskách s JBOD, říkal jsem si, zda "RAID1" o jednom disku nebude vystupovat stejně. Tedy, zda řadič s 1 diskem/pole komunikuje/nekomunikuje jiným způsobem, než v HBA.

Pokud se podívám např. do výpisu smartctl, tak při tomto nastavení vidí všechny disky samostatně bez problému. Jaké další údaje by se k tomu ZFS nemusely dostat?

[Reklama]

[ja.]

V podstate rozdiel je iba v troch veciach:

1) v hba rezime su dostupne smart data pre jednotlive disky,
2) v raid rezime su na disky ukladane metadata o konfiguracii pola, takze sa nedaju preniest do ineho pocitaca (bez rovnakeho smartarray) a pole tam mountnut,
3) v hba rezime sa neda bootovat, ako som spomenul vyssie.

[redustin]

Předpokládám, že nelze půlku disků na řadiči jako HBA a druhou půlku držet pod jeho raidem.

[czechsys]

Ne, nelze mixovat HBA a RAID mod. To umi az nektere moderni radice.

A ja bych dodal...
P4xx ma v HBA modu horsi vykon. Pokud mate backplane s vice jak 8 sloty, tak na dva ruzne typy radicu zapomente.

[redustin]

Pokud mate backplane s vice jak 8 sloty, tak na dva ruzne typy radicu zapomente.

Proč? Viděl jsem backplane s počtem nedělitelným 4, měla 2 x SFF8něco se 4 linkami a pak několik samostatných linek. Proč by to nešlo zavést do více řadičů? Nevím, jen mě to zajímá. Díky.

[PCnity]

Sam pouzivam DL380p Gen8 s p420i v HBA rezime... Pozor, TRIM neprelezie, ale na HDD s BTRFS ci ZFS je to dobre riesenie.

Idealne je potom bootovat zo zadnych sff slotov... Ak to najdete na eBayi, poslite mi link.
http://ccnytech.com/wp-content/uploads/2017/03/hp-dl380-gen-9-Back.png

[PCnity]

Na bootovanie optimalne, ale zbytocne vyhodene $$ na Gen8... https://www.ebay.at/itm/HP-Rear-HDD-Cage-2x-LFF-ProLiant-DL380e-Gen8-684899-001-663278-B21/392106462608?ssPageName=STRK%3AMEBIDX%3AIT&_trksid=p2060353.m1438.l2649&autorefresh=true

[redustin]

Pořád mi nejlevnější řešení přijde kabel za 110Kč https://www.ebay.com/itm/1M-Mini-SAS-SFF-8087-36-Pin-to-Mini-SAS-SFF-8087-36-Pin-Server-Raid-Cable/274091340288 (je delší, než ten původní kabel HP, který nevystačí dozadu k portům), strčit do 9211-8i za 700 Kč https://www.ebay.com/itm/LSI-6Gbps-SAS-HBA-Fujitsu-D2607-A21-FW-P20-9211-8i-IT-Mode-ZFS-FreeNAS-unRAID/143299825144 (přesně těchhle mám v provozu několik) a otestovat split 4 disky na HP do HW raidu a 4disky na HBA LSI. Jsem přesvědčený, že to bude fungovat

[czechsys]

Pokud mate backplane s vice jak 8 sloty, tak na dva ruzne typy radicu zapomente.

Proč? Viděl jsem backplane s počtem nedělitelným 4, měla 2 x SFF8něco se 4 linkami a pak několik samostatných linek. Proč by to nešlo zavést do více řadičů? Nevím, jen mě to zajímá. Díky.

Zapomel jsem uvest, ze se to tyka 12/14 LFF a hadam i 25sff. Na nasi 12LFF je backplane s expanderem, takze oba SFF porty vidi vsechny disky a s tim si system neporadil...

[redustin]

Tak s expanderem je to samozřejmé, taková varianta mě vůbec nenapadla. Vždy hledám backplate, která expander nemá. Proč si snižovat výkon, když řadiče a kabely stojí pár šupů.

[DanProkop]

Ahoj,
díky všem za alternativní nápady, jen doplním, že mám přesně ten velký backplane s 12 LFF a chci to využít tak, jak to je.

Vrátím se ke svému původnímu dotazu a vysledku bádání. Controller je teď už v HBA, Proxmox mi bootuje z SDCARD do ZFS na HDD (takže SDCARD se nepřepisuje logy proxmoxu), takže pokud by to někdo hledal, řešení pro HP 420i...

-- odpověď na původní dotaz
"RAID0" se single diskem použít jde, bude to na začátku fungovat, bude to bootovat. Takže zbývalo zjistit, kde je háček.

- není v komunikaci SMART - smartctl v pohodě v raid režimu vidí jednotlivé disky
- možná na první pohled není ani v cache controlleru, i když TO JE důvod, proč ne, ZFS chce svoji cache

- zásadní problém JE ovšem v případě výpadku disku: jelikož se jedná o logický disk raidu, tak v momentě výpadku jednoho (jediného) disku je pole ztraceno. Po nahradě novým diskem už není disk viditelný pod původnim /dev/sdX a nové pole se sestaví až po rebootu a po potvrzení hlášek biosu, že akceptujeme ztrátu dat. Tzn. hlavní problém je v tom, že ztrácíme hot swap vinou logiky nad RAIDem a bez restartu se nový disk do ZFS jentak nevrátí...

Shrnu-li to: nad RAIDem se to v pohodě nainstaluje a pokud člověk oželí hot-swap, šlo by to se ZFS i provozovat. Po rozpadu pole se musi restartovat a jednat manuálně. Na homelab OK, do produkce HBA.