RAID 0 vs JBOD vs IT mode

[pfemir]

Ad0) Mám sice Haswell, ale "L" provedení, konkrétně E3-1275L v3, takže úsporný. To byl jeden z důvodů, proč jsem tento server koupil. Druhý důvod byla cena 

Ad1) Na desce mám jen jeden SAS konektor, tzn. 4 disky. Takže bych musel použít expandér viz. bod 5.

Ad2) Tak to je problém, protože je nemožné sehnat server s 3.5" šachtama. Takže jsem nakonec koupil 8x 2.5". A sehnat 2.5" HDD větší jak 2TB je také problém. Server co mám teď, má 4x 3.5" a myslel jsem že z něj použiji disky, ale bohužel.

Ad3) Tady jsem udělal evidentně chybu. Myslel jsem, že pro server je vhodnější SAS disk, takže jsem nakoupil SASy.

Ad4) Jak jsem psal, mám 8x 2.5" a netušil jsem, že SASy tak topí.

Ad5) viz. Ad1)

Mě doma stačí 5-6 TB.

Ohledně R5 s tebou nesouhlasím. Provozuji R5 asi 5let a několikrát jsem dělal scrubing za chodu. Mám 3x 3TB a trvalo to vždy celý den, ale vždy naprosto bez problémů. Někdy jsem zjistil, že disk odešel třeba až za týden, ale server jel furt. Sice psal, že jede v omezeném režimu, ale jel v podstatě beze změny. Pak jsem udělal scrubing (za chodu) a pohoda. Tady toto právě nevím jestli by šlo i HW Raidem.

Takže jak to tak, čtu nejlepší by bylo vyměnit SAS za SATA a vyměnit HW Raid kartu za SAS expander.
Pokud bych si nechal SAS disky, tak by asi bylo nejlepší tu HW Raid kartu vyměnit za HBA, rozumím tomu správně?

[Reklama]

[RDa]

Ohledně R5 s tebou nesouhlasím. Provozuji R5 asi 5let a několikrát jsem dělal scrubing za chodu. Mám 3x 3TB a trvalo to vždy celý den, ale vždy naprosto bez problémů. Někdy jsem zjistil, že disk odešel třeba až za týden, ale server jel furt. Sice psal, že jede v omezeném režimu, ale jel v podstatě beze změny. Pak jsem udělal scrubing (za chodu) a pohoda. Tady toto právě nevím jestli by šlo i HW Raidem.

Pokud budes mit na R5 chybu na 1 disku (zmenene bity) a vymenis kterykoliv jiny disk, tak tato chyba se ti prepise a bude zahlazena zpropagovana jako ze je to vazne tak (a to je spatne).

Stejne tak, pokud behem prenosu nastanou zmeny bitu (a je jedno ze mas SAS s vetsi crc ochranou nez sata, nebo ecc pameti), tak se tato zmena prepise do obnovovaneho disku, a scrub pak provede opakovane cteni, disk doda spravna data, ale scrub vyhodnoti ze ta nyni-spravna jsou vlastne nespravna.

R5 je skryte riziko. V podstate stejnym problemem trpi R1 ze 2 disku.. ktere kopii budes verit, kdyz se budou lisit?

Pak nastupuje presun raid funkcionalit z block device vrstvy do FS.. kde by btrfs/zfs mohl byt dost chytrej, aby pak uveril jen te kopii, ktera bude vest na spravny block checksum, ktere tyhle moderni FS delaji.

Takze jeste jedna varianta - vykasli se na sw raid, a pouzij FS ktery ma nejake raidovaci schopnosti (ale dokonaly to neni.. nesmi ti vypadnout proud / crashnout server ve spatnou dobu.

[pfemir]

Tak bohužel, tady nerozumím vůbec ničemu co jsi napsal, to už je na mě moc velký level.
Já vím, že 5let jedu SW Raid R5 s btrfs a nikdy jsem neměl problém. A v tomto bych rád pokračoval.

Takže jak to tak, čtu nejlepší by bylo vyměnit SAS za SATA a vyměnit HW Raid kartu za SAS expander.
Pokud bych si nechal SAS disky, tak by asi bylo nejlepší tu HW Raid kartu vyměnit za HBA, rozumím tomu správně?

Rád bych bych věděl, jestli jsem to správně pochopil.

[RDa]

Takže jak to tak, čtu nejlepší by bylo vyměnit SAS za SATA a vyměnit HW Raid kartu za SAS expander.
Pokud bych si nechal SAS disky, tak by asi bylo nejlepší tu HW Raid kartu vyměnit za HBA, rozumím tomu správně?

Rád bych bych věděl, jestli jsem to správně pochopil.

V pripade situace kterou jsi popsal, udelej ten R0 per-disk. Ten setup je ve vsech smerech neidealni - kdybys mel po ruce wattmetr, tak si to muzes pak zmerit.

Par usetrenych wattu te nevytrhne.

U me mam 250W / 400TB  ~ 0.625W / TB.. pokud tam osadis 8x 2T a mas 14TB v R5, a bude ti to zrat cca 70W .. to jsi na 5W / TB ... cca 8x hur na tom nez ja.

[Tomas-T]

Integritu zapsaných dat by si měl hlídat a případně i opravovat disk samotný (CRC, ECC), bez ohledu na to, zda je součástí nějakého raidu nebo ne.
Takže situace kdy se tiše změní bit na disku a nikdo si toho nevšimne je hodně nepravděpodobná.

[Reklama]

[pfemir]

Se mě zdá, že se točíme v kruhu.
Tady jste mi psal, že při jednodiskovém R0 je opruz při recovery na jinem hw.

Pokud mate hw raid, tak je driver megaraid napr., a pole se spravuji skrze cli utilitu. A pokud mate chut jet sw raid, tak potrebujete RAID radic ktery umi JBOD (nebo naopak HBA, ktery umi pouze JBOD). Pokud mate hw radic bez podpory jbod, tak se to da zpristupnit skrze jednodiskovy R0, ale neni to idealni (zvysena spotreba, opruz pri recovery na jinem hw). Pokud se to preflashuje z IR na IT, tak zustane jen ta zvysena spotreba... tak nevim proc tu kartu nevyhodit a nedat tam optimalnejsi reseni.

Na to jsem odpovídal, že tomu bych se chtěl vyhnout a teď mi znovu radíte, abych udělal R0 per-disk.
Z toho textu jsem pochopil, že abych se tomu vyhnul, tak buď JBOD nebo IT mod.

Možná jsem natvrdlý, tak se omlouvám, ale opravdu jsem z toho všeho pochopil, že bych měl stávající Raid kartu vyměnit za HBA, nebo se na ní pokusit aktivovat JBOD, pokud je to možné.

Pokud jde o spotřebu, tak přímo wattmetr nemám, ale mám takový ten bazmek do zásuvku a ten mi ukazuje 60-80W dle zatížení. Mám tam 5x 2.5" HDD SAS.

[RDa]

Protoze to vypada, ze nejde o zadne kriticke nasazeni - takze budes pak 2-3 dny resit jak to pole dohromady na jinem radici a po tydnu to radeji obnovis stejne ze zaloh. Tak na to ti opravdu staci kdyz to protahnes skrze R0.

[pfemir]

Trochu jsem se odmlčel, protože tady zkouším různé krizové situace a moc nadšený z toho nejsem. To co mi na starém serveru funguje bez problému, tak tady ne.
Nakonfiguroval jsem R0 per-disk. Když jsem zkusil za chodu vytáhnout disk a znovu vložit, tak se nechytil, zůstával stále v erroru. Musel jsem vždy restartovat celou stanici někdy i vlézt do WebBiosu a opravit to, což je špatné. Znamená to povypínat všechny virtuály, přepnout do maintenance modu, restartovat, zrušit maintenance a pak zase všechno ručně ponahazovat a udělat scrubing.
Pak jsem na HW kartě přes MegaCli aktivoval režim JBOD v domnění, že se to tím vyřeší, ale nevyřešilo. Mám teď všechny disky JBOD, ale chová se to skoro stejně. Někdy se to chytí, ale to je tak jednou z deseti pokusů, takže to také nefunguje.
Na starém serveru, kde nemám HW Raid kartu, ale jen řadič na desce, to funguje bez problému. Když se nějaký disk zhroutí, stačí ho vytáhnout, vložit zpátky nebo dát jiný a udělat scrubing. Bez jediného restartu, takže nikdo ani nepozná, že se na serveru něco děje. Tedy kromě poklesu rychlosi při scrubingu.
Je možné s HW Raid kartou docílit stejného chování?

[RDa]

Na hw raidu by ten falesnej hotplug mel fungovat asi takhle:

- disk chcipne
- disk je vytazen
- je treba odstranit konfiguraci R0 z radice na danem portu/slotu
- vlozi se novej disk
- pustis rescan/redetect skrze cli
- vytvoris skrze cli novej R0 svazek z neprirazeneho disku, nebo smazes config z "foreign drive"
- das ten virtual drive online / aktivujes

Az v tom momente se objevi novej block device, ktery muzes strcit do sw raidu skrze mdadm (a je lepsi to ale predtim napartisnovat s Linux Raid typem partisny)

Pokud je radic v JBOD rezimu, tak by mel fungovat hotplug (na modernim 12G sas mi to tak jede), ale je mozne ze je tam nejaka dalsi skryta konfiguracni optiona - prostuduj to cli, kdyz si vyjedes nastaveni radice.

Na nejakem starsi hw raidu (24 port areca se SATA only porty?) jsem hotplugu nikdy nedosahnul, ackoliv to manual uvadi. Vzdy to chtelo reboot a az pak se objevily pri post-u detekovane disky. Nezkousel jsem rmmod/modprobe.

Pokud ten hotplug v jbod nerozjedes, a mas system na jinem mediu - zkus rmmod/modprobe. Zda se Ti to nechytne.

[pfemir]

Tak abych to nějak uzavřel, různým testováním jsem zjistil, že HW Raid v režimu JBOD funguje dobře, po vložení disku se bez problému chytí, ale problém je ve VMware ESXi. Tam ten svazek zůstává stále v erroru, dokud se to nerestartuje. Nebo aspoň nevím jak to zprovoznit bez restartu. Když server nepouštím ve virtuálu (ESXi jsem zrušil), tak to funguje naprosto bez problému, tak jak na starém serveru, takže jsem spokojen.
Díky všem za pomoc.

[RDa]

Asi bych se na to ESXi vykaslal - dle informaci z poslednich tydnu je to fakt neperspektivni platforma.