Debian na hardwarovém RAID 5

Kolemjdoucí

Re:Debian na hardwarovém RAID 5
« Odpověď #15 kdy: 24. 10. 2014, 19:53:00 »
Zadarmo mám funkcionalitu zařízení, které by stálo 20tis. Tam někde totiž začínají HW raidy.

V monitorovacím systému se objeví hláška o budoucím selhání HDD, tak se zatelefonuje místnímu strážci serverovny ať se dostaví k serveru a tam kde se sama rozsvítila LED vymění HDD za nový. HW RAID sám provede hot-swap recovery a to je vše, nic dalšího se nemusí dělat.

Umí tohle tvoje funkcionalita zadarmo ?


Jenda

Re:Debian Raid 5
« Odpověď #16 kdy: 24. 10. 2014, 20:08:04 »
Vyhoda HW raid neni ani tak vykon (i kdyz o ten jde samo taky) ale predevsim spolehlivost. HW raid umi detekovat vadnej disk driv, nez realne chcipne => umi trebas zmirorovat takovej disk na nahradni, a nemusi prepocitavat R5.
To je pravda, linuxový kernel totiž SMART číst pořád ještě neumí a detekovat vadné bloky také ne.

V monitorovacím systému se objeví hláška o budoucím selhání HDD, tak se zatelefonuje místnímu strážci serverovny ať se dostaví k serveru a tam kde se sama rozsvítila LED vymění HDD za nový. HW RAID sám provede hot-swap recovery a to je vše, nic dalšího se nemusí dělat.

Umí tohle tvoje funkcionalita zadarmo ?
Až na tu LEDku ano (některé servery ji ale nejspíš mají).

dustin

Re:Debian na hardwarovém RAID 5
« Odpověď #17 kdy: 24. 10. 2014, 21:09:35 »
Překvapuje mě, že na dotaz

"smartd-runner" indicate failing drive with led

nenašel google nic. Přitom mi přijde, že tohle už muselo (vy)řešit spoustu lidí, nic na tom není.

Stejně tak mi nic nenašel na

"smartd-runner" add hot spare to array

V poslední době mám pocit, že google stále hůře hledá ne-mainstreamové odpovědi a ve všech odpovědích tlačí základní věci, kterých je všude plno.

Kolemjdoucí

Re:Debian Raid 5
« Odpověď #18 kdy: 25. 10. 2014, 13:49:49 »
Umí tohle tvoje funkcionalita zadarmo ?
Až na tu LEDku ano.

Papírově ano, v praxi funkcionalita zadarmo probíhá takto:
1) Nový HDD se vůbec nerozpozná i když se provede manuální rescan
2) Ovladač na řadič nebo udev se zakousne a musí se restartovat
3) udev pojmenuje nový HDD špatně a RAID se musí manuálně překonfigurovat
Celkově je hot-swap se SW RAID loterie že to proběhne automaticky.

dustin

Re:Debian na hardwarovém RAID 5
« Odpověď #19 kdy: 25. 10. 2014, 15:42:37 »
SW raid používáme na spoustě serverů roky a takovouto zkušenost rozhodně nemám.

Jméno disku není pro sestavení md raidu vůbec důležité, jede podle uuid raidové partišny. Samozřejmě musí být správně vygenerované mdadm.conf - ale tam je uuid, žádný název zařízení.

Pokud umí hotswap řadič (což starší na desce neuměly), jádro disk rozpozná v poho. Používáme běžně pro offline zálohy přes esatu.

Kdy se ti zakousl udev?

Pokud HW podporuje hotswap, bývá driver v pohodě. Máš nějaké konkrétní zkušenosti?


pkgng

Re:Debian Raid 5
« Odpověď #20 kdy: 25. 10. 2014, 16:08:44 »
Doporučuji nepoužívat HW řadiče, jsou s tím jenom problémy.


Já můžu doporučit pravý opak. S HW řadiči jsem neměl nikdy nějaké zásadní problémy. Možná to bude tím, že se jednalo o řadiče  HP, LSI, Areca, Tekram, DPT apod.

pkgng

Re:Debian na hardwarovém RAID 5
« Odpověď #21 kdy: 25. 10. 2014, 16:47:59 »
Dostal sa mi do ruk diskovy radic axago pcis-50

Jo, mimochodem, když už se tu bavíme o těch HW řadičích - podíval jsem se co je zač tenhle Axago a je to právě jeden z těch případů levného spotřebitelského polofunkčního pseudoraidu.

Debian Raid 5

Re:Debian na hardwarovém RAID 5
« Odpověď #22 kdy: 25. 10. 2014, 16:53:26 »
Ano, uz som sa dozvedel ze je to crep  ;D

A prave preto som sa rozhodol pre ten SW RAID 5.

pkgng

Re:Debian na hardwarovém RAID 5
« Odpověď #23 kdy: 25. 10. 2014, 17:09:09 »
Ano, uz som sa dozvedel ze je to crep  ;D
A prave preto som sa rozhodol pre ten SW RAID 5.

On je to vlastně SW RAID, protože ten SiI3114 je jenom čtyřkanálový řadič SATA a ta vlastní funkce RAIDu je zadrátovaná v BIOSu (pro OS, který používají pro práci s diskem BIOS), případně v ovladačích pro Windows. Jistě by mohl existovat obdobný ovladač pro Linux, ale to už je asi lepší ten SW RAID, který je standardní součástí Linuxu, protože on nedělá nic jiného, než ten ovladač.

dustin

Re:Debian na hardwarovém RAID 5
« Odpověď #24 kdy: 25. 10. 2014, 21:00:23 »
Tyhle vícekanálové SiIy jsem testoval na současnou průchodnost dvou kanálů a je to na polovině. Jeden disk čtení ddčkem - maximálka disku (150MB/s), dva disky - 80 MB/s každý. Dva řadiče vedle sebe po jednom disku - oba současně jely naplno. Zajímavé, že např. dvoukanál jmicron umí oba disky naplno.

Jenda

Re:Debian Raid 5
« Odpověď #25 kdy: 25. 10. 2014, 21:30:41 »
Já můžu doporučit pravý opak. S HW řadiči jsem neměl nikdy nějaké zásadní problémy. Možná to bude tím, že se jednalo o řadiče  HP, LSI, Areca, Tekram, DPT apod.
A funguje ti reshape třeba na menší počet větších disků a změnu RAID levelu? Když ti z pole osmi půlterových disků dva vyhodím a dám tam místo nich dva čtyřterové, zdvojnásobí se kapacita pole? Když ti ten řadič shoří, můžeš disky nastrkat do jiného serveru a pole spustit tam?

pkgng

Re:Debian Raid 5
« Odpověď #26 kdy: 25. 10. 2014, 22:51:49 »
Já můžu doporučit pravý opak. S HW řadiči jsem neměl nikdy nějaké zásadní problémy. Možná to bude tím, že se jednalo o řadiče  HP, LSI, Areca, Tekram, DPT apod.
A funguje ti reshape třeba na menší počet větších disků a změnu RAID levelu? Když ti z pole osmi půlterových disků dva vyhodím a dám tam místo nich dva čtyřterové, zdvojnásobí se kapacita pole? Když ti ten řadič shoří, můžeš disky nastrkat do jiného serveru a pole spustit tam?
Abych pravdu řekl, po řadiči který je v serveru jsem nikdy ty kejkle s výměnou disků nechtěl, takže nejsem schopen s jistotou říct, který řadič to uměl a který ne. Takové věci jsme dělali na externím diskovém poli HP Eva. Pokud vím, řadiče Areca by tohle měly umět. Přesun disků na jiný řadič v jiném serveru jsem úspěšně absolvoval na nějakém HP Smart Array a DPT Smart Raid.

dustin

Re:Debian Raid 5
« Odpověď #27 kdy: 26. 10. 2014, 07:11:41 »
Já můžu doporučit pravý opak. S HW řadiči jsem neměl nikdy nějaké zásadní problémy. Možná to bude tím, že se jednalo o řadiče  HP, LSI, Areca, Tekram, DPT apod.

A kolik z těch řadičů jsi kupoval za své či za peníze své vlastní firmy?

Kolemjdoucí

Re:Debian na hardwarovém RAID 5
« Odpověď #28 kdy: 26. 10. 2014, 09:34:08 »
SW raid používáme na spoustě serverů roky a takovouto zkušenost rozhodně nemám.

No tak ještě máte zkušenosti malé, například že UUID disku právě vybaleného ze sáčku neexistuje a běžně se děje že nový HDD se při hot-swap běžně pojmenuje jinak protože původní jméno se neuvolnilo, takže SW RAID ho nezná a podobné vychytávky, udev v 1x z deseti případů odmítne detekovat nový HDD zcela.

Netvrdím že SW RAID je k ničemu, ale zdaleka to zatím nedosahuje úrovně HW RAID.

A kolik z těch řadičů jsi kupoval za své či za peníze své vlastní firmy?

Kupují ho zákazníci v ceně serveru, prostě se jim server nacení rovnou s HW řadičem, v celkové sumě to není taková položka.

dustin

Re:Debian na hardwarovém RAID 5
« Odpověď #29 kdy: 26. 10. 2014, 15:32:07 »
například že UUID disku právě vybaleného ze sáčku neexistuje

UUID nastavuje md raid, s UUID disku nijak nesouvisí

Citace
běžně se děje že nový HDD se při hot-swap běžně pojmenuje jinak protože původní jméno se neuvolnilo, takže SW RAID ho nezná

?? Jméno disku je pro sestavení (assemble) md raidu zcela nepodstatné. Samozřejmě se mění, proto se také na něj nespoléhá. SW raid žádné jméno neřeší, tomu se musí říct, že si má daný disk (jménem, ručně) přidat do svého raidu. Pak si na něj zapíše vlastní UUID a od té doby jej pozná. Jména disků se mění klidně i po bootu, to by bylo hodně špatně, kdyby md raid na jméně závisel. Stejně jako se dnes už jméno disku nedává do fstabu ani do grubu, ale pěkně všude UUID.


Citace
udev v 1x z deseti případů odmítne detekovat nový HDD zcela.

Jako že strčím disk do kompu a on se neobjeví v /proc/partitions? Tak s tím jsem se ještě nesetkal. Setkal jsem se s vadnou esata kolébkou, kde se občas disk špatně zasunul a po dlouhé detekce se stejně nepovedla. Ale to se k udevu vůbec nedostalo, ten disk nezdetekoval ovladač řadiče.

Citace
Netvrdím že SW RAID je k ničemu, ale zdaleka to zatím nedosahuje úrovně HW RAID.

Když si budu mít vybrat mezi SW a HW raidem a nebude mi plně záležet na výkonu, šáhnu po SW raidu. Se SW raidem jsem schopen dělat psí kusy a mám to mnohokrát vyzkoušené. HW raidy jsem používal zatím ty levnější (HP Smart Array) a nijak nadšený nejsem. Funguje spolehlivě, ale tím jeho možnosti končí.

Citace
Kupují ho zákazníci v ceně serveru, prostě se jim server nacení rovnou s HW řadičem, v celkové sumě to není taková položka.

Takže když budu mít server třeba dovnitř do firmy na běh DB pro vývojáře za 30k, dám do něj HW raid za 20k plus SAS disky. Místo 4 SATA disků do SW RAID10 na build a několika SSD na jejich kopie DB. V tom je právě ten rozdíl, že já to platím ze své firmy a nenechám si věšet bulíky na nos obchodníkem.

Ba jo, nechal jsem se napálit, když jsem objednal HP ML350 s SAS disky a byla dodána sestava s 8x 2.5" SAS klecí. Prý standard. Stačí se dnes podívat na ceny a dostupnost 2.5" SAS disků a jejich maximální kapacity oproti stejně rychlým diskům 3,5". Fakt super kauf...