HW raid 10 vs 6

PanVP

HW raid 10 vs 6
« kdy: 20. 01. 2021, 18:28:06 »
Ahoj,

mám pole nad 12ti disky v RAID 10.
Údajně to má být kvůli výkonu.

Také jsem četl řadu článků, které kritizují RAID 6.

Pro RAID 6 mluví hlavně:
- vyšší kapacita oproti RAID 10

Proti pak především:
- delší doba rebuildu

Pro RAID 10 mluví:
- vyšší rychlost

Proti pak především:
- významně menší kapacita


Zhruba počítáno přes: http://www.raid-calculator.com/default.aspx
RAID 10
12 disků, 900GB každý, celkem k dispozici 5400 TB
Speed gain 12x read and 6x write speed gain

RAID 6
12 disků, 900GB každý, celkem k dispozici 9000 TB
Speed gain 10x read speed, no write speed gain

Teoreticky by RAID 10 měl skutečně urychlovat všechny operace, ale podle mých měření je to vesměs plichta.

Dopočítal jsem se podobných výsledků jako člověk tady, což je mimochodem velmi zajímavé téma!:
https://forum.root.cz/index.php?topic=3298.msg27483#msg27483

Otázka na vás, jaký typ pole byste použili dospodu pod virtualizaci?
Nad tím poběží virtuály (ale jejich OS bude na SSD poli), ale budou na tom data.

Osobně bych raději nasadil konfiguraci:
12 disků v RAID 6  plus 1x hot spare disk.

Mimochodem, předchůdce s chutí používal 2.5" 15k disky - před třemi lety.
S tím, jak rostou potřeby firmy, by mi přišlo logičtější použít nižší počet 3.5" serverových disků a hybridní pole (s SSD urychlujícím čtení).


Re:HW raid 10 vs 6
« Odpověď #1 kdy: 20. 01. 2021, 20:01:05 »
on je rozdíl kdo bude ty paritní bloky počítat, jestli CPU, budeš mít zdržení a nevyužiješ rychlejšího paralelního ukládání u R10. Pokud diskový řadič s cache a baterií, měřit se to bude při většině použití velice složitě a dopad na výkon nemusí být v podstatě žádný.

Ještě bych doporučil se podívat na R50 (s 1 paritními bloky pro každý R5), zůstane ti odhadem 9 TB dat a mohou dva disky umřít.

Všechno bude záležet na kolik iops takový storage budeš cílit, pokud třeba 500, rozdíl nepoznáš, pokud třeba 2000, volil bych odhadem R10. Jaký FS (nějaký COW?) a služby na tom pojedou?

RDa

  • *****
  • 2 465
    • Zobrazit profil
    • E-mail
Re:HW raid 10 vs 6
« Odpověď #2 kdy: 20. 01. 2021, 20:02:33 »
Mimochodem, předchůdce s chutí používal 2.5" 15k disky - před třemi lety.
S tím, jak rostou potřeby firmy, by mi přišlo logičtější použít nižší počet 3.5" serverových disků a hybridní pole (s SSD urychlujícím čtení).

Vykonu 2.5"/15K budes tezko konkurovat pomalyma velkyma diskama - to IOPS je zde nasobne vyssi a netrpi to na TBW jako SSD.

SSD cteni neurychluje. Urychluje *opakovane* cteni, stejne jako by pomohla vice RAM a je s tim mene prace to "nastavit".

Chybi zakladni informace: co ve VM vlastne bezi, jak to je zatizeny, jaky IO pattern to generuje - cte to vubec neco dokola, aby ta SSD cache se mela sanci projevit? Je soucasne pole vykonem limitujici faktor pro provoz sluzeb? Nebo na kolik % je diskovy system vytizen? Budou to jen lokalni VM, nebo se pole sdili pro vzdalene nody?

Kdyz si spoctes 12 disku x 10w, vyjde ti spotreba cca 1MWh/rok, coz je 4500.-, SSD mas za 2-3 roky usetreno v TCO (ale predpokladam ze mas budget na investici do novych disku). Takze bych sel do SSD only pole, oblast nad 5.4TB pokryjes za par tisic. Rekonstrukce SSD pole (R5) bude rychla, takze bych preferoval R5+spare (kvuli odlozeni wearu na spare disku), nez R6, pokud nehodlas mit v zasobe cold-spare sdilenej pro vice serveru s R6 rezimem.

Ad OS pro VM je na SSD - tak tohle je prave design fail, protoze typicky server OS+APP se nacte jednou a pak uz na systemovej disk to nesaha, leda jako na zapis logu. K tomu SSD fakt nepotrebujes.


PanVP

Re:HW raid 10 vs 6
« Odpověď #3 kdy: 20. 01. 2021, 21:07:48 »
Psal jsem odpověď asi 15 (spíš 40) minut a napsalo mi to "přístup odepřen"...
Tohle fórum je dobrá parodie :-(
Znovu to psát nebudu a Petr Krčmář by tomu mohl věnovat víc péče, aby se rozepsaný post neztratil...

Re:HW raid 10 vs 6
« Odpověď #4 kdy: 21. 01. 2021, 01:05:25 »
podla toho ako je popisane zadanie v uvode kontrolujes architekturu niecoho, comu moc nerozumies a placas to googlom.

je sakra rozdiel, ak sa niekto rozhodne pouzivat RAID10, pretoze to nie je o nakladoch na 1MWh za rok, to je o vykone, ktory RAID6 nikdy neda. A je to o primarnej funkcii RAIDu = redundancia a rozdieloch v nej. Ak sa bavime o urceni RAID10 tak ma sluzit aj k tomu, ze ak ti degraduje jeden disk, tak stratis minimum vykonu pri rebuilde a je sakra rychlejsi ako pri RAID6. Pri RAID10 nepozeram na cenu diskov, pretoze potrebujem vykon vs RAID6. T9 je ako babit sa o tom, ze potrebujes 600HP v aute, ale hladas, kde sa da kupit 90 oktanovy benzin.

A rovnako je urcenie segmentu pre RAID6, ktory ma svoje opodstatnenie. Ako ulozisko pre Virtualky? Leda jak target ore Veeam zalohy.
Ten, kto zalohuje sa nestara o to, ci mu padnu dva disky albo 5. Ma zalohy. Ale to nemoze riesit redundancia.


RDa

  • *****
  • 2 465
    • Zobrazit profil
    • E-mail
Re:HW raid 10 vs 6
« Odpověď #5 kdy: 21. 01. 2021, 01:45:39 »
Ak sa bavime o urceni RAID10 tak ma sluzit aj k tomu, ze ak ti degraduje jeden disk, tak stratis minimum vykonu pri rebuilde a je sakra rychlejsi ako pri RAID6.

Tady bych souhlasil na 100%.
Vetsina lidi vidi R6 jako "je tam prece vice disku = vetsi vykon, vetsi kapacita".
Ale nikdy nezazili prakticky provoz v degraded stavu, a na R6 to je fakt hodne znat.

mfrd

Re:HW raid 10 vs 6
« Odpověď #6 kdy: 21. 01. 2021, 07:46:43 »
Tady musím doporučit jednu základní věc. T.j nakreslit či napsat si co se, děje při READ a Write operaci při RAID 6 a RAID 10. Pokud pominu problém fronty požadavků i disků, bude hned zřejmé co k čemu se hodí a v jakých případech. A zároveň je potřeba porozumět tomu co se děje při souběhu různých požadavků.
Pokud je problém v případě rebuild časů (zejména u disků s vysokou kapacitou) je možné použít virtualizovaný raid.

Současná doba je nahlavu v tom, že zákazník chce 100 TB prostoru RAW a vidí cenu 10x 10TB SATA disků na alze. Ale když se dopočítají požadavky na IOPS, tak pak to pole má třeba 12 x 900 GB SAS disků.

Pak samozřejmě, ještě otázka kdy se přesunout na SSD, či jiné techniky. Základ problému je nedívat se na to od konce, protože měřit a nevědět co měřím vždy vede k tomu, že nejsem schopen porozumět výsledkům. Proto naučit se jak funguje RAID co se tam děje krok po kroku a uvědomovat si kdy mi poskytuje výhodu a kdy ne (např. rozložení dat). Proto je vždy rozdíl mezi teoretickou a praktickou hodnotou.

Re:HW raid 10 vs 6
« Odpověď #7 kdy: 21. 01. 2021, 07:48:10 »
stretavam sa s tym casto, ludia davaju debatu o architekture dat od RAIDu
je to ako kupovat auto a dozadovat sa, ze tam maju byt pneumatiky 275x40xR19 s rychlostnym indexom a vahovym indexom ... a to este nepopisali, k comu ma to auto presne sluzit. Nakonec debaty sa pride na to, ze clovek ocakava lesny offroad na obcasne pouzitie, najlepsie za 450Euro.

mfrd

Re:HW raid 10 vs 6
« Odpověď #8 kdy: 21. 01. 2021, 07:55:22 »

Současná doba je nahlavu v tom, že zákazník chce 100 TB prostoru RAW a vidí cenu 10x 10TB SATA disků na alze. Ale když se dopočítají požadavky na IOPS, tak pak to pole má třeba 12 x 900 GB SAS disků.

Oprava vypadla nula -120x 900 GB

PanVP

Re:HW raid 10 vs 6
« Odpověď #9 kdy: 21. 01. 2021, 08:12:25 »
Předně, nebudu znovu psát delší odpověď, fórum je defektní a poměrně rychle odhlašuje.

comu moc nerozumies a placas to googlom
Nevylévejte si na mně svoje Slovenské mindráky, díky.

dozadovat sa, ze tam maju byt pneumatiky 275x40xR19 s rychlostnym indexom a vahovym indexom
Prosím, zůstaňte u prodeje aut, IT pro vás není.

Vy byste si měl zkusit nějaké pole nasadit a neteoretizovat.
Zjistíte, že na rychlost pole má mnohem větší vliv fragmentace než typ provozu. Je to dáno tím, že operace, která trvá a důvod, proč disky dávají nižší stovky IOPS je ten, že i přes NCQ, plánováné ukládání (data jdou nejprve do cache pak do fronty NCQ) a techniky omezující fragmentaci (třeba zvětšení logických bloků). Také byste věděl, že typ zátěže ve virtualizaci je fakticky smíšený, protože různé virtuály mají různý typ provozu.

Máte pocit, že jsem zlý a píšu to ošklivě? Píšu stejně, jako vy.

PanVP

Re:HW raid 10 vs 6
« Odpověď #10 kdy: 21. 01. 2021, 08:26:05 »
Vetsina lidi vidi R6 jako "je tam prece vice disku = vetsi vykon, vetsi kapacita".
Ale nikdy nezazili prakticky provoz v degraded stavu, a na R6 to je fakt hodne znat.

Jednak, R10 a R6 mohou mít stejný počet členů.
A dále, výkon R6 pole - při selhání jednoho disku - by neměl významně klesnout, resp. jen o tu rychlost selhaného disku. Pokud klesne víc, je něco špatně. Například může docházet k opakovaným čtením z už "načatých" disků.
Nespletl jste si to s R5? Nemám ovšem zkušenosti, jak se to chová na softwarovém rádobyRAIDu.
Něco jiného je Rebuild R6 i R5, pole zotavující se po havárii, tedy při obnově konzistence, je velmi dlouho "skutečně líné". Rebuild pole je kritická chvíle, kdy (často) hrozí selhání dalších disků.
To je paradoxně nebezpečnější u R10 než u R6. Protože na R6 mohou odejít dva disky, proto se u R6 doporučuje nepoužívat (to je asi příliš silné tvrzení, lepší napsat "zaznívá názor nepoužívat") Hot spare disk, ale zařadit ho do pole, smrt jednoho z disků totiž "nevadí" a ostatně R6 může přijít i o dva disky.
Oproti tomu selhání dvou disků u R10 může vést k rozpadu pole a ztrátě dat, nebo taky ne, podle toho, kde disky pojdou.
« Poslední změna: 21. 01. 2021, 08:30:21 od PanVP »

Re:HW raid 10 vs 6
« Odpověď #11 kdy: 21. 01. 2021, 08:44:55 »
zelam vam pekny den

vyzera to tak, ze odpovede nehladas, mas v tom jasno a si rozhodnuty, len potrebujes pochvalit. To vsak musis tam, kde ti davaju salary.

btw: ak vies, ze forum rychle odhlasuje, tak odpoved mozes napisat v Note a presunt cez clipboard. Odpoved hladas ty, ne forum log-off timer. Aspon budes mat sancu pouvazovat nad tym co pises. Obcas sa ta tuzka da pouzit i na nakres As-Is a To-Be. Spomaluje to v rozhodovani? Ano. Ale zabranuje to uvazovaniu typu shoot into dark.

Mozes sa stazovat, alebo byt flexibilny a pochopit, ako vyuzit nevyhodu vo svoj prospech.

PanVP

Re:HW raid 10 vs 6
« Odpověď #12 kdy: 21. 01. 2021, 09:57:30 »
vyzera to tak, ze odpovede nehladas, mas v tom jasno a si rozhodnuty, len potrebujes pochvalit.

Ano, jsem rozhodnutý pro R6, protože to považuji za lepší řešení.
Ne dokonalé, ale lepší.
Dokud někde nepřijde s argumentem "To je blbost, protože...", takový argument tu zatím nepadl.

RDa přišel s myšlenkou, že pro mě bude jednodušší, než bádat nad hybrid RAID, přidat Ramku.
To je něco, co mě posunulo dopředu.

RDa dále zmínil názory, které sice nesdílím (asi používá jiné prostředí), ale které jsem pečlivě promyslel a utvrdil se v tom, že navržené řešení je dobré. To je ten post, který se smazal (což mě nakrklo).


Re:HW raid 10 vs 6
« Odpověď #13 kdy: 21. 01. 2021, 12:55:53 »
Někdy se může jevit jako zajímavá varianta nestandardní raid: https://en.wikipedia.org/wiki/Non-standard_RAID_levels. Třeba pro vás může být zajímavý raid 6e. Jak byste raid implementoval? Jako softwarový nebo máte dedikovaný řadič s raidem? A jak se zhruba jeví zátěž jednotlivých VM pro diskové pole?

Jose D

  • *****
  • 850
    • Zobrazit profil
Re:HW raid 10 vs 6
« Odpověď #14 kdy: 21. 01. 2021, 13:09:22 »
zajímavý raid 6e

Pole s distribuovaným hotspare jsem svého času provozoval, bylo to součástí komerčního řešení o kterém si nejsem vědom, že by bylo ještě k dispozici. Máte tedy na mysli raidz2 ?