RAID 0 vs JBOD vs IT mode

[pfemir]

Zdravím všechny,
nejsem v problematice serverů zběhlý, tak se chci zeptat, abych neudělal nějakou blbost.
Mám server s Raid kartou D3116c, ale nechci používat HW Raid, chci SW Raid (konkrétně RAID 5). Co jsem se dočetl, tak je potřeba Raid kartu přeflashovat do IT modu. Ale to nevím jestli bych zvládl. Další řešení by bylo nakonfigurovat disky jako JBOD, ale karta D3116c toto neumí (aspoň to není v nabídce). Pak je ještě možnost každý disk nakonfigurovat jako RAID 0 a pak z toho udělat SW RAID 5.
Nevím ale, jestli je to správný postup, nevím jaký je rozdíl mezi IT modem a JBOD resp. RAID 0 pro každý disk.
Díky za pomoc.

[Reklama]

[redustin]

Co místo flashování zkusit rovnou IT kartu, např. https://www.ebay.com/itm/132059450823 za pár stovek?

[pfemir]

Ano, taky řešení. Sice celý server mě stál 70 eček, ale budiž , toto mám v záloze kdybych musel flashovat a nepovedlo se. Ale nejdřív potřebuji vědět jestli musím flashovat nebo to můžu provozovat tak jak jsem napsal.

[redustin]

Na netu jsem zahlédl návod, jak bez flashnutí z disků udělat JBOD. Tak to můžeš zkusit. Jenom mně by se to nelíbilo, protože pak můžeš zůstat závislý na daném řadiči, i když z něj vlastně skoro nic nepoužiješ. Ale třeba ne, záleží, kam si řadič na disk informace uloží (např. SmartArray to ukládá na konec disku, takže raid0 single nebo raid1 mirror disky lze přečíst i mimo SmartArray).

[pfemir]

Právě že se chci vyhnout problémům, když by řadič odešel, abych nepřišel o data. A právě nevím jak se řadič chová v režimu JBOD nebo RAID 0, když by v každém raidu byl jenom jeden disk. Jestli do toho ten řadič kecá nebo ne. Toto bych potřeboval aby mi někdo poradil.

[Reklama]

[Logik]

No, tak pokud tam přes řadič budou uložené "raw data", tak vždycky snad budou v kuse, ne? I kdyby byla na začátku nějaká RAID hlavička, tak pak za ní budou data, která půjde přečíst i jinde, ne? Max bude potřeba "najít partition"?
Ale netvrdím, že to je tak jistě, že nějakej obskurní řadič to nemůže nějak mršit, ale hodně bych se divil...

[RDa]

No, tak pokud tam přes řadič budou uložené "raw data", tak vždycky snad budou v kuse, ne? I kdyby byla na začátku nějaká RAID hlavička, tak pak za ní budou data, která půjde přečíst i jinde, ne? Max bude potřeba "najít partition"?
Ale netvrdím, že to je tak jistě, že nějakej obskurní řadič to nemůže nějak mršit, ale hodně bych se divil...

Vzdy lze jeden disk z hotoveho sw-raid pole nad R0 zarizenimi vyndat a dat ho do SATA supliku na USB, pak udelat skrze dm mapping vysek z toho disku a pridat do pole - a udelat scrub na onom sw raidu.

Coz overi moznost jednak te recovery, ukol najit data se presune na ted, ne na stres v dobe nutnosti obnovy, a zaruci ze to radic treba nesifruje, nebo nekouskuje zalohami svych metadat.

Tohle vsechno ale v hodinovce bude drazsi, nez porizeni adekvatniho HBA se stejnymi konektory - takze proc to delat, vyjma dobreho pocitu ze vam bude ten hw-raid procesor pritapet zbytecne

[pfemir]

Asi se to trochu komplikuje tím, že ty disky nejsou SATA, ale SAS, takže bych ho musel dát do nějaké jiné raid karty a to nevím jestli by se jen tak chytilo bez nějaké konfigurace a ztrátě dat.
Jak píšu, ohledně serverů to nemám vůbec ošahané, vlastně poprvé mám v ruce nějakou raid kartu.
Ohledně koupě HBA, můžu, ale až jako poslední možnost, protože stojí stejně jako celý server co mám.
Jinak každý den budu dělat zálohy, jenže opět na SAS disk, který je na stejném řadiči, takže stejný problém. Ještě mě napadá, dělat zálohy na SATA disk, který by byl připojený do řadiče na základovce, aby aspoň ta mi zůstala.
Ale ideální by bylo vyřešit to nějak s tím řadičem. Tzn. jestli to nechat na RAID 0, nebo se pokusit aktivovat JBOD nebo pokusit se aktivovat IT mod.

[jauznevimco]

Právě že se chci vyhnout problémům, když by řadič odešel, abych nepřišel o data. A právě nevím jak se řadič chová v režimu JBOD nebo RAID 0, když by v každém raidu byl jenom jeden disk. Jestli do toho ten řadič kecá nebo ne. Toto bych potřeboval aby mi někdo poradil.

Jestli jsem to dobre nasel, tak ten radic, co mas, je ve skutecnosti LSI 2208.
Tentyz mam take, jen v kabatku od Dellu. Vedle nej mam i Delli LSI 2108.

Vypada to, ze interne oba tyto LSI radice pouzivaji mdraid, akorat vypocty nedela CPU, nybrz RoC.


Mam v praxi vyzkouseno, ze disky lze mezi temito dvema radici presouvat a oba to schroupou v klidu, stejne jako je bez problemu dokaze rozpoznat mdraid, pole sestavit, zkontrolovat konzistenci a jedes, nerekne to ani popel.



Cili pokud se chces HW RAIDu vyhnout kvuli riziku kleknuti radice a nemoznosti data precist, je v tomto konkretnim pripade je tato obava zbytecna. Tucnak s mdraidem si s tim poradi.

[Tomas-T]

Používal bych to tak, jak zamýšlel výrobce - u RAID řadiče a SAS disků využil HW RAID5 (případně i Hot Swap nebo RAID6/ADG, jestli to řadič umí) a vedle toho měl na SATA zálohu (tedy ono by bylo ještě lepší mít tu zálohu úplně mimo server, případně zálohy dvě - záleží jak moc o to člověk nechce přijít).

[pfemir]

Ano, mělo by to být  LSI 2208 a jestli to správně chápu, tak kdyby řadič náhodou odešel, stačí ho nahradit nějakým podobným s  LSI 2208 a mělo by to jet bez problémů?
Pak bych to asi nechal na tom HW Raid 5.
BTW, nefunguje mi tam Hot Swap, to se musí někde povolit? A to je záležitost toho řadiče nebo biosu?

[RDa]

Právě že se chci vyhnout problémům, když by řadič odešel, abych nepřišel o data. A právě nevím jak se řadič chová v režimu JBOD nebo RAID 0, když by v každém raidu byl jenom jeden disk. Jestli do toho ten řadič kecá nebo ne. Toto bych potřeboval aby mi někdo poradil.

Jestli jsem to dobre nasel, tak ten radic, co mas, je ve skutecnosti LSI 2208.
Tentyz mam take, jen v kabatku od Dellu. Vedle nej mam i Delli LSI 2108.

Vypada to, ze interne oba tyto LSI radice pouzivaji mdraid, akorat vypocty nedela CPU, nybrz RoC.


Mam v praxi vyzkouseno, ze disky lze mezi temito dvema radici presouvat a oba to schroupou v klidu, stejne jako je bez problemu dokaze rozpoznat mdraid, pole sestavit, zkontrolovat konzistenci a jedes, nerekne to ani popel.



Cili pokud se chces HW RAIDu vyhnout kvuli riziku kleknuti radice a nemoznosti data precist, je v tomto konkretnim pripade je tato obava zbytecna. Tucnak s mdraidem si s tim poradi.

Tohle je priserny klam.

mdraid i device mapper (linux dm) jsou ciste SW reseni - mdraid je luxusni sw raid, a dm je reseni pro fake-raid, existuji pak nastroje pro rozpoznani konfigurace pole (treba pro Intel RST). Vsechno to ale pocita CPU v pocitaci (skrze mmx/sse/avx), protoze sw raid nema zadnou podporu na hw akceleraci.

Takze rict, ze je to kombinace mdraid s vypoctama na karte je neco jako ledova para


Pokud mate hw raid, tak je driver megaraid napr., a pole se spravuji skrze cli utilitu. A pokud mate chut jet sw raid, tak potrebujete RAID radic ktery umi JBOD (nebo naopak HBA, ktery umi pouze JBOD). Pokud mate hw radic bez podpory jbod, tak se to da zpristupnit skrze jednodiskovy R0, ale neni to idealni (zvysena spotreba, opruz pri recovery na jinem hw). Pokud se to preflashuje z IR na IT, tak zustane jen ta zvysena spotreba... tak nevim proc tu kartu nevyhodit a nedat tam optimalnejsi reseni.

[jauznevimco]

@RDa:
Sorry, neobratne vyjadreno. Myslel jsem tim, ze to podstatne pro sestaveni pole - identifikace disku, hlavicky atp. - je primo na discich, takze to ten SW mdraid dokaze sestavit a rozlousknout, tedy ze i ten LSI radic ma uvnitr interne neco, co ma stejne funkce jako mdraid samotny, drzi se to tech stejnych standardu. To je ta moje "ledova para", funkce mdraidu zajistene na extra kusu HW.

Ten radic dokazal pobrat i pole, ktere jsem si puvodne v mdraidu vytvoril. Jen import konfigurace a jedem. Zadnej problem.


Pointa byla - nejsou tam zadny obskurnosti typu "rozlozeni disku mam jen v konfiguraci radice, ne na discich samotnych, a pokud prohodim poradi disku na radici, tak se pole rozsype", naopak je to s mdraid kompabitilni a v podstate nevidim zasadni duvod resit prechod z tohodle radice na SW RAID.
Takze ve vysledku je to volba mezi par watty spotreby vs nizsi zatezi CPU pri diskovych operacich.

[pfemir]

Velice díky za komentář.

Takze rict, ze je to kombinace mdraid s vypoctama na karte je neco jako ledova para

Mě je vcelku jedno jestli to počítá CPU nebo karta. Mám to jako domácí server, takže o nějaký výkon mi až tak nejde.

Pokud mate hw raid, tak je driver megaraid napr., a pole se spravuji skrze cli utilitu. A pokud mate chut jet sw raid ...

Ano, jak píšete, je tam megaraid. Chuť jet sw raid, já nevím, měl jsem za to, že je to nejjednodušší řešení. Z toho hw raidu mám trochu respekt.

se to da zpristupnit skrze jednodiskovy R0, ale neni to idealni (zvysena spotreba, opruz pri recovery na jinem hw).

Hlavně tomu recovery jsem se chtěl SW raidem vyhnout. Takže jak to mám teď, jednodiskový R0, tak nedoporučujete.

Pokud se to preflashuje z IR na IT, tak zustane jen ta zvysena spotreba... tak nevim proc tu kartu nevyhodit a nedat tam optimalnejsi reseni.

A můžete mi, prosím, poradit nějaké to optimálněší řešení, byl bych velice rád.
Jinak co se týká spotřeby, tak samozřejmě čím nižší tím lepší. Jak píšu, mám to doma, poběží to 24/7 a elektrika není zadarmo.
Jsem také velice překvapen jak ty SAS disky topí. Včera jsem měl chvíli sundanou bočnici, takže luft přes disky byl špatný a když jsem pak jeden disk vytahoval, tak jsem se popálil. Mám puchýř na palci, ten disk měl hrubo přes 70°C.

[RDa]

Pokud se to preflashuje z IR na IT, tak zustane jen ta zvysena spotreba... tak nevim proc tu kartu nevyhodit a nedat tam optimalnejsi reseni.

A můžete mi, prosím, poradit nějaké to optimálněší řešení, byl bych velice rád.
Jinak co se týká spotřeby, tak samozřejmě čím nižší tím lepší. Jak píšu, mám to doma, poběží to 24/7 a elektrika není zadarmo.
Jsem také velice překvapen jak ty SAS disky topí. Včera jsem měl chvíli sundanou bočnici, takže luft přes disky byl špatný a když jsem pak jeden disk vytahoval, tak jsem se popálil. Mám puchýř na palci, ten disk měl hrubo přes 70°C.

Optimalizacne (reseni pro trvaly a dlouhodoby provoz):

0/ pouzivat moderni hw (6th gen / skylake+, kde, je slusna uspora v idle)

1/ pokud to jde, pouzivat SATA porty na desce (6/8/10), chce to spravnej (reversed) kabel pro backplane, pokud BP ma SAS konektor a ne individualni SATA konektory, uspora 10-15W / radic

2/ pouzivat co nejvetsi disky (18-20TB+), kazdej 7K2 disk ktereho se zbavite je minus 8-10W

3/ vymenit SAS disky za sata, uspora 2-3W per disk, SAS ma smysl treba u SSD pro 12G (1200MB/s per disk), nebo u dual-port reseni, kdy disk je pripojen dvojmo - bud do dvou radicu nebo do dvou oddelenych systemu.

4/ vsechno co topi potrebuje chlazeni - radic s pasivem, ktery ocekava pruvan, tak i plne osazene rack reseni na disky - vyzaduji neefektivni chlazeni (zde se nabizi osadit 8 z 12 nebo 12-16 z 24 slotu v bedne, pokud je to rack varianta)

5/ extra disky pokud je jich mnono - pripojit skrze SAS expander, nez tvorit novou instanci celeho PC nebo pouzivat dalsi radice (ma to takto nejmensi watt/port metriku)

(PS: provozuji doma radove neco pres 400 TB nonstop)

Osobne nejedu R5 - bud mirror (system), nebo R6 (data) - z duvodu ze mam siroke pole (8-10 disku) a u R5 neni mozne opravovat chyby za chodu, pouze detekovat, u R6 je je mozne opravit behem scrubu.