Fórum Root.cz
Hlavní témata => Server => Téma založeno: pfemir 03. 02. 2024, 14:09:36
-
Zdravím všechny,
nejsem v problematice serverů zběhlý, tak se chci zeptat, abych neudělal nějakou blbost.
Mám server s Raid kartou D3116c, ale nechci používat HW Raid, chci SW Raid (konkrétně RAID 5). Co jsem se dočetl, tak je potřeba Raid kartu přeflashovat do IT modu. Ale to nevím jestli bych zvládl. Další řešení by bylo nakonfigurovat disky jako JBOD, ale karta D3116c toto neumí (aspoň to není v nabídce). Pak je ještě možnost každý disk nakonfigurovat jako RAID 0 a pak z toho udělat SW RAID 5.
Nevím ale, jestli je to správný postup, nevím jaký je rozdíl mezi IT modem a JBOD resp. RAID 0 pro každý disk.
Díky za pomoc.
-
Co místo flashování zkusit rovnou IT kartu, např. https://www.ebay.com/itm/132059450823 za pár stovek?
-
Ano, taky řešení. Sice celý server mě stál 70 eček, ale budiž , toto mám v záloze kdybych musel flashovat a nepovedlo se. Ale nejdřív potřebuji vědět jestli musím flashovat nebo to můžu provozovat tak jak jsem napsal.
-
Na netu jsem zahlédl návod, jak bez flashnutí z disků udělat JBOD. Tak to můžeš zkusit. Jenom mně by se to nelíbilo, protože pak můžeš zůstat závislý na daném řadiči, i když z něj vlastně skoro nic nepoužiješ. Ale třeba ne, záleží, kam si řadič na disk informace uloží (např. SmartArray to ukládá na konec disku, takže raid0 single nebo raid1 mirror disky lze přečíst i mimo SmartArray).
-
Právě že se chci vyhnout problémům, když by řadič odešel, abych nepřišel o data. A právě nevím jak se řadič chová v režimu JBOD nebo RAID 0, když by v každém raidu byl jenom jeden disk. Jestli do toho ten řadič kecá nebo ne. Toto bych potřeboval aby mi někdo poradil.
-
No, tak pokud tam přes řadič budou uložené "raw data", tak vždycky snad budou v kuse, ne? I kdyby byla na začátku nějaká RAID hlavička, tak pak za ní budou data, která půjde přečíst i jinde, ne? Max bude potřeba "najít partition"?
Ale netvrdím, že to je tak jistě, že nějakej obskurní řadič to nemůže nějak mršit, ale hodně bych se divil...
-
No, tak pokud tam přes řadič budou uložené "raw data", tak vždycky snad budou v kuse, ne? I kdyby byla na začátku nějaká RAID hlavička, tak pak za ní budou data, která půjde přečíst i jinde, ne? Max bude potřeba "najít partition"?
Ale netvrdím, že to je tak jistě, že nějakej obskurní řadič to nemůže nějak mršit, ale hodně bych se divil...
Vzdy lze jeden disk z hotoveho sw-raid pole nad R0 zarizenimi vyndat a dat ho do SATA supliku na USB, pak udelat skrze dm mapping vysek z toho disku a pridat do pole - a udelat scrub na onom sw raidu.
Coz overi moznost jednak te recovery, ukol najit data se presune na ted, ne na stres v dobe nutnosti obnovy, a zaruci ze to radic treba nesifruje, nebo nekouskuje zalohami svych metadat.
Tohle vsechno ale v hodinovce bude drazsi, nez porizeni adekvatniho HBA se stejnymi konektory - takze proc to delat, vyjma dobreho pocitu ze vam bude ten hw-raid procesor pritapet zbytecne :)
-
Asi se to trochu komplikuje tím, že ty disky nejsou SATA, ale SAS, takže bych ho musel dát do nějaké jiné raid karty a to nevím jestli by se jen tak chytilo bez nějaké konfigurace a ztrátě dat.
Jak píšu, ohledně serverů to nemám vůbec ošahané, vlastně poprvé mám v ruce nějakou raid kartu.
Ohledně koupě HBA, můžu, ale až jako poslední možnost, protože stojí stejně jako celý server co mám.
Jinak každý den budu dělat zálohy, jenže opět na SAS disk, který je na stejném řadiči, takže stejný problém. Ještě mě napadá, dělat zálohy na SATA disk, který by byl připojený do řadiče na základovce, aby aspoň ta mi zůstala.
Ale ideální by bylo vyřešit to nějak s tím řadičem. Tzn. jestli to nechat na RAID 0, nebo se pokusit aktivovat JBOD nebo pokusit se aktivovat IT mod.
-
Právě že se chci vyhnout problémům, když by řadič odešel, abych nepřišel o data. A právě nevím jak se řadič chová v režimu JBOD nebo RAID 0, když by v každém raidu byl jenom jeden disk. Jestli do toho ten řadič kecá nebo ne. Toto bych potřeboval aby mi někdo poradil.
Jestli jsem to dobre nasel, tak ten radic, co mas, je ve skutecnosti LSI 2208.
Tentyz mam take, jen v kabatku od Dellu. Vedle nej mam i Delli LSI 2108.
Vypada to, ze interne oba tyto LSI radice pouzivaji mdraid, akorat vypocty nedela CPU, nybrz RoC.
Mam v praxi vyzkouseno, ze disky lze mezi temito dvema radici presouvat a oba to schroupou v klidu, stejne jako je bez problemu dokaze rozpoznat mdraid, pole sestavit, zkontrolovat konzistenci a jedes, nerekne to ani popel.
Cili pokud se chces HW RAIDu vyhnout kvuli riziku kleknuti radice a nemoznosti data precist, je v tomto konkretnim pripade je tato obava zbytecna. Tucnak s mdraidem si s tim poradi.
-
Používal bych to tak, jak zamýšlel výrobce - u RAID řadiče a SAS disků využil HW RAID5 (případně i Hot Swap nebo RAID6/ADG, jestli to řadič umí) a vedle toho měl na SATA zálohu (tedy ono by bylo ještě lepší mít tu zálohu úplně mimo server, případně zálohy dvě - záleží jak moc o to člověk nechce přijít).
-
Ano, mělo by to být LSI 2208 a jestli to správně chápu, tak kdyby řadič náhodou odešel, stačí ho nahradit nějakým podobným s LSI 2208 a mělo by to jet bez problémů?
Pak bych to asi nechal na tom HW Raid 5.
BTW, nefunguje mi tam Hot Swap, to se musí někde povolit? A to je záležitost toho řadiče nebo biosu?
-
Právě že se chci vyhnout problémům, když by řadič odešel, abych nepřišel o data. A právě nevím jak se řadič chová v režimu JBOD nebo RAID 0, když by v každém raidu byl jenom jeden disk. Jestli do toho ten řadič kecá nebo ne. Toto bych potřeboval aby mi někdo poradil.
Jestli jsem to dobre nasel, tak ten radic, co mas, je ve skutecnosti LSI 2208.
Tentyz mam take, jen v kabatku od Dellu. Vedle nej mam i Delli LSI 2108.
Vypada to, ze interne oba tyto LSI radice pouzivaji mdraid, akorat vypocty nedela CPU, nybrz RoC.
Mam v praxi vyzkouseno, ze disky lze mezi temito dvema radici presouvat a oba to schroupou v klidu, stejne jako je bez problemu dokaze rozpoznat mdraid, pole sestavit, zkontrolovat konzistenci a jedes, nerekne to ani popel.
Cili pokud se chces HW RAIDu vyhnout kvuli riziku kleknuti radice a nemoznosti data precist, je v tomto konkretnim pripade je tato obava zbytecna. Tucnak s mdraidem si s tim poradi.
Tohle je priserny klam.
mdraid i device mapper (linux dm) jsou ciste SW reseni - mdraid je luxusni sw raid, a dm je reseni pro fake-raid, existuji pak nastroje pro rozpoznani konfigurace pole (treba pro Intel RST). Vsechno to ale pocita CPU v pocitaci (skrze mmx/sse/avx), protoze sw raid nema zadnou podporu na hw akceleraci.
Takze rict, ze je to kombinace mdraid s vypoctama na karte je neco jako ledova para :D
Pokud mate hw raid, tak je driver megaraid napr., a pole se spravuji skrze cli utilitu. A pokud mate chut jet sw raid, tak potrebujete RAID radic ktery umi JBOD (nebo naopak HBA, ktery umi pouze JBOD). Pokud mate hw radic bez podpory jbod, tak se to da zpristupnit skrze jednodiskovy R0, ale neni to idealni (zvysena spotreba, opruz pri recovery na jinem hw). Pokud se to preflashuje z IR na IT, tak zustane jen ta zvysena spotreba... tak nevim proc tu kartu nevyhodit a nedat tam optimalnejsi reseni.
-
@RDa:
Sorry, neobratne vyjadreno. Myslel jsem tim, ze to podstatne pro sestaveni pole - identifikace disku, hlavicky atp. - je primo na discich, takze to ten SW mdraid dokaze sestavit a rozlousknout, tedy ze i ten LSI radic ma uvnitr interne neco, co ma stejne funkce jako mdraid samotny, drzi se to tech stejnych standardu. To je ta moje "ledova para", funkce mdraidu zajistene na extra kusu HW.
Ten radic dokazal pobrat i pole, ktere jsem si puvodne v mdraidu vytvoril. Jen import konfigurace a jedem. Zadnej problem.
Pointa byla - nejsou tam zadny obskurnosti typu "rozlozeni disku mam jen v konfiguraci radice, ne na discich samotnych, a pokud prohodim poradi disku na radici, tak se pole rozsype", naopak je to s mdraid kompabitilni a v podstate nevidim zasadni duvod resit prechod z tohodle radice na SW RAID.
Takze ve vysledku je to volba mezi par watty spotreby vs nizsi zatezi CPU pri diskovych operacich.
-
Velice díky za komentář.
Takze rict, ze je to kombinace mdraid s vypoctama na karte je neco jako ledova para :D
Mě je vcelku jedno jestli to počítá CPU nebo karta. Mám to jako domácí server, takže o nějaký výkon mi až tak nejde.
Pokud mate hw raid, tak je driver megaraid napr., a pole se spravuji skrze cli utilitu. A pokud mate chut jet sw raid ...
Ano, jak píšete, je tam megaraid. Chuť jet sw raid, já nevím, měl jsem za to, že je to nejjednodušší řešení. Z toho hw raidu mám trochu respekt.
se to da zpristupnit skrze jednodiskovy R0, ale neni to idealni (zvysena spotreba, opruz pri recovery na jinem hw).
Hlavně tomu recovery jsem se chtěl SW raidem vyhnout. Takže jak to mám teď, jednodiskový R0, tak nedoporučujete.
Pokud se to preflashuje z IR na IT, tak zustane jen ta zvysena spotreba... tak nevim proc tu kartu nevyhodit a nedat tam optimalnejsi reseni.
A můžete mi, prosím, poradit nějaké to optimálněší řešení, byl bych velice rád.
Jinak co se týká spotřeby, tak samozřejmě čím nižší tím lepší. Jak píšu, mám to doma, poběží to 24/7 a elektrika není zadarmo.
Jsem také velice překvapen jak ty SAS disky topí. Včera jsem měl chvíli sundanou bočnici, takže luft přes disky byl špatný a když jsem pak jeden disk vytahoval, tak jsem se popálil. Mám puchýř na palci, ten disk měl hrubo přes 70°C.
-
Pokud se to preflashuje z IR na IT, tak zustane jen ta zvysena spotreba... tak nevim proc tu kartu nevyhodit a nedat tam optimalnejsi reseni.
A můžete mi, prosím, poradit nějaké to optimálněší řešení, byl bych velice rád.
Jinak co se týká spotřeby, tak samozřejmě čím nižší tím lepší. Jak píšu, mám to doma, poběží to 24/7 a elektrika není zadarmo.
Jsem také velice překvapen jak ty SAS disky topí. Včera jsem měl chvíli sundanou bočnici, takže luft přes disky byl špatný a když jsem pak jeden disk vytahoval, tak jsem se popálil. Mám puchýř na palci, ten disk měl hrubo přes 70°C.
Optimalizacne (reseni pro trvaly a dlouhodoby provoz):
0/ pouzivat moderni hw (6th gen / skylake+, kde, je slusna uspora v idle)
1/ pokud to jde, pouzivat SATA porty na desce (6/8/10), chce to spravnej (reversed) kabel pro backplane, pokud BP ma SAS konektor a ne individualni SATA konektory, uspora 10-15W / radic
2/ pouzivat co nejvetsi disky (18-20TB+), kazdej 7K2 disk ktereho se zbavite je minus 8-10W
3/ vymenit SAS disky za sata, uspora 2-3W per disk, SAS ma smysl treba u SSD pro 12G (1200MB/s per disk), nebo u dual-port reseni, kdy disk je pripojen dvojmo - bud do dvou radicu nebo do dvou oddelenych systemu.
4/ vsechno co topi potrebuje chlazeni - radic s pasivem, ktery ocekava pruvan, tak i plne osazene rack reseni na disky - vyzaduji neefektivni chlazeni (zde se nabizi osadit 8 z 12 nebo 12-16 z 24 slotu v bedne, pokud je to rack varianta)
5/ extra disky pokud je jich mnono - pripojit skrze SAS expander, nez tvorit novou instanci celeho PC nebo pouzivat dalsi radice (ma to takto nejmensi watt/port metriku)
(PS: provozuji doma radove neco pres 400 TB nonstop)
Osobne nejedu R5 - bud mirror (system), nebo R6 (data) - z duvodu ze mam siroke pole (8-10 disku) a u R5 neni mozne opravovat chyby za chodu, pouze detekovat, u R6 je je mozne opravit behem scrubu.
-
Ad0) Mám sice Haswell, ale "L" provedení, konkrétně E3-1275L v3, takže úsporný. To byl jeden z důvodů, proč jsem tento server koupil. Druhý důvod byla cena :)
Ad1) Na desce mám jen jeden SAS konektor, tzn. 4 disky. Takže bych musel použít expandér viz. bod 5.
Ad2) Tak to je problém, protože je nemožné sehnat server s 3.5" šachtama. Takže jsem nakonec koupil 8x 2.5". A sehnat 2.5" HDD větší jak 2TB je také problém. Server co mám teď, má 4x 3.5" a myslel jsem že z něj použiji disky, ale bohužel.
Ad3) Tady jsem udělal evidentně chybu. Myslel jsem, že pro server je vhodnější SAS disk, takže jsem nakoupil SASy.
Ad4) Jak jsem psal, mám 8x 2.5" a netušil jsem, že SASy tak topí.
Ad5) viz. Ad1)
Mě doma stačí 5-6 TB.
Ohledně R5 s tebou nesouhlasím. Provozuji R5 asi 5let a několikrát jsem dělal scrubing za chodu. Mám 3x 3TB a trvalo to vždy celý den, ale vždy naprosto bez problémů. Někdy jsem zjistil, že disk odešel třeba až za týden, ale server jel furt. Sice psal, že jede v omezeném režimu, ale jel v podstatě beze změny. Pak jsem udělal scrubing (za chodu) a pohoda. Tady toto právě nevím jestli by šlo i HW Raidem.
Takže jak to tak, čtu nejlepší by bylo vyměnit SAS za SATA a vyměnit HW Raid kartu za SAS expander.
Pokud bych si nechal SAS disky, tak by asi bylo nejlepší tu HW Raid kartu vyměnit za HBA, rozumím tomu správně?
-
Ohledně R5 s tebou nesouhlasím. Provozuji R5 asi 5let a několikrát jsem dělal scrubing za chodu. Mám 3x 3TB a trvalo to vždy celý den, ale vždy naprosto bez problémů. Někdy jsem zjistil, že disk odešel třeba až za týden, ale server jel furt. Sice psal, že jede v omezeném režimu, ale jel v podstatě beze změny. Pak jsem udělal scrubing (za chodu) a pohoda. Tady toto právě nevím jestli by šlo i HW Raidem.
Pokud budes mit na R5 chybu na 1 disku (zmenene bity) a vymenis kterykoliv jiny disk, tak tato chyba se ti prepise a bude zahlazena zpropagovana jako ze je to vazne tak (a to je spatne).
Stejne tak, pokud behem prenosu nastanou zmeny bitu (a je jedno ze mas SAS s vetsi crc ochranou nez sata, nebo ecc pameti), tak se tato zmena prepise do obnovovaneho disku, a scrub pak provede opakovane cteni, disk doda spravna data, ale scrub vyhodnoti ze ta nyni-spravna jsou vlastne nespravna.
R5 je skryte riziko. V podstate stejnym problemem trpi R1 ze 2 disku.. ktere kopii budes verit, kdyz se budou lisit?
Pak nastupuje presun raid funkcionalit z block device vrstvy do FS.. kde by btrfs/zfs mohl byt dost chytrej, aby pak uveril jen te kopii, ktera bude vest na spravny block checksum, ktere tyhle moderni FS delaji.
Takze jeste jedna varianta - vykasli se na sw raid, a pouzij FS ktery ma nejake raidovaci schopnosti (ale dokonaly to neni.. nesmi ti vypadnout proud / crashnout server ve spatnou dobu.
-
Tak bohužel, tady nerozumím vůbec ničemu co jsi napsal, to už je na mě moc velký level.
Já vím, že 5let jedu SW Raid R5 s btrfs a nikdy jsem neměl problém. A v tomto bych rád pokračoval.
Takže jak to tak, čtu nejlepší by bylo vyměnit SAS za SATA a vyměnit HW Raid kartu za SAS expander.
Pokud bych si nechal SAS disky, tak by asi bylo nejlepší tu HW Raid kartu vyměnit za HBA, rozumím tomu správně?
Rád bych bych věděl, jestli jsem to správně pochopil.
-
Takže jak to tak, čtu nejlepší by bylo vyměnit SAS za SATA a vyměnit HW Raid kartu za SAS expander.
Pokud bych si nechal SAS disky, tak by asi bylo nejlepší tu HW Raid kartu vyměnit za HBA, rozumím tomu správně?
Rád bych bych věděl, jestli jsem to správně pochopil.
V pripade situace kterou jsi popsal, udelej ten R0 per-disk. Ten setup je ve vsech smerech neidealni - kdybys mel po ruce wattmetr, tak si to muzes pak zmerit.
Par usetrenych wattu te nevytrhne.
U me mam 250W / 400TB ~ 0.625W / TB.. pokud tam osadis 8x 2T a mas 14TB v R5, a bude ti to zrat cca 70W .. to jsi na 5W / TB ... cca 8x hur na tom nez ja.
-
Integritu zapsaných dat by si měl hlídat a případně i opravovat disk samotný (CRC, ECC), bez ohledu na to, zda je součástí nějakého raidu nebo ne.
Takže situace kdy se tiše změní bit na disku a nikdo si toho nevšimne je hodně nepravděpodobná.
-
Se mě zdá, že se točíme v kruhu.
Tady jste mi psal, že při jednodiskovém R0 je opruz při recovery na jinem hw.
Pokud mate hw raid, tak je driver megaraid napr., a pole se spravuji skrze cli utilitu. A pokud mate chut jet sw raid, tak potrebujete RAID radic ktery umi JBOD (nebo naopak HBA, ktery umi pouze JBOD). Pokud mate hw radic bez podpory jbod, tak se to da zpristupnit skrze jednodiskovy R0, ale neni to idealni (zvysena spotreba, opruz pri recovery na jinem hw). Pokud se to preflashuje z IR na IT, tak zustane jen ta zvysena spotreba... tak nevim proc tu kartu nevyhodit a nedat tam optimalnejsi reseni.
Na to jsem odpovídal, že tomu bych se chtěl vyhnout a teď mi znovu radíte, abych udělal R0 per-disk.
Z toho textu jsem pochopil, že abych se tomu vyhnul, tak buď JBOD nebo IT mod.
Možná jsem natvrdlý, tak se omlouvám, ale opravdu jsem z toho všeho pochopil, že bych měl stávající Raid kartu vyměnit za HBA, nebo se na ní pokusit aktivovat JBOD, pokud je to možné.
Pokud jde o spotřebu, tak přímo wattmetr nemám, ale mám takový ten bazmek do zásuvku a ten mi ukazuje 60-80W dle zatížení. Mám tam 5x 2.5" HDD SAS.
-
Protoze to vypada, ze nejde o zadne kriticke nasazeni - takze budes pak 2-3 dny resit jak to pole dohromady na jinem radici a po tydnu to radeji obnovis stejne ze zaloh. Tak na to ti opravdu staci kdyz to protahnes skrze R0.
-
Trochu jsem se odmlčel, protože tady zkouším různé krizové situace a moc nadšený z toho nejsem. To co mi na starém serveru funguje bez problému, tak tady ne.
Nakonfiguroval jsem R0 per-disk. Když jsem zkusil za chodu vytáhnout disk a znovu vložit, tak se nechytil, zůstával stále v erroru. Musel jsem vždy restartovat celou stanici někdy i vlézt do WebBiosu a opravit to, což je špatné. Znamená to povypínat všechny virtuály, přepnout do maintenance modu, restartovat, zrušit maintenance a pak zase všechno ručně ponahazovat a udělat scrubing.
Pak jsem na HW kartě přes MegaCli aktivoval režim JBOD v domnění, že se to tím vyřeší, ale nevyřešilo. Mám teď všechny disky JBOD, ale chová se to skoro stejně. Někdy se to chytí, ale to je tak jednou z deseti pokusů, takže to také nefunguje.
Na starém serveru, kde nemám HW Raid kartu, ale jen řadič na desce, to funguje bez problému. Když se nějaký disk zhroutí, stačí ho vytáhnout, vložit zpátky nebo dát jiný a udělat scrubing. Bez jediného restartu, takže nikdo ani nepozná, že se na serveru něco děje. Tedy kromě poklesu rychlosi při scrubingu.
Je možné s HW Raid kartou docílit stejného chování?
-
Na hw raidu by ten falesnej hotplug mel fungovat asi takhle:
- disk chcipne
- disk je vytazen
- je treba odstranit konfiguraci R0 z radice na danem portu/slotu
- vlozi se novej disk
- pustis rescan/redetect skrze cli
- vytvoris skrze cli novej R0 svazek z neprirazeneho disku, nebo smazes config z "foreign drive"
- das ten virtual drive online / aktivujes
Az v tom momente se objevi novej block device, ktery muzes strcit do sw raidu skrze mdadm (a je lepsi to ale predtim napartisnovat s Linux Raid typem partisny)
Pokud je radic v JBOD rezimu, tak by mel fungovat hotplug (na modernim 12G sas mi to tak jede), ale je mozne ze je tam nejaka dalsi skryta konfiguracni optiona - prostuduj to cli, kdyz si vyjedes nastaveni radice.
Na nejakem starsi hw raidu (24 port areca se SATA only porty?) jsem hotplugu nikdy nedosahnul, ackoliv to manual uvadi. Vzdy to chtelo reboot a az pak se objevily pri post-u detekovane disky. Nezkousel jsem rmmod/modprobe.
Pokud ten hotplug v jbod nerozjedes, a mas system na jinem mediu - zkus rmmod/modprobe. Zda se Ti to nechytne.
-
Tak abych to nějak uzavřel, různým testováním jsem zjistil, že HW Raid v režimu JBOD funguje dobře, po vložení disku se bez problému chytí, ale problém je ve VMware ESXi. Tam ten svazek zůstává stále v erroru, dokud se to nerestartuje. Nebo aspoň nevím jak to zprovoznit bez restartu. Když server nepouštím ve virtuálu (ESXi jsem zrušil), tak to funguje naprosto bez problému, tak jak na starém serveru, takže jsem spokojen.
Díky všem za pomoc.
-
Asi bych se na to ESXi vykaslal - dle informaci z poslednich tydnu je to fakt neperspektivni platforma.