Fórum Root.cz

Hlavní témata => Hardware => Téma založeno: cosmo 12. 03. 2012, 17:12:48

Název: Záchrana dat z jednoho z RAID5 disku
Přispěvatel: cosmo 12. 03. 2012, 17:12:48
dobrý deň,

riešim vcelku zaujímavý problém. Potrebujem pripojiť jeden zo štvorice RAID5 diskov pre obnovu dát cez mdadm. Disk mam pripojeny cez SATA/USB prevodnik.

na disku su 3 particie, dve si viem primontovat ako /dev/md0 resp. /dev/md1 - su to male linuxove particie z NAS.
Poslednu particiu, z ktorej potrebujem skopirovat data nemozem primontovat. Nainstaloval som mdadm, cez dpkg-reconfigure som nechal vytvorit mdadm.conf v ktorom su disku so spravnym UUID.

V nautilovi mi ponukne dva disky ako RAID1, a v kontextovom menu mam "start multi-disk drive" tieto disky idu bez problemov.

mdadm --detail --scan mi nevypise nic, co je divne.

Kód: [Vybrat]
cat /proc/mdstat : 

Personalities : [raid1]
unused devices: <none>

Screenshot nautilusa je tu:  http://img528.imageshack.us/img528/6782/computerfilebrowser002.png (http://img528.imageshack.us/img528/6782/computerfilebrowser002.png)

Ak pouzijem "start multi-disk drive" v nautilovi, tak mi cat /proc/mdstat vypise nasledovne:

Kód: [Vybrat]
Personalities : [raid1]
md1 : active raid1 sdc2[1]
      131456 blocks [4/1] [_U__]
     
md0 : active raid1 sdc1[2]
      131456 blocks [4/1] [__U_]
     
unused devices: <none>

fdisk -l mi ukazuje /dev/sdc3 particiu, ktora ma cca 700 GB a z nej potrebujem dostat data. particia /dev/sdc1 je velka cca 140 MB a tu viem pripojit bez problemov.

Prosim viete mi niekto poradit, ako to prejst spravne od zaciatku ? Nasiel som kopec linkov na webe, ale nejako sa v RAID stracam :-(

Vopred dakujem za radu.
Název: Re:Primontovanie RAID5 v debiane cez USB prevodnik
Přispěvatel: trubicoid2 12. 03. 2012, 17:20:27
ja to nejak nechapu, tam kde jsou data je RAID1 nebo RAID5?
kolik disku?

jestli je to RAID5 s N disky, tak musis pripojit zaroven nejmin N-1 disku, jinak data nedostanes

jestli je to RAID1, tak by stacilo pripojit jeden disk, ale pak nechapu proc jich mas 4? RAID1 dava smysl na dvou...

Takze jestli mas RAID5 na 4 diskach, tak k obnove potrebujes pripojit minimalne 3 disky (RAID bude degradovany, ale cist/psat na nej pujde). Rozhodne nejlepsi je zapojit vsech 5 disku a udelat napred kontrolu pomoci

Kód: [Vybrat]
echo check >> /sys/block/mdX/md/sync_action
Název: Re:Primontovanie RAID5 v debiane cez USB prevodnik
Přispěvatel: cosmo 12. 03. 2012, 17:43:03
[Trubicoid]

Dík za radu, dáta sú na RAID5 - 700GB partícia. Tie dve (ona je vlastne iba jedna /dev/md0) je linuxová partícia, z ktorej bootuje NAS.

Ja som samotný RAID nekonfiguroval, dostal som nefunkčné NAS z ktorého treba vytiahnuť dáta. Neviem prečo som si myslel, že aj RAID5 pôjde v DEGRADED mode. No, nedá sa nič robiť a musím sa dovzdelať :-)

/dev/md0 mi nautilus ukazuje ako RAID0, dev/md1 je RAID5 a ten sa neda pripojit v degraded mode. Takže tu som asi skončil, aj napriek tomu, že systém mám asi nastavený o.k., čo ma samozrejme prekvapuje :-)

Ako sa postupuje, ak v RAID5 odíde 3 zo 4 diskov ? Proste smola a dáta naveky nedostupné ?
Název: Re:Primontovanie RAID5 v debiane cez USB prevodnik
Přispěvatel: trubicoid2 12. 03. 2012, 18:26:08
jo, RAID5 umi obnovit data jenom kdyz chcipne jeden disk
takze bez jednoho disku pojede v degraded, bez vic nez jednoho disku se nerozjede vubec
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: Pajk 13. 03. 2012, 08:43:12
Je to přesně tak, raid5 např. na 3 disky (minimum pro raid5) ukládá data zhruba následovně:


cislo bloku|disk1                 disk2               disk3
------------------------------------------------
1             data1                data2              data1 XOR data2
2             data3 xor data4  data3              data4
3             data6             data5 xor data6   data5


takže na každém disku je 1/N kontrolních součtů a N-1/N dat a to číslo "bloku" je potřeba brát ne jako sektor ale jako konfigurovatelný parametr "strip size", většinou 64 - 128 MB ale můžou být i jiné.
Takže pokud zbyl opravdu jen jeden funkční disk, tak můžete získat zlomky dat prokládané bloky s těmi kontrolními součty, třeba se z toho dá něco (kratší soubory) získat, ale patrně jen analýzou/hledáním fragmentů ala Photorec či jiné jako Ontrack EasyRecovery nebo Recovery R-Studio nebo tak něco (to už jsou teda win a většinou komerční nástroje).
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: cosmo 13. 03. 2012, 12:04:13
Ďakujem za odpoveď. Z tohto mi vyplýva, že RAID je relatívne nedokonalá technológia a v podstate sa jej nadmerne dôveruje. Nevadí, uvidíme, čo sa dá urobiť s pripojením ďalších diskov.

Ale musím uznať, že pri hodinách laborovania som sa kopec vecí naučil. Niet nad možnosť vyskúšať si takéto veci na vlastnej koži :-)

Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: Max 13. 03. 2012, 12:33:27
Ďakujem za odpoveď. Z tohto mi vyplýva, že RAID je relatívne nedokonalá technológia a v podstate sa jej nadmerne dôveruje. Nevadí, uvidíme, čo sa dá urobiť s pripojením ďalších diskov.

Ale musím uznať, že pri hodinách laborovania som sa kopec vecí naučil. Niet nad možnosť vyskúšať si takéto veci na vlastnej koži :-)

Relativne nedokonala technologia, velmi zvlastne slovne spojenie. :) Nehovoriac o tom, co sa Ti na tom vidi ako nedokonale ? Je mi jasne, ze aj RAID ma svoje muchy, ale kedze ich je 7 typov ( zakladnych ), tak sa vzdy da vybrat, co je pre konkretnu situaciu najvhodnejsie.
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: KapitánRUM 13. 03. 2012, 12:34:59
Ďakujem za odpoveď. Z tohto mi vyplýva, že RAID je relatívne nedokonalá technológia a v podstate sa jej nadmerne dôveruje.

To je ale dost blbounká hláška  ::)
Něco jako kdyby ses rozčiloval, že letadlo spadne, když mu ulomíš jedno křídlo ;D
Nojo, je to tak, když letadlu ulomíš jedno křídlo, tak spadne!
Jen zbytky slušnosti mi brání v tom, abych ti říkal blbče.
Příště, když půjde o důležitá data, nepoužívej RAID 5, ale RAID 0+1 nebo 10 ::)
Tj, "RAID z RAID" ale i tak budeš potřebovat nejméně dva disky na oživení dat!
Nebo prostě jen obyčejné zrcadlo a pak ti bude stačit jeden disk ::)
A stejně musíš zálohovat i tak  ::)
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: Ondřej Vaniš 13. 03. 2012, 12:55:34
To je ale dost blbounká hláška  ::)
Něco jako kdyby ses rozčiloval, že letadlo spadne, když mu ulomíš jedno křídlo ;D
Nojo, je to tak, když letadlu ulomíš jedno křídlo, tak spadne!
Jen zbytky slušnosti mi brání v tom, abych ti říkal blbče.
Příště, když půjde o důležitá data, nepoužívej RAID 5, ale RAID 0+1 nebo 10 ::)
Tj, "RAID z RAID" ale i tak budeš potřebovat nejméně dva disky na oživení dat!
Nebo prostě jen obyčejné zrcadlo a pak ti bude stačit jeden disk ::)
A stejně musíš zálohovat i tak  ::)

+1
Když to vezmeme do krajnosti:
Mel jsm doma pole se 3mi disky. Někdo mi ho ukradl. Jak ty data mám obnovit. To je ale nedokonalá technologie tyhle počitače.....
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: Pavouk106 13. 03. 2012, 14:00:04
Z tohto mi vyplýva, že RAID je relatívne nedokonalá technológia a v podstate sa jej nadmerne dôveruje.

On RAID neni nedokonalej, ale pokud je člověk debil a nechá si u RAID5 chcípnout dva disky, tak pak se těžko něco dá dělat... Když na autě píchneš kolo, tak většinou nahodíš rezervu, ale zároveň si zařídíš opravu. To je tenhle případ. Když v RAID5 chcípne disk, měl by sis (resp. ten, komu NAS patří - nemířim to proti Tobě, to vůbec) taky koupit novej disk a vyměnit ho za ten špatnej. Prostě nečekat, až znova píchneš a zjistíš, že rezervu jsi už použil a v kufru máš místo ní taky píchlý kolo... Takže máš tři kola v pohodě a dvě píchlý - takže už tim autem bohužel dál nepojedeš... To samý RAID5.

Pokud NEmáš všechny potřebný disky, tak je nastrkej zpět do NASu a tomu, kdo Ti to přinesl, to hoď na hlavu...

Pokud bys je měl, tak je stačí připojit všechny najednou a pak už jen složit pole. Sice degradovaný, jak tu ostatní píšou, ale funkční. Potom buď přidat disk a nechat dopočítat, nebo data přelejt jinam. Fungovaním ve stavu bez jednoho disku je to jako s rezervou u auta...
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: cosmo 13. 03. 2012, 15:10:33
Nechcel som spustit flame :-(

Samozrejme je to moja chyba, dostatočne problematike nezorumiem, preto som adresoval otázku do fóra medzi skúsenejšich :-)

Určite každá technolǵia má svoje muchy, aj RAID. Ja osobne preferujem zálohovanie na rôzne média, čím sa minimalizuje možnosť, že sa dôležité dáta neobnovia. Samozrejme bez ohľadu na to či sa jedná o RAID alebo nie.

[KapitánRUM] K tomu lietadlu, pekné prirovnanie, môžem si za to sám. Ale myslím, že nejaké urážky nie sú na mieste, proste som sa zmýlil a chybu si priznávam. Sme len ľudia.

[Ondřej Vaniš] patrím k ľuďom, ktorí tvrdia, že na vine je vždy človek a až potom technológia - tentokrát je na vine moja neznalosť.
Vždy keď mi niečo nefunguje a viem že to fungovať musí, venujem hodiny riešeniu možno banálneho problému. Hovorí sa tomu učenie na vlastných chybách. Ale občas to nejde, tak sa musím spýtať :-)

[Max] - súhlasím.

[Pavouk106] - veľmi dobre rozumiem, veľmi pekné prirovnanie.

Pre mňa z toho vyplýva ponaučenie - pri RAID treba veľmi obozretne zvoliť typ, aby aj takéto prípady boli riešiteľné podľa možnosti jednoducho. Aj napriek kritike mojej osoby, resp. mojich (ne)vedomostí, ďakujem za názory a fakty. Chybami sa človek učí.
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: KapitánRUM 13. 03. 2012, 15:21:40
+1 za chlapské přijetí kritiky.
Nicméně sis naběhl sám.
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: cosmo 13. 03. 2012, 15:45:44
[Kapitán RUM] Nič sa nedá robiť, stáva sa :-) Ale kritika, pokiaľ je opodstatnená, má svoje pozitíva. Hlavne človeka núti posúvať sa vpred. Myslím, že určite bolo nielen pre mňa lepšie, ak som vyfasoval kritiku, ako keby sa nikto neozval a ostal by som v nejakom mylnom presvedčení alebo názore :-)

Ale som rád, že som za tých pár hodín experimentovania zistil zhruba ako to celé funguje a keď si doplním patričné teoretické základy, tak tomu celému pochopím. Myslím, že by bolo možné spraviť si virtuál (KVM, VBox, VMware...) so 4 virtuálnymi diskami a preskúšať si tak celú technológiu vytvárania, odstraňovania polí a podobne. Nemám možnosť reálne si zobrať X diskov a experimentovať.

Je to hodne svojrázne, samozrejme reálne nepoužiteľné. Čisto iba na experimentovanie. Skúšal niekto niečo podobné ? V princípe by tomu nemalo nič brániť. Ono aj simulácia poškodenia disku by sa dala urobiť napr. cez /dev/random (ideovo) alebo fdiskom pomeniť partície.
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: Mordae 13. 03. 2012, 16:09:27
Jen bych dodal, že RAID není náhrada za zálohování a naopak. RAID zajišťuje vysokou dostupnost aktuálních dat. Záloha poskytuje možnost návratu do "dobrého stavu" když se podělá RAID, nebo data smaže uživatel.
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: Pavouk106 13. 03. 2012, 17:47:52
Ono aj simulácia poškodenia disku by sa dala urobiť napr. cez /dev/random (ideovo) alebo fdiskom pomeniť partície.

Simulace poškození disku se dá klidně udělat i tím, že ho vyhodíš z pole (příkaz mdadm a nějaký parametry, to se dočteš, je to dobře popsaný přímo v --help), označíš ho za vadnej. Pokud ale máš na mysli poškození přímo dat, tak to skoro stačí nastartovat RAID bez oddílu, nechat si vytvořit "nový" data (normálně nabootovat system, on si pozmění soubory) a pak zase nastartovat kompletní RAID a uvidíš co se bude dít (rebuild).

Jinak to lze nasimulovat i na jednom disku s více oddílama :-) Vezmeš jeden čistej disk, rozdělíš třeba na 4 stejně velký části a z těch složíš RAID. Samozřejmě to není pak na testování stability nebo měření rychlostí/přístupových časů, ale jako nouzovka by to fungovat mohlo... Tohle můžeš udělat z běžícího systému a pak ten disk fakt mít jen na testy, nepotřebuješ virtual stroj, stačí mít jeden fyzickej disk (a nějakej stařičkej PATA o libovolný velikosti určitě někde seženeš ;-) ).
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: Michal 14. 03. 2012, 02:49:22
To uz je mozna jednodussi to zkouset pomoci loopback device nad souborama (dd + losetup).

Michal
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: Pavouk106 14. 03. 2012, 11:18:37
Michal: To může bejt, ale třeba já už bych muset někde načíst něco o loopback a experimentovat s timhle. Tazatel by pak (třeba) musel experimentovat s loopback a RAIDem najednou ;-) A asi víme, jak dopadá experiment, kterej obsahuje víc neznámých :-D

Ale proč ne, pokud se na to bude cítit ;-)
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: trubicoid2 14. 03. 2012, 12:55:32
tim loopback zpusobem by moh v podstate zachranit data z toho RAID5 pole:

nakopirovat RAID5 partisnu disku 1 a 2 na interni disk pocitace (snad tam mas 2x700MB mista) pomoci dd

dd if=/dev/scd4 of=image1 bs=1M

potom pripojit externe disk 3 a slozit s nim a se dvouma souborama to pole v degradovanym stavu.
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: MilanK 14. 03. 2012, 13:18:00
Anebo si vytvořit RAID z USB flash disků, je přece jen zábavnější vytáhnout za provozu flešku než ťukat v terminálu...

https://blogs.oracle.com/constantin/entry/csi_munich_how_to_save
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: marwyn 14. 03. 2012, 15:26:08
takže na každém disku je 1/N kontrolních součtů a N-1/N dat a to číslo "bloku" je potřeba brát ne jako sektor ale jako konfigurovatelný parametr "strip size", většinou 64 - 128 MB ale můžou být i jiné.

Tak není to "strip" nýbrž "stripe" a velikost se opravdu, ale opravdu nepohybuje v MB, ale třeba se jednou dočkáme ;D
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: cosmo 14. 03. 2012, 17:35:16
[pavouk106] "Tazatel" našťastie loopback pozná :-) používa ho už nejaký ten piatok, napr. na montovanie ISO. Kedysi aj na FDD image zo starých diskiet.

[michal]
S tým loopback cez dd, to mi neskôr tiež napadlo, len je tu bohužiaľ problém, kam tie dáta uložiť (cca 2x800GB). Nie je kapacita nazvyš na 2 image z dvoch diskov :-(

No, zas až také medzery nemám, aby som nevedel primontovať image, resp. vytvoriť si ho cez dd :-) Tieto veci som už používal, novinkou a hlavnou neznámou bol pre mňa RAID :-) Ale ďakujem za tipy. loopback použiť na experimenty s RAID je dobrý nápad, virtuál by to iba zbytočne skomplikoval.

[milanK] Niečo podobné som videl na demonštrácii ZFS na Solarise, bolo to veľmi pôsobivé.
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: cosmo 14. 03. 2012, 17:37:18
Aby som nespustil znova Flame - loopback a montovanie imagov sú trošku odlišné, ale v zásade je ten princíp rovnaký.
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: mr.key 14. 07. 2012, 14:39:57
ak si nevies rady s obnovou dat skus disk poslat do firmy http://www.datareco.sk
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: to_je_jedno 14. 07. 2012, 17:03:03
ZADNA firma nedokaze rekonstruovat data z RAID5 kde chybi dva disky. Jedine Chuck.
Název: Re:Záchrana dat z jednoho z RAID5 disku
Přispěvatel: to_je_jedno 14. 07. 2012, 17:04:39
Myslím, že by bolo možné spraviť si virtuál (KVM, VBox, VMware...) so 4 virtuálnymi diskami a preskúšať si tak celú technológiu vytvárania, odstraňovania polí a podobne. Nemám možnosť reálne si zobrať X diskov a experimentovať.
presne takhle jsem mdadm zkousel. stacilo par giga mista na jedinem disku.