Fórum Root.cz

Hlavní témata => Hardware => Téma založeno: wakatana 07. 10. 2020, 09:54:05

Název: RAID1 z USB diskov
Přispěvatel: wakatana 07. 10. 2020, 09:54:05
Dobry den,
Chcel by som si postavit RAID1 s vyuzitim notebooku (prip RPI) a externych USB diskov ktore mam k dispozicii:
1.5TB
2.TB
5TB

BTRFS zacina byt pomaly standardom tak by som zrejme pouzil tento FS, ale nebranim sa aj inym. S BTRFS a obecne s RAIDOM mam len teoreticke skusenosti tak ma prosim opravte ak nieco uvadzam zle. Zvazujem este ci pouzit vsetky 3 disky alebo nejaku kombinacia 2.

Klady BTRFS:
- kapacita RAIDu je cca: suma kapacit / 2 (a teda nijaky disk nevyjde na zmar)
- pri poskodenom disku by sa nemalo stat to ze poskodene data syncne aj na druhy disk preto ze ich bude povazovat za zmenu (ako sa to vraj stava pri inych typoch RAIDu)

Zapory BTRFS:
- vraj nieje dobre pouzit na USB disky koli tomu ze ich moze OS kedykolvek odpojit z nejakeho dovodu (ale to plati asi obecne o kazdom RAIDE)

Nebranim sa ani takej alternativne (ak je to samozrjeme technicky mozne):
DISK1: 2TB
DISK2: 1.5TB
Usetrenych 0.5 TB z DISKU1 pouzit ako klasicky disk bez RAIDU.

Mate nejake skusenosti s RAIDom cez USB disky?

Dakujem za pripomienky
Název: Re:RAID1 z USB diskov
Přispěvatel: IDontCare 07. 10. 2020, 12:21:35
Jak to chces provozovat? To budes mit k notebooku permanentne pripojene dva USB disky kabelem? Kazdy disk s uplne odlisnou velikosti. Co kdyz jeden vypadne? Cele to prodte nedava moc smysl.
Název: Re:RAID1 z USB diskov
Přispěvatel: RandomGuy 07. 10. 2020, 12:42:52
Pokud ti jde o seznameni se s raid/btrfs tak si udelej virtual s X disky dle libosti a zkousej veci tam. Pokud ti jde o skutecne nasazeni a chces tam mit nejake data ktere maji nejakou cenu tak je raid z USB disku nesmysl a prijdes na to sam nebo poslechnes rady jinych a nebudes se do toho poustet. ;)
Název: Re:RAID1 z USB diskov
Přispěvatel: Miroslav Šilhavý 07. 10. 2020, 13:28:26
RAID nad USB disky je chujovina. Není to na to určené, i kdyby to nakrásně fungovalo. V praxi spíš zažijete problémy, o bezpečnosti dat nemluvě.

Kdybyste něco o discích a RAID už věděl, nikdy by takový dotaz nemohl padnout. Pokud padl, znamená to, že ani o jednom toho zatím moc nevíte.

Jestli chcete experimentovat s raidem, tak na interních discích. Pak, se zkušeností, uvidíte, jak se to chová na USB. Určitě bych učení nezačínal na živých datech. Pokud živá data, pak doporučuji se uchýlit k řešením, které daný systém (a hardware) výslovně podporují a doporučují.
Název: Re:RAID1 z USB diskov
Přispěvatel: wakatana 07. 10. 2020, 14:03:38
Jak to chces provozovat? To budes mit k notebooku permanentne pripojene dva USB disky kabelem? Kazdy disk s uplne odlisnou velikosti. Co kdyz jeden vypadne? Cele to prodte nedava moc smysl.
Ano presne tak. Na nete je kopa tutorialov na RPI s USB diskami
Název: Re:RAID1 z USB diskov
Přispěvatel: wakatana 07. 10. 2020, 14:06:14
RAID nad USB disky je chujovina. Není to na to určené, i kdyby to nakrásně fungovalo. V praxi spíš zažijete problémy, o bezpečnosti dat nemluvě.

Mozete byt prosim konkretnejsi? Aky je rozdiel ci je to disk cez SATA radic alebo cez USB? Linux to berie ako /dev/sdaX a je mu jedno ci to je USB alebo nieco, alebo sa mylim? Preco by s tym mali byt problemy.

Dakujem
Název: Re:RAID1 z USB diskov
Přispěvatel: Miroslav Šilhavý 07. 10. 2020, 14:08:53
Mozete byt prosim konkretnejsi? Aky je rozdiel ci je to disk cez SATA radic alebo cez USB? Linux to berie ako /dev/sdaX a je mu jedno ci to je USB alebo nieco, alebo sa mylim? Preco by s tym mali byt problemy.

Kvůli odezvě, propustnosti, napájení, odpojení. Poslední dva body můžete asi s trochou péče vyřešit dobře, ale i tak se na USB musí počítat s tím, že se zařízení odpojí a připojí.

Pro RAID je zásadní ta odezva a následně i propustnost.
Název: Re:RAID1 z USB diskov
Přispěvatel: by_cx 07. 10. 2020, 14:29:38
Je zábavné tu číst jak je USB nespolehlivé i když už se dneska používá jediný USB kabel na připojení monitorů, disků, myší, klávesnic, flashek a prostě to funguje. Přes Thunderbold dokonce mohou téci desítky Gb dat za sekundu a problémy s tím nejsou.

V kanclu máme tohle:

https://www.alza.cz/icybox-3620u3-d581828.htm

Připojené k RPi4 a používáme to na zálohování ~1TB dat ze serverů. Existuje i varianta pro 4 disky. Na napájení používáme tohle:

https://www.czech-meanwell.cz/meanwell/RS-75-12-Mean-Well-Spinany-zdroj-uzavreny-75W-12V-d2289.htm

Jako filesystém tam je Btrfs a funguje to už několik měsíců úplně bez problémů. Btrfs má navíc checksumy, takže pokud se něco stane s daty, si schopný to detekovat. Za celou dobu se disky ani jednou neodpojily a přežilo to i pár výpadků proudu, než jsme koupili UPSku.

Je to levné, dá se to strčit kamkoli, funguje to, náhradní díly jsou dostupné na poličce v nejbližším obchodě, žere to 10 W.

Budeme stavět ještě jeden kvůli redundanci a na základě zkušeností z toho prvního použijeme dva kusy tohoto:

https://www.alza.cz/axagon-ee35-xa3-aline-d1775025.htm

Ten box na dva disky má jednu velkou nevýhodu, pokud vypadne proud, je nutné ho ručně zapnout. To nevadí v tom kanclu, ale na méně dostupném místě ano.

Pokud použiješ Raspberry Pi, mrkni na SD karty WD Purple. Měly by mít wear leveling, takže neodpadnou po 200 zápisech do jednoho místa. Co se týče kapacity, tak při použití těch tvých třech disků v RAID 1 se připravíš o 1.5 TB. Btrfs bohužel neumí zapnout RAID jen nad vybranými subvolumy.

Pokud bychom nepotřebovali Btrfs a mít pod kontrolou šifrování, asi bychom vybrali nějaký malý dvoudiskový NAS. Není to sice taková zábava, ale člověk to zapojí a ono to funguje. Na druhou stranu to co jsem popsal výše vychází na 3k + disky a i proti NASům za dvojnásobek to má neporovnatelně vyšší výkon a větší možnosti. USB bych se dnes už nebál, zvlášť pokud tam nemáš nějakou uber důležitou aplikaci. Před lety nám odešlo v jednom serveru diskové pole. Jako náhradní řešení jsme tam měli na týden zapojený externí disk přes USB 3 a fungovalo to v pohodě pod plným loadem.
Název: Re:RAID1 z USB diskov
Přispěvatel: IDontCare 07. 10. 2020, 14:47:29
Je zábavné tu číst jak je USB nespolehlivé i když už se dneska používá jediný USB kabel na připojení monitorů, disků, myší, klávesnic, flashek a prostě to funguje. Přes Thunderbold dokonce mohou téci desítky Gb dat za sekundu a problémy s tím nejsou.

V kanclu máme tohle:

https://www.alza.cz/icybox-3620u3-d581828.htm

Připojené k RPi4 a používáme to na zálohování ~1TB dat ze serverů. Existuje i varianta pro 4 disky. Na napájení používáme tohle:

https://www.czech-meanwell.cz/meanwell/RS-75-12-Mean-Well-Spinany-zdroj-uzavreny-75W-12V-d2289.htm

Jako filesystém tam je Btrfs a funguje to už několik měsíců úplně bez problémů. Btrfs má navíc checksumy, takže pokud se něco stane s daty, si schopný to detekovat. Za celou dobu se disky ani jednou neodpojily a přežilo to i pár výpadků proudu, než jsme koupili UPSku.

Je to levné, dá se to strčit kamkoli, funguje to, náhradní díly jsou dostupné na poličce v nejbližším obchodě, žere to 10 W.

Budeme stavět ještě jeden kvůli redundanci a na základě zkušeností z toho prvního použijeme dva kusy tohoto:

https://www.alza.cz/axagon-ee35-xa3-aline-d1775025.htm

Ten box na dva disky má jednu velkou nevýhodu, pokud vypadne proud, je nutné ho ručně zapnout. To nevadí v tom kanclu, ale na méně dostupném místě ano.

Pokud použiješ Raspberry Pi, mrkni na SD karty WD Purple. Měly by mít wear leveling, takže neodpadnou po 200 zápisech do jednoho místa. Co se týče kapacity, tak při použití těch tvých třech disků v RAID 1 se připravíš o 1.5 TB. Btrfs bohužel neumí zapnout RAID jen nad vybranými subvolumy.

Pokud bychom nepotřebovali Btrfs a mít pod kontrolou šifrování, asi bychom vybrali nějaký malý dvoudiskový NAS. Není to sice taková zábava, ale člověk to zapojí a ono to funguje. Na druhou stranu to co jsem popsal výše vychází na 3k + disky a i proti NASům za dvojnásobek to má neporovnatelně vyšší výkon a větší možnosti. USB bych se dnes už nebál, zvlášť pokud tam nemáš nějakou uber důležitou aplikaci. Před lety nám odešlo v jednom serveru diskové pole. Jako náhradní řešení jsme tam měli na týden zapojený externí disk přes USB 3 a fungovalo to v pohodě pod plným loadem.

Nepochopil jsi, ze nebude pripojivat hotovy raid box, ale vytvaret ho ze dvou samostatnych USB disku. To je dost podstatny rozdil..
Název: Re:RAID1 z USB diskov
Přispěvatel: by_cx 07. 10. 2020, 14:56:38
A ty si zjevně nečetl co jsem napsal. Kromě toho, že ten box, co jsem zmínil, nemá RAID, ale v systému se tváří jako dva samostatné disky, tak později doporučuji použít dva samostatné boxy. Vůbec není rozdíl v tom, zda to chce provozovat v RAIDu nebo ne. Fungovat to bude stejně dobře s ním i bez něj.
Název: Re:RAID1 z USB diskov
Přispěvatel: RDa 07. 10. 2020, 14:59:32
Je zábavné tu číst jak je USB nespolehlivé i když už se dneska používá jediný USB kabel na připojení monitorů, disků, myší, klávesnic, flashek a prostě to funguje. Přes Thunderbold dokonce mohou téci desítky Gb dat za sekundu a problémy s tím nejsou.

Cinskej 220V zdroj na 7W ledky do osvetlene lupy produkuje takovy RF bordel, ze se me odpouje mys a usb-serial co mam na stole. Predpokladam ze nejaky usb box by se odpojil taky :) Nemuzete srovnavat neco, co je vevnitr PC krabice / notebooku, s necim, co visi na dratech.

To, ze vam neco na 100% funguje znamena jenom to, ze to pouzivate tak malo a tak nepestre, ze vas chyba nepotkala.

V praxi to vypada tak, ze chyba na USB zpusobi odpojeni/pripojeni (reset) zarizeni. U klavesnice ci mysi to moc nevadi, ale u uloziste to znamenalo ze /dev/sdb prestalo fungovat a nezmizlo (pac z druheho konce to bylo otevreny) a objevilo se nove zarizeni - /dev/sdc. Dnes je tohle snad uz ohackovane v Linuxu, takze se USB umi castecne zotavit a vratit block device tam kam patri, ale o operaci nejspis prijdete a s tim souvisi vyhazovani disku z raidu pro falesnou nefuncnost, pripadne poskozeni filesystemu.

U SATA se v pripade chyby udelal interface reset a poslala operace jednoduse znova.
Název: Re:RAID1 z USB diskov
Přispěvatel: Exceptions 07. 10. 2020, 15:17:52
odprostíme-li se od spolehlivosti usb (stačí kolikrát chytnout kabel a je odpojeno) a jeho latencí, jako hlavní zádrhel vidím způsob fungování usb driverů, jejich připojení a nestálost jejich device id na linuxu (stačí prohodit port nebo přidat redukci a linux je z toho zmatený).

Další problém je prapagace signálů při odpojování a připojování nebo zápisu, hodně záleží jako které zařízení se samotný disk nahlásí, někdy usb disky neumí ani správně potvrdit zápis dat a zůstanou při odpojení fyzicky nezapsaná. Komplikace dělá i způsob vedení usb portů z počítače, kdy některé jsou přes rozbočovat, zařízení na takových portech nemůže komunikovat paralelně, ale musí navzájem na sebe čekat, to tvoří obrovské prodlevy při mirroring (raid 1, 5, 6, 10 atd.), pro menší problémy to dělá při raid 0, ale tam zase není tak vysoké navýšení rychlosti.

Problém s připojování lze vyřešit vytvořením fat partition na usb discích a připojení (mount) podle uuid, pak je to konzistentní. Nad tím pak může fungovat mdadm docela dobře.

Teoreticky to lze provozovat. Poměrně dobře si na to jde vyzkoušet chování a fungování raidu, pro kritický nebo produkční provoz je potřeba ale pečlivě vybrat každou komponentu v cestě a ověřit, že to smysl dává.

Jako základní návod mohu doporučit tenhle článek https://www.linux.org/threads/usb-device-raid-1.4453/
Název: Re:RAID1 z USB diskov
Přispěvatel: by_cx 07. 10. 2020, 15:20:31
No jo, jenže nějakej čínskej 7 W zdroj asi není úplně standardní prostředí. které by měl každý doma. Taky kabel na přenos dat a od myši maji stínění úplně někde jinde. Nejjednodušší je to prostě zkusit a sledovat dmesg jestli se ten disk odpojuje. V našem use-case to nedělá i když to mezi 3 a 6 ráno drtí disky naplno.
Název: Re:RAID1 z USB diskov
Přispěvatel: redustin 07. 10. 2020, 16:14:16
a nestálost jejich device id na linuxu (stačí prohodit port nebo přidat redukci a linux je z toho zmatený).

Z čeho konkrétně je "zmatený"? Název disku nemá pro raid žádnou relevanci, standardně se používá UUID - partišny i přímo raidu. V serveru máme 30 disků a když se tam každý týden vloží další 4 disky na offline zálohy, jejich mdraidové pole se vždy sestaví automaticky zcela spolehlivě, protože je správně zavedeno v /etc/mdadm/mdadm.conf. A jména disků jsou pokaždé jiná (sdaa, sdac, cokoliv).

Citace
Problém s připojování lze vyřešit vytvořením fat partition na usb discích a připojení (mount) podle uuid, pak je to konzistentní. Nad tím pak může fungovat mdadm docela dobře.

Proč by měl dělat zrovna FAT partišnu? Jinak mdadm má vlastní typy https://raid.wiki.kernel.org/index.php/Partition_Types#What_Partition_Type . Mount dle UUID je zcela samozřejmý, ale to je UUID raidového pole, ne jednotlivých partišen v raidu
Název: Re:RAID1 z USB diskov
Přispěvatel: Miroslav Šilhavý 07. 10. 2020, 18:05:34
@redustin

Název: Re:RAID1 z USB diskov
Přispěvatel: redustin 07. 10. 2020, 19:17:20
Na zálohy se nekladou takové požadavky jako na pracovní data. Záloha je "něco navíc".

Jak pro koho. Zálohy obsahují historická data firmy, sakra důležité.

Citace
Nedovedu si moc představit use case pro rotující sady disků v raidu.

Offline záloha 20TB se na jeden disk stále ještě nevejde. Nicméně nikde jsem netvrdil, že to jede přes USB, reagoval jsem na argument ohledně údajného problému linuxového mdadm s měnícími se jmény disků.

Citace
RAID-1 je technologie zvyšující spolehlivost dat. USB je na připojení dat spíš méně spolehlivé (obecně). Kombinovat RAID a USB je kočkopes.

Spoustu spokojených uživatelů RPi4 (USB3 s vlastním řadičem na PCIe) a mdadm raidu si to nemyslí.
Název: Re:RAID1 z USB diskov
Přispěvatel: Miroslav Šilhavý 07. 10. 2020, 19:25:39
@redustin

Pletete zálohy a archiv dat do jednoho. Záloha != archiv. I tak to neopodstatňuje použití USB RAIDU, vlastně ani obyčejného RAIDU.

Mdadm si samozřejmě s UUID disků poradí nejlépe a je to preferovaná cesta. Ne však jediná - a opět, tazatel už musí něco znát. A např. se musí obloukem vyhnout klonování disků přes dd, což je taky jedna z oblíbených rad pro "spokojené uživatele", co kolují internetem.

Spokojení uživatelé s USB raidem - no, ehm, ono už se nedočtete, když pak mají problémy. 90 % z nich, troufám si tvrdit, neumí ty problémy vidět, ani kdyby tam byly. USB je jednoznačně určené pro vyměnitelná média a periferie. Povýšit vyměnitelný disk za trvalý je pitomost.
Název: Re:RAID1 z USB diskov
Přispěvatel: RDa 07. 10. 2020, 20:28:08
Na zálohy se nekladou takové požadavky jako na pracovní data. Záloha je "něco navíc".

Jak pro koho. Zálohy obsahují historická data firmy, sakra důležité.


Kazdy mame holt jine meritka. Zatimco mi doma pro osobni i pracovni veci chrochtaj disky povesene na 12G SAS expanderu a prislusnem SAS HBA, v rackovem hoswapu, vase firma vesele nasazuje na dulezite zalohy USB disky na RPi :-)

Btw, tri z toho obriho poolu disku jsou 2.5" 4T (SMR) - kuchute z USB3 boxu - by me ani nenapadlo to pouzivat na USB3 a obetuji kvuli tomu i zaruku - protoze problemy se storage jsou problemy, ktere nechci a nemuzu si dovolit resit, kdyz na necem delam.
Název: Re:RAID1 z USB diskov
Přispěvatel: _Jenda 07. 10. 2020, 20:40:42
Připojené k RPi4 a používáme to na zálohování ~1TB dat ze serverů.

Osobně bych pro zálohování nepoužíval RAID 1, ale v takovém případě bych třeba liché dny zálohoval na jeden disk a sudé dny na druhý. (nebo pracovní/víkend)

Pokud použiješ Raspberry Pi, mrkni na SD karty WD Purple. Měly by mít wear leveling, takže neodpadnou po 200 zápisech do jednoho místa.
Díky za tip, osobně mám s microSD kartami naprosto příšerné zkušenosti, třeba tohle bude lepší… Jinak Raspberry umí bootovat z USB mass storage. Jednak flashdisky jsou možná o trošku spolehlivější, jednak by se mohlo bootovat přímo z toho boxu s disky.

Zatimco mi doma pro osobni i pracovni veci chrochtaj disky povesene na 12G SAS expanderu a prislusnem SAS HBA, v rackovem hoswapu, vase firma vesele nasazuje na dulezite zalohy USB disky na RPi :-)
A vyhraje on, přesně v okamžiku, kdy se tomu SASu něco stane, nebudete to mít kde přečíst, zatímco on disky vyndá a připojí k jakémukoli počítači se SATA a pole jednoduše sestaví. Navíc za cenu vašeho SASu si ty boxy s Raspberry může koupit tři a rozmístit je na tři různá místa.

Edit: pokud jsou ty disky SATA (což by asi odpovídalo tomu, že je kucháte z USB rámečků), tak většina této kritiky odpadá.
Název: Re:RAID1 z USB diskov
Přispěvatel: by_cx 07. 10. 2020, 22:27:29
... firma vesele nasazuje na dulezite zalohy USB disky na RPi :-)

... protoze problemy se storage jsou problemy, ktere nechci a nemuzu si dovolit resit, kdyz na necem delam.

Vsadil si na nějakou mašinu a doufáš v nejlepší, proč ne. Já jsem s řešením s USB disky začal někdy před rokem. RPI4 s jedním SSD diskem a jedním HDD bez raidu a funguje to bez problémů do teď. Mám na tom doma ty nejdůležitější soubory, fotky, zdrojáky na kterých pracuju a také Syncthing, který to kopíruje na různé počítače a jeden server v cloudu. Můžu ten stroj rozsekat kladivem a v počítači to poznám jen tak, že se mi odpojí jeden z nodů v Syncthingu. Přidat jiný node je otázkou patnácti minut.

Tak jsme si řekli, proč nepoužít něco podobného na zálohy našich serverů a udělali jsme to. Vzali jsme to co mám doma, vylepšili design, aby z toho nebyl chuchvalec drátů a od té doby to běží. Btrfs se stará o deduplikaci, RAID a kontrolu integrity. Zálohování probíhá přes rsync. RPi4 to zvládá s přehledem. K výpadkům disků nedochází. K výpadkům celého serveru už vůbec ne.

Trochu si myslím, že si úplně neuvědomuješ, k čemu to uložiště máme my a k čemu ho používáš ty. Ale dejme tomu, že ten tvůj use-case je stejný jako ten náš. Pokud o ten jeden stroj přijdeš, tak si přišel o několik desítek tisíc a zálohy. Pokud nám někdo rozšlápne to Raspberry Pi, přišli jsme o stejná data ale jen 10k. Na druhou stranu jsme si jen za cenu té tvé SAS karty mohli pořídit další dvě taková uložiště a o data jsme nakonec nepřišli. Navíc na nás bude během pár hodin v Alze čekat na chlup stejný hardware připravený k nasazení.
Název: Re:RAID1 z USB diskov
Přispěvatel: redustin 07. 10. 2020, 22:36:02
Kazdy mame holt jine meritka. Zatimco mi doma pro osobni i pracovni veci chrochtaj disky povesene na 12G SAS expanderu a prislusnem SAS HBA, v rackovem hoswapu, vase firma vesele nasazuje na dulezite zalohy USB disky na RPi :-)

Stačilo by trochu číst - reakce byla na enumeraci disků do mdadm, o USB v tom odstavci není ani slovo. 2x 16portů a 1x 8portů SAS HBA, napřímo bez expandéru. Kde jinde než hotswap v racku.

Pro domácí použití bych se RPi4 a raid přes USB3 vůbec nebál, kdybych měl tu potřebu.
Název: Re:RAID1 z USB diskov
Přispěvatel: RDa 07. 10. 2020, 23:57:02
Kazdy mame holt jine meritka. Zatimco mi doma pro osobni i pracovni veci chrochtaj disky povesene na 12G SAS expanderu a prislusnem SAS HBA, v rackovem hoswapu, vase firma vesele nasazuje na dulezite zalohy USB disky na RPi :-)

Stačilo by trochu číst - reakce byla na enumeraci disků do mdadm, o USB v tom odstavci není ani slovo. 2x 16portů a 1x 8portů SAS HBA, napřímo bez expandéru. Kde jinde než hotswap v racku.

Ah, omlouvam se, bylo to na kolegu vedle.

Ja jedu skrz expander, ktery jsem dostal k tem hotswap rackum, protoze predchozi majitel presel na hotovej NAS. Nastesti to neni backplane, ale ve forme pcie karty. Radice jsou Dell H830 (maj jen dva x4 externi porty), samozrejme eBay - kus za 15 GBP.. no neber to :-) Ze 4 jsem rozjel 3 - chyba byla stejna, znicenej keramicky kodan, ktery si prosel meltdownem - zrejme se tam osadil nejaky smejd. Nemusi se vse prece kupovat novy - nebo az je potreba.. trh se sleduje porad a pak vznikaji zajimave upgrady. Takze lokalni HW zaloha/nahrazka je skladem v dostatecnem poctu, a off-site je ponekud z ruky aby to bylo prvni/jediny, po cem se da sahnout. To uz chce poradnou katastrofu abych tam absolvoval cestu. Meni se tu hlavne disky - cim mladsi (novejsi), tim driv umrou.

Pro me je horsi vymyslet zalohovaci (resp. snapshotovaci) politiku, protoze nemam standardni a stejny workload - takze spis to uloziste jenom bobtna, protoze co kdyby bylo potreba projit stara data. Je snazsi vclenit dalsi disk, nez resit o co prijit a co jeste nechat.

To, ze se jedna kopie znici je paradoxne ten lepsi pripad - co me trapi vic je propagace smazani (nebo viroveho zasifrovani) do replik a odstraneni snapshotu, ze ktereho by to slo obnovit. Ale to jsme u zcela jineho problemu :)
Název: Re:RAID1 z USB diskov
Přispěvatel: redustin 08. 10. 2020, 08:34:15
Jo, ebayové SAS HBA PCIe řadiče používáme všude, nic jim není a ve skladu je pár rezervních, stály pár stovek. Kdyby odešel server, přehodí se karty do jiného a skříň s hotswap disky se připojí do nich. Původně jsem dělal hotswap bednu DIY, ale kabely na šlahounech neměly dobrý kontakt a jednou za pár měsíců nějaký disk vypadl. To nebylo udržitelné, takže Supermicro bedna s hotswap disky s klasickými externími SASx4 konektory. Od té doby nebyl jediný problém.

Jsem přesvědčený, že kdyby se mechanicky dobře provedená bedna s několika disky, kvalitními UAS adaptéry, kvalitním USB hubem a dobrým napájením připíchla kvalitním kabelem do USB3 stabilního kompu, běželo by to také spolehlivě. Samozřejmě ne tak rychle, driver USB by žral CPU při skládání USB rámců, ale třeba pro domácí účely úplně v pohodě. Takové bedny se běžně prodávají, např. z dražších https://www.alza.cz//icy-box-ib-3740-c31-cerne-d5702958.htm
Název: Re:RAID1 z USB diskov
Přispěvatel: jouda2 08. 10. 2020, 09:07:42
  • Na zálohy se nekladou takové požadavky jako na pracovní data. Záloha je "něco navíc".
S tímhle mi přijít do produkce, to bych Vás hnal že by se i ostraha divila jak rychle.

Citace
  • Nedovedu si moc představit use case pro rotující sady disků v raidu.
Offsite zálohu? Stačí se letmo podívat na cenu technologií k tomu určených (LTO7) a pro SoHo využití je hned jasno.

Citace
  • RAID-1 je technologie zvyšující spolehlivost dat. USB je na připojení dat spíš méně spolehlivé (obecně). Kombinovat RAID a USB je kočkopes.
Když upadne kábl od disku (a je úplně ukradené jestli FC, SAS nebo USB nebo chcípne poštovní holub co ty data doručuje), data na něm zůstanou. Když se podělá disk, jste bez dat. Myslím že je tam docela viditelný rozdíl mezi (ne)dostupností dat  a jejich permanentní ztrátou.

Název: Re:RAID1 z USB diskov
Přispěvatel: Miroslav Šilhavý 08. 10. 2020, 09:28:59
@J ouda

Záloh bývá víc a verifikují se. Selhání jednoho média není u záloh zásadní, naopak se s ním počítá v plánech. Pokud potřebuji rotaci médií, pak opravdu volím LTO nebo RDX. Nicméně, dnes se to dá docela smysluplně nahradit zálohováním virtuálek a deduplikací záloh. Tím může vzniknout velký archiv, který se přelévá i offsite, případně čas od času offline kopie. Nehrozí tak ani rozšíření kryptovirů a díky archivu záloh ani rozšíření vymazání dat do záloh. Při takovém řešení dává smysl úložiště na poli, ale pak už nedává smysl rotace médií.
Název: Re:RAID1 z USB diskov
Přispěvatel: redustin 08. 10. 2020, 09:49:39
I zálohovací server s deduplikovanými zálohami za deset let zpět se musí zálohovat na offsite média. Někdo volí pásky, někdo volí několik sad disků do raidu, které točí každý týden, každá sada umístěná jinde a nikdy se nepotkají na jednom místě. Že to někomu jinému nedává smysl, je jeho problém.
Název: Re:RAID1 z USB diskov
Přispěvatel: Miroslav Šilhavý 08. 10. 2020, 09:58:50
I zálohovací server s deduplikovanými zálohami za deset let zpět se musí zálohovat na offsite média. Někdo volí pásky, někdo volí několik sad disků do raidu, které točí každý týden, každá sada umístěná jinde a nikdy se nepotkají na jednom místě. Že to někomu jinému nedává smysl, je jeho problém.

Zálohovací softwary dnes umějí přenášet data offsite a jedním směrem, aby nehrozila destrukce dat (třeba v důsledku kryptoviru). Na to není nutnou podmínkou rotace disků. Offsite zálohování je důležitější, než ho mít zároveň offline. Stupně tedy jsou:


Samozřejmě, když někdo považuje rsync za zálohovací řešení, pak už i ty ostatní stupně musí řešit operativně jinak (= podivně). Rotovat RAID disky znamená mít průběžně neustále starost o to, jestli vše probíhá dobře. To je plýtvání časem. Jednodušší je zvolit technologii, která co nejvíc funguje autonomně a kontrolovat až výsledky. Tj. co nejméně se věnovat služebníčkům a ideálně jednou za čas udělat zkušební obnovení.

Přijde mi, že ajťáci dělají bojové pole i z toho, co je dávno vymyšlené, hotové. Není potřeba znovu vynalézat kolo.
Název: Re:RAID1 z USB diskov
Přispěvatel: petrisdiver 08. 10. 2020, 10:40:23
I zálohovací server s deduplikovanými zálohami za deset let zpět se musí zálohovat na offsite média. Někdo volí pásky, někdo volí několik sad disků do raidu, které točí každý týden, každá sada umístěná jinde a nikdy se nepotkají na jednom místě. Že to někomu jinému nedává smysl, je jeho problém.

Zálohovací softwary dnes umějí přenášet data offsite a jedním směrem, aby nehrozila destrukce dat (třeba v důsledku kryptoviru). Na to není nutnou podmínkou rotace disků. Offsite zálohování je důležitější, než ho mít zároveň offline. Stupně tedy jsou:

  • Zálohuji.
  • Zálohuji tak, aby problém nepoškodil zálohy. (např. image VM, deduplikace, archiv záloh)
  • Zálohuji tak, aby problém nepoškodil zálohy a zálohy přenáším offsite.
  • Zálohuji tak, aby problém nepoškodil zálohy a zálohy přenáším offsite. K tomu pořizuji offline zálohy.
  • Dělám vše, a ještě dělám recovery testy.

Samozřejmě, když někdo považuje rsync za zálohovací řešení, pak už i ty ostatní stupně musí řešit operativně jinak (= podivně). Rotovat RAID disky znamená mít průběžně neustále starost o to, jestli vše probíhá dobře. To je plýtvání časem. Jednodušší je zvolit technologii, která co nejvíc funguje autonomně a kontrolovat až výsledky. Tj. co nejméně se věnovat služebníčkům a ideálně jednou za čas udělat zkušební obnovení.

Přijde mi, že ajťáci dělají bojové pole i z toho, co je dávno vymyšlené, hotové. Není potřeba znovu vynalézat kolo.

Nekdo rad holky, nekdo rad vdolky a nekdo rad ruskou ruletu s cennymi daty.

Kazdy sveho stesti strojvedoucim.


BTW: Chapu ze zalohovat veeamem film co sem stahnul s uloz.to je trochu jina liga, nez rsyncem na jetou sd kartu ucetnictvi CNB ;-)
Název: Re:RAID1 z USB diskov
Přispěvatel: by_cx 08. 10. 2020, 11:56:12
Samozřejmě, když někdo považuje rsync za zálohovací řešení, pak už i ty ostatní stupně musí řešit operativně jinak (= podivně).

Na rsync není nic špatného a další stupně se dají označit jen těžko za podivné. Uděláš snapshot předchozího stavu, rsyncneš nová data, po pár hodinách je to hotové a pak máš 20h okno na občasnou archivaci nebo aby si to roztahal stejným způsobem na další místa. Celé řešení je na pár řádků v BASHi. Rsync počítá checksum každého souboru, takže kromě toho, že se posílají jen změny, tak máš jistotu, že v cíli skončí přesná kopie. Pak voláš na Btrfs pravidelně scrub a víš, že se data nezměnila chybou úložiště. Je to mnohem transparentnější než nějaké blackbox řešení cenově úplně neporovnatelné ať už z pohledu správy, hardwaru nebo licence. Nemusíš se prát s nějakým podivným formátem, protože máš data vždy dostupná tak jak jsou na serveru a přečteš je kdekoli. Navíc se to dá úplně bez problémů zautomatizovat třeba přes Ansible.

Fakt by mě zajímalo, jaké "Zálohovací softwary" máš na mysli. Dovolím si říct, že těch pět bodů, co si sepsal, nesplní žádný. Rozhodně ne za cenu, aby se to pro většinu use-casů vůbec vyplatilo. Recovery testy a offline zálohy musíš řešit bokem tak jako tak.
Název: Re:RAID1 z USB diskov
Přispěvatel: Miroslav Šilhavý 08. 10. 2020, 12:12:31
Fakt by mě zajímalo, jaké "Zálohovací softwary" máš na mysli. Dovolím si říct, že těch pět bodů, co si sepsal, nesplní žádný. Rozhodně ne za cenu, aby se to pro většinu use-casů vůbec vyplatilo. Recovery testy a offline zálohy musíš řešit bokem tak jako tak.

Napadají mě Veeam, Acronis.
Z free splní vše, kromě offline záloh, Borg Backup.

Co se týče "vyplatilo", tak si dovolím tvrdit, že i drahý software je levnější než ajťak-oprašovač, který si honí ego na tom, že umí oparametrovat rsync a kontrolovat raidy, nemluvě o rizicích ze ztráty dat. Jediný den prostoje i té nejmenší firmy stojí tisíce, jakmile má pár zaměstnanců, tak desetitisíce (na mzdách, na ušlých příležitostech).
Název: Re:RAID1 z USB diskov
Přispěvatel: by_cx 08. 10. 2020, 12:25:44
Napadají mě Veeam, Acronis.
Z free splní vše, kromě offline záloh, Borg Backup.

Co se týče "vyplatilo", tak si dovolím tvrdit, že i drahý software je levnější než ajťak-oprašovač, který si honí ego na tom, že umí oparametrovat rsync a kontrolovat raidy, nemluvě o rizicích ze ztráty dat. Jediný den prostoje i té nejmenší firmy stojí tisíce, jakmile má pár zaměstnanců, tak desetitisíce (na mzdách, na ušlých příležitostech).

Zrovna na Veeam koukám, tohle je zajímavá pasáž z jejich podmínek:

Citace
Společnost Veeam za účelem podpory a zlepšování vztahu s vámi jako se zákazníkem může ukládat, zpracovávat a sdílet vaše osobní údaje se svými partnery a přidruženými společnostmi na celém světě

Borg backup běží na stroji, který se zálohuje, mimochodem bug nahlášení v 2016. Nesplní se tím tedy body dva z toho tvého seznamu. Recovery test také nebude dělat Borg Backup sám, ale musíš to naskriptovat.

Pokud se ti o servery stará někdo, kdo neumí nakonfigurovat server tak, aby měl, mimo jiné, přehled o stavu RAIDu a integrity filesystému, tak si myslím, že budeš nakonec řešit větší problémy než zálohy. A jsem si docela jistý, že lze špatně nakonfigurovat i ten Veeam, jen za to dáš pár set euro ročně navíc.
Název: Re:RAID1 z USB diskov
Přispěvatel: Miroslav Šilhavý 08. 10. 2020, 12:52:16
Borg backup běží na stroji, který se zálohuje, mimochodem bug nahlášení v 2016. Nesplní se tím tedy body dva z toho tvého seznamu. Recovery test také nebude dělat Borg Backup sám, ale musíš to naskriptovat.

Borg se dá volat kompletně vzdáleně, včetně append režimu. Pokud nezálohujete VM, tak vždy musíte mít něco lokálně na tom stroji (nazývejme to "agentem"). Tím se to neliší od rsyncu, který musí být taky na obou strojích.

Věřím, že adminové zvládají starost o RAID jak v produkci, tak v zálohován. V produkci asi častěji potkávají normální, dospělé raidy (ne ty softwarové), a proč se patlat se sw raidem na zálohy mi fakt uniká. Buďto je ajťák hračička, který si rád dokazuje, že i on to umí nakonfigurovat, nebo se ztratila rovnováha mezi hodnotou produktivní práce a jejím přínosem.
Název: Re:RAID1 z USB diskov
Přispěvatel: by_cx 08. 10. 2020, 13:25:39
Našel jsem v dokumentaci zálohování z lokálního stroje do vzdáleného repositáře, ale ne obráceně. Můžeš mi ukázat příklad, jak se to dělá? Ten hack s SSHFS fakt neberu.

Nevím, jestli má vůbec smysl snažit se vyargumentovat zbytek, protože se to dá jen těžko uchopit v kontextu reálného světa. Mám z posledních dvou reakcí pocit, že jedeš na Windows, kde se všechno kliká a na skriptování vůbec nesaháš, protože to už je pro ajťáky hračičky a oprašovače.
Název: Re:RAID1 z USB diskov
Přispěvatel: Miroslav Šilhavý 08. 10. 2020, 13:51:00
Našel jsem v dokumentaci zálohování z lokálního stroje do vzdáleného repositáře, ale ne obráceně. Můžeš mi ukázat příklad, jak se to dělá? Ten hack s SSHFS fakt neberu.

Nevím, jestli má vůbec smysl snažit se vyargumentovat zbytek, protože se to dá jen těžko uchopit v kontextu reálného světa. Mám z posledních dvou reakcí pocit, že jedeš na Windows, kde se všechno kliká a na skriptování vůbec nesaháš, protože to už je pro ajťáky hračičky a oprašovače.

Na pull mode je vícero způsobů, stačí si vybrat. Hledejte Borg pull mode. Nicméně, ono stačí vzdáleně zavolat začátek zálohování (a třeba vsunout klíč, jestli chcete být ještě o kus dál), a nic nebrání jet dál v push modu.

Jinak ano, scriptování považuji za pitomost tam, kde se nabízí hotové řešení, na kterém někdo pracuje a soustřeďuje požadavky. Tím se předchází chybám z toho, že se stovky lidí snaží udělat totéž, ale každý to "zvládne" s vlastními chybami. A ano, považuji cenu času kvalifikovaného člověka za vyšší, než nějaký software a hardware.
Název: Re:RAID1 z USB diskov
Přispěvatel: Jan Forman 08. 10. 2020, 14:12:44
Už dlouho jsem neviděl HW Raid, dneska už se něco takového snad ani nedělá. Je to pořád SW jen běží v nějakém ARMu a tváří se to jako to bývalo kdysi.
Třeba ten linuxovej RAID je všude možně a pak ty distribuované věci jsou vždycky v SW.

Jinak rsync je docela enterprise nástroj, používá se hodně a to kolikrát i v "profi" grafických toolech, kde je jen přebitý GUI.
Je to hlavně o tom, jak moc peněz organizace má a prioritách. Pokud má hodně peněz netrápí jí si postavit nějaké openřešení na míru. Pokud má málo - nakoupí nějaké hotové krabice a je to.

Pokud pracujete opravdu s velkým množstvím dat, vaše nástroje budou "podezřele neenterprise" z pohledu správce malého množství dat.
Pojedete prostě nějakou tu cassandru, ceph, rsync :) a budete přemýšlet jak přistupovat k těm petabajtům pokud možno v rozumném čase. Všechno bude strašně pomalé i když to budou milisekundy.

Není to tak jednoduché jak to vypadá a obvykle vás žádná krabice nespasí.
Jinak k dotazu USB je použitelné, ale pouze se stabilním hardwarem. Raspberry PI může být v RAID1, ale přenosovka bude tak 4Gbit/s share na oba. Pokud SW systém bude robustní, tak mu to vlastně může být zcela ukradené na tom by klidně běžel CEPH.

Ono NVMe, SATA nebo USB prostě teoreticky se může odpojit a zmizet  ;) je třeba se z toho nehroutit. USB je prostě o trošku horší. Praktické testy ukazují, že to lze. Otázkou je na co to je vhodné.
Název: Re:RAID1 z USB diskov
Přispěvatel: _Jenda 08. 10. 2020, 18:28:39
Když upadne kábl od disku (a je úplně ukradené jestli FC, SAS nebo USB nebo chcípne poštovní holub co ty data doručuje), data na něm zůstanou. Když se podělá disk, jste bez dat. Myslím že je tam docela viditelný rozdíl mezi (ne)dostupností dat  a jejich permanentní ztrátou.
Teď mi došlo, že tady si tazatel s nápadem použít tam BTRFS RAID zadělává na problém: btrfs nemá nic jako write-intent bitmap, takže po chvilkovém odpojení jednoho disku je potřeba celý rebalancovat, ne? Nebo to umí dozapsat jenom těch pár bloků co se od odpojení změnily?
Název: Re:RAID1 z USB diskov
Přispěvatel: datlikMS 08. 10. 2020, 19:56:56
ja som si niekolko rokov dozadu robil nad hp nx9020 SW raid na debiane (ubuntu) - nemam podsvietenie displeja, je to taky "serverik" na domace zuvania (hriankovac).
spravil som nad internym ATA (PATA) a USB (SATA2USB interface a SATA HDD), vzdy to zakapalo, lahol OS, zacal nieco logovat az to logoval tak casto, ze nic ine nestihal
potom som si kupil PCMCIA (dealextreme) kartu, ktora robi eSATA a SATA. napajkoval som na SATA power kabel USB - napajanie a pripojil SATA disk takym sposobom. Funguje to este teraz, viac ako 10 rokov. Aj ked raz som tu uz hladal uspesne podporu (pod upgrade ubuntu server na 18.04 nechcel nabootovat, lebo nevedel najst druhy disk z RAIDu). Musel som to manualne odobrat, nabootoval a pridat. Celkovo to nie je uplne najstastnejsie, lebo pocas bootovania loaduje driver PCMCIA az po diskoch, teda ten RAID je rozbity po reboote vzdy
RAID z USB diskov ... NIKDY
Název: Re:RAID1 z USB diskov
Přispěvatel: RDa 08. 10. 2020, 22:05:27
Když upadne kábl od disku (a je úplně ukradené jestli FC, SAS nebo USB nebo chcípne poštovní holub co ty data doručuje), data na něm zůstanou. Když se podělá disk, jste bez dat. Myslím že je tam docela viditelný rozdíl mezi (ne)dostupností dat  a jejich permanentní ztrátou.
Teď mi došlo, že tady si tazatel s nápadem použít tam BTRFS RAID zadělává na problém: btrfs nemá nic jako write-intent bitmap, takže po chvilkovém odpojení jednoho disku je potřeba celý rebalancovat, ne? Nebo to umí dozapsat jenom těch pár bloků co se od odpojení změnily?

A pokud to bude mit v raidu pres mdadm a az na nem ten btrfs? Pocitadlo events se na odpojenem disku nestihne updatovat, takze by to mohlo podle bitmapy updatovat po znovupridani jen ty nezmirrorovane pasy. Ale stejne re-add musi udelat rucne, po takovem vypadku.
Název: Re:RAID1 z USB diskov
Přispěvatel: max.g 09. 10. 2020, 14:01:48
RAID nad USB disky je chujovina. Není to na to určené, i kdyby to nakrásně fungovalo. V praxi spíš zažijete problémy, o bezpečnosti dat nemluvě.

Kdybyste něco o discích a RAID už věděl, nikdy by takový dotaz nemohl padnout. Pokud padl, znamená to, že ani o jednom toho zatím moc nevíte.


COZE? tak na toto som sa specialne prihlasil, pretoze to je proste blbost

ano, na enterprise riesenie to asi uplne nie je, ale na domace pouzitie aj na zabezpecenie citlivych dat uplne v pohode, pripadne aj na nejaky small office

mam uz 2.5 roka doma tak spraveny server - 2x 4TB seagate 2.5" cez USB 3.0 na Intel NUC, z toho je 2x 1TB v sw md raide a zvysok bud na nejake temp zalezitosti, instalacky atd, druhy zvysok na media - mp3, video atd

citlive data su len na tom RAIDe a uz aj pekne zafungoval, ked jeden ten disk odisiel, tak som ho zreklamoval, po tyzdnyiprisiel nahradny kus a proste som ho zapojil, zrekonstruoval md raid a o nic citlive som neprisiel, ano, prisiel som o 1TB porna na tom 3TB zvysku, to fakt mozem ozeliet
(edit: mohol som kludne mat jeden nahradny aby som nemusel tyzden cakat, ale je tam este jeden level viz nizsie)

este je tam zapojeny jeden 3TB USB3.0, na ktory sa v noci robi borg backup s deduplikovanim s retenciou dva mesiace dozadu

cize sa pytam - preco ste napisali nieco co nie je pravda?

dalej:


Kvůli odezvě, propustnosti, napájení, odpojení. Poslední dva body můžete asi s trochou péče vyřešit dobře, ale i tak se na USB musí počítat s tím, že se zařízení odpojí a připojí.

Pro RAID je zásadní ta odezva a následně i propustnost.

este raz - COZE?!?  za tych 2.5 roka som nemal jediny, JEDINY problem s nejakym odpojovanim, priepustnostou alebo cim, mam pochopitelne monitoring na mail keby sa stal nejaky raid event a predstavte si, ze okrem toho pokazeneho disku, ziaden degraded raid array nebol

vykon? 150Mb/s na domace pouzite je snad uplne v pohode, to uz to skor limituje gigova siet ako server

trepete blbosti, sorry, inak sa to neda napisat
Název: Re:RAID1 z USB diskov
Přispěvatel: joint007 09. 10. 2020, 16:32:17
Taky používám už více než 2 roky RAID na USB discích(SSD i HDD).. Ono to ani jinak na RPI4/NUC nejde..

To by mě fakt zajímalo, kde dělám chybu, že mi to ty 2 roky funguje bez jakéhokoli problému, žádné odpojování, nic z výše psaného.
Název: Re:RAID1 z USB diskov
Přispěvatel: _Jenda 09. 10. 2020, 19:22:00
A pokud to bude mit v raidu pres mdadm a az na nem ten btrfs?
Ano, pak (pokud bude zapnutá bitmapa - což je myslím defaultně od 1 TB nebo tak něco, ale samozřejmě se to dá nastavit ručně) se zapíšou pouze změněné pásy (granularita bývá typicky desítky MB, což je samozřejmě kompromis mezi rychlostí při používání (lokální úpravy kolem již jednou změněných dat nevyžadují přepis bitmapy) a rychlostí resyncu).
Název: Re:RAID1 z USB diskov
Přispěvatel: Linquerin 10. 10. 2020, 16:57:39
Ja som mal rpi3 s 2xhdd v Axagon boxoch (https://www.alza.sk/axago-ee35-xa3-aline-d1775025.htm) a k tomu ssd v malom Axagon boxe, a na tom NFS (neskor Sambu) a mne to trebars dost casto odpajalo tie hdd... skusal som vselijak prehadzovat, menit napajanie, menit pouzite rpi aj verziu OS a pod., a bez zmeny.. ssdcko v boxe drzalo bez problemov... ale tie disky odpajalo dost casto pri velkej zatazi, ked som tam poslal alebo tahal radovo stovky GB... ked som ale tie hdd pripojil k normalnemu pc, tam mi to drzalo v pohode, z coho vyvodzujem zaver, ze problem bol v rpi3, resp. zrejme v radici USB v kombinacii s tymi boxami od Axagonu... moznoze rpi4 je na tom lepsie, ked tu tvrdite, ze vam to roky funguje ok... mozno ma tam lepsi radic alebo co(neviem nechce sa mi to skumat)... Ja som to poriesil tak, ze rpi3 s tym ssd v ramceku som nechal na non-stop stahovanie torrentov, a na sambu mam osobitne postavene pc v normalnom pc case, a dalsie pc na zalohovanie... vsetky problemy s odpajanim samozrejme tymto vyriesene a ako plus je imho chladenie kde aj v poriadnej zatazi nestupne teplota hdd nad 34°C, a samozrejme rychlost prenosu...
Název: Re:RAID1 z USB diskov
Přispěvatel: redustin 10. 10. 2020, 20:21:05
RPi3 má USB2 v SoCu (IP dwc2 od Synopsys), 100Mbps (RPi3+ gigabit) ethernet přes USB-ethernet bridge. RPi4 má to samé USB2 na USB-C konektoru, ale k tomu USB3 řadič na PCI-e a gigabit ethernet v SOCu, napojený přes interní datový bus SoCu. Je to z pohledu USB a ethernetu úplně jiný HW.
Název: Re:RAID1 z USB diskov
Přispěvatel: k3dAR 10. 10. 2020, 20:58:11
k te zminene narazce na latenci a rychlost, pokud jde o USB3 port a zarizeni ma kvalitni na SATA prevodnik s UASP, tak se s diskem komunikuje primo pomoci SCSI s cteni/zapis ~400MBps, coz je 2-4x vice nez by vytezil HDD ;-)

samovolne se mi USB-HDD nikdy neodpojil, samozrejme pokud mam kabel veden tak blbe ze o nej muzu zavadit, tak vypadnout muze, ale to je to same jako by nekdo mel u klavesnice polozenej SATA disk a kvedlal SATA kabelem ;-)
Název: Re:RAID1 z USB diskov
Přispěvatel: cek_post.cz 12. 10. 2020, 16:40:48

citlive data su len na tom RAIDe a uz aj pekne zafungoval, ked jeden ten disk odisiel, tak som ho zreklamoval, po tyzdnyiprisiel nahradny kus a proste som ho zapojil, zrekonstruoval md raid a o nic citlive som neprisiel, ano, prisiel som o 1TB porna na tom 3TB zvysku, to fakt mozem ozeliet
(edit: mohol som kludne mat jeden nahradny aby som nemusel tyzden cakat, ale je tam este jeden level viz nizsie)



Tak zretelne mame uplne jine pojeti citlivych dat kdyz tyden nevadi jet na degradovanym RAIDu. Kdyz umre dalsi, tak to jako budete z ty zalohy obnovovat kam, kdyz nebude zadnej diskovej prostor? A co bude zbytek firmy mezitim delat?

Jako pro nejake to domaci zvykani at si kazdy pouziva co chce, ale pro citliva produkcni data bych fakt volil neco o dost jineho....
Název: Re:RAID1 z USB diskov
Přispěvatel: Miroslav Šilhavý 12. 10. 2020, 18:02:26
Problémem dnešních disků je jejich velká kapacita a zároveň rostoucí I/O load. Když disk vypadne z pole, tak synchronizace a kontrola trvá neúměrně dlouho. Proto se v prvé řadě pracuje na tom, aby disk nevypadl. V domácím prostředí se tomu dá aspoň trochu vyhnout tím, že se USB připojení vyhýbáme obloukem. V enterprise řešeních zase vyměňujeme disky preventivně. Nebývají výjimkou ani RAID-6 + několik hotspare disků. Nestává se zrovna zřídka, že při synchronizaci disků se při čtení z těch ostatních (nebo v případě RAID-1) zjistí, že i další disk je načatý (nebo už data vůbec nenačte).

RAID-1 na USB je prostě blbost. Bezpečnost dat to výrazně nezvýší. Teoreticky jsou dvě kopie dat, ale prakticky celou výhodu ztratíte právě při synchronizacích.
Název: Re:RAID1 z USB diskov
Přispěvatel: by_cx 12. 10. 2020, 18:44:46
Nevím jestli to mát být nějaký vtip nebo neznalost, ale RAID1 není o bezpečnosti dat ale o tom, že ten stroj funguje, i když se disk hned nevymění. Jako bonus při selhání jednoho disku nemusíte ve všech případech všechno obnovovat, ale stačí ho prostě vyměnit. Na USB tohle bude fungovat stejně dobře jako s čímkoli jiným.
Název: Re:RAID1 z USB diskov
Přispěvatel: Miroslav Šilhavý 12. 10. 2020, 18:51:41
Nevím jestli to mát být nějaký vtip nebo neznalost, ale RAID1 není o bezpečnosti dat ale o tom, že ten stroj funguje, i když se disk hned nevymění. Jako bonus při selhání jednoho disku nemusíte ve všech případech všechno obnovovat, ale stačí ho prostě vyměnit. Na USB tohle bude fungovat stejně dobře jako s čímkoli jiným.

Jakmile Vám vypadne jeden disk z RAID-1, tak provoz zastavujete, protože jste už bez redundance. V tomto režimu je to dobré akorát tak na bezpečné vypnutí všeho. A pak čekáte na synchronizaci, která při dnešních kapacitách trvá nepříjemně dlouho.

Představa, že se dá fungovat na degradovaném RAIDU je špatná, popírá to smysl RAIDU. Obdobně IT-kutilové nakládají s UPS - spokojí se s tím, že UPS vykryje výpadek, ale rádi zapomínají na to, že se musí nejprv dobít na kapacitu, aby zvládla ještě další výpadek.

Zdecimovaných raidů, kvůli přezírání (a i kvůli podcenění nastavení UPS), jsem v životě viděl víc, než bych chtěl.
Název: Re:RAID1 z USB diskov
Přispěvatel: by_cx 12. 10. 2020, 19:16:22
Víte, ty servery se neprovozují kvůli tomu RAIDu, ale kvůli službám co na nich běží. Pokud vypadne disk a služba může jet z druhého, tak prostě pojede těch pár hodin na jednom disku. O tom RAID je. Když vyměním disk a jede synchronizace, tak služba dál pokračuje. Nezastavuje se protože jsem přidal jeden disk.

V těch vašich příspěvcích mě ještě zarazila jedna věc. Vy nepouštíte synchronizaci pravidelně? Přece se nemůže stát, že vám vypadne disk a vy při synchronizaci zjistíte, že odešlo ještě pár dalších. Jako já vim, že nemáte rád skriptování, ale tak snad ten jeden skriptík v PowerShellu, který zkontroluje, jak na tom pole je, by se jednou za čas napsat dal ne?
Název: Re:RAID1 z USB diskov
Přispěvatel: RDa 12. 10. 2020, 19:17:14
Nevím jestli to mát být nějaký vtip nebo neznalost, ale RAID1 není o bezpečnosti dat ale o tom, že ten stroj funguje, i když se disk hned nevymění. Jako bonus při selhání jednoho disku nemusíte ve všech případech všechno obnovovat, ale stačí ho prostě vyměnit. Na USB tohle bude fungovat stejně dobře jako s čímkoli jiným.

Jakmile Vám vypadne jeden disk z RAID-1, tak provoz zastavujete, protože jste už bez redundance. V tomto režimu je to dobré akorát tak na bezpečné vypnutí všeho. A pak čekáte na synchronizaci, která při dnešních kapacitách trvá nepříjemně dlouho.


Tohle je velice subjektivni. Pokud vase prace ze 100% vytezuje dostupne IOPS uloziste, tak zvoleny RAID-1 je absolutne nevhodny a s velkou pravdepodobnosti vas to uloziste v produktivite davno omezuje.

Pokud bych uvazoval o obycejnem NASu slozenem z 1GbE + 2x HDD na USB3.0, tak pri rychlostech dnesnich HDD kolem 200MB/s, je toto uloziste zcela schopno fungovat i behem synchronizace, protoze pres to uzke hrdlo sitovky nikdy nevytizite ty disky naraz.

Jakkoliv se vam to muze nelibit, tak RAID-1 jakozto redundance je zcela dostacujici pro udrzeni *nenarocneho* provozu v chodu bez vypadku. Zas nedelejme z degradovaneho pole strasaka.. fungovat se na tom da. A kdyz to odejde.. porad mate offline zalohu :)