RAID1 z USB diskov

[redustin]

Na zálohy se nekladou takové požadavky jako na pracovní data. Záloha je "něco navíc".

Jak pro koho. Zálohy obsahují historická data firmy, sakra důležité.

Nedovedu si moc představit use case pro rotující sady disků v raidu.

Offline záloha 20TB se na jeden disk stále ještě nevejde. Nicméně nikde jsem netvrdil, že to jede přes USB, reagoval jsem na argument ohledně údajného problému linuxového mdadm s měnícími se jmény disků.

RAID-1 je technologie zvyšující spolehlivost dat. USB je na připojení dat spíš méně spolehlivé (obecně). Kombinovat RAID a USB je kočkopes.

Spoustu spokojených uživatelů RPi4 (USB3 s vlastním řadičem na PCIe) a mdadm raidu si to nemyslí.

[Reklama]

[Miroslav Šilhavý]

@redustin

Pletete zálohy a archiv dat do jednoho. Záloha != archiv. I tak to neopodstatňuje použití USB RAIDU, vlastně ani obyčejného RAIDU.

Mdadm si samozřejmě s UUID disků poradí nejlépe a je to preferovaná cesta. Ne však jediná - a opět, tazatel už musí něco znát. A např. se musí obloukem vyhnout klonování disků přes dd, což je taky jedna z oblíbených rad pro "spokojené uživatele", co kolují internetem.

Spokojení uživatelé s USB raidem - no, ehm, ono už se nedočtete, když pak mají problémy. 90 % z nich, troufám si tvrdit, neumí ty problémy vidět, ani kdyby tam byly. USB je jednoznačně určené pro vyměnitelná média a periferie. Povýšit vyměnitelný disk za trvalý je pitomost.

[RDa]

Na zálohy se nekladou takové požadavky jako na pracovní data. Záloha je "něco navíc".

Jak pro koho. Zálohy obsahují historická data firmy, sakra důležité.

Kazdy mame holt jine meritka. Zatimco mi doma pro osobni i pracovni veci chrochtaj disky povesene na 12G SAS expanderu a prislusnem SAS HBA, v rackovem hoswapu, vase firma vesele nasazuje na dulezite zalohy USB disky na RPi :-)

Btw, tri z toho obriho poolu disku jsou 2.5" 4T (SMR) - kuchute z USB3 boxu - by me ani nenapadlo to pouzivat na USB3 a obetuji kvuli tomu i zaruku - protoze problemy se storage jsou problemy, ktere nechci a nemuzu si dovolit resit, kdyz na necem delam.

[_Jenda]

Připojené k RPi4 a používáme to na zálohování ~1TB dat ze serverů.

Osobně bych pro zálohování nepoužíval RAID 1, ale v takovém případě bych třeba liché dny zálohoval na jeden disk a sudé dny na druhý. (nebo pracovní/víkend)

Pokud použiješ Raspberry Pi, mrkni na SD karty WD Purple. Měly by mít wear leveling, takže neodpadnou po 200 zápisech do jednoho místa.

Díky za tip, osobně mám s microSD kartami naprosto příšerné zkušenosti, třeba tohle bude lepší… Jinak Raspberry umí bootovat z USB mass storage. Jednak flashdisky jsou možná o trošku spolehlivější, jednak by se mohlo bootovat přímo z toho boxu s disky.

Zatimco mi doma pro osobni i pracovni veci chrochtaj disky povesene na 12G SAS expanderu a prislusnem SAS HBA, v rackovem hoswapu, vase firma vesele nasazuje na dulezite zalohy USB disky na RPi :-)

A vyhraje on, přesně v okamžiku, kdy se tomu SASu něco stane, nebudete to mít kde přečíst, zatímco on disky vyndá a připojí k jakémukoli počítači se SATA a pole jednoduše sestaví. Navíc za cenu vašeho SASu si ty boxy s Raspberry může koupit tři a rozmístit je na tři různá místa.

Edit: pokud jsou ty disky SATA (což by asi odpovídalo tomu, že je kucháte z USB rámečků), tak většina této kritiky odpadá.

[by_cx]

... firma vesele nasazuje na dulezite zalohy USB disky na RPi :-)

... protoze problemy se storage jsou problemy, ktere nechci a nemuzu si dovolit resit, kdyz na necem delam.

Vsadil si na nějakou mašinu a doufáš v nejlepší, proč ne. Já jsem s řešením s USB disky začal někdy před rokem. RPI4 s jedním SSD diskem a jedním HDD bez raidu a funguje to bez problémů do teď. Mám na tom doma ty nejdůležitější soubory, fotky, zdrojáky na kterých pracuju a také Syncthing, který to kopíruje na různé počítače a jeden server v cloudu. Můžu ten stroj rozsekat kladivem a v počítači to poznám jen tak, že se mi odpojí jeden z nodů v Syncthingu. Přidat jiný node je otázkou patnácti minut.

Tak jsme si řekli, proč nepoužít něco podobného na zálohy našich serverů a udělali jsme to. Vzali jsme to co mám doma, vylepšili design, aby z toho nebyl chuchvalec drátů a od té doby to běží. Btrfs se stará o deduplikaci, RAID a kontrolu integrity. Zálohování probíhá přes rsync. RPi4 to zvládá s přehledem. K výpadkům disků nedochází. K výpadkům celého serveru už vůbec ne.

Trochu si myslím, že si úplně neuvědomuješ, k čemu to uložiště máme my a k čemu ho používáš ty. Ale dejme tomu, že ten tvůj use-case je stejný jako ten náš. Pokud o ten jeden stroj přijdeš, tak si přišel o několik desítek tisíc a zálohy. Pokud nám někdo rozšlápne to Raspberry Pi, přišli jsme o stejná data ale jen 10k. Na druhou stranu jsme si jen za cenu té tvé SAS karty mohli pořídit další dvě taková uložiště a o data jsme nakonec nepřišli. Navíc na nás bude během pár hodin v Alze čekat na chlup stejný hardware připravený k nasazení.

[Reklama]

[redustin]

Kazdy mame holt jine meritka. Zatimco mi doma pro osobni i pracovni veci chrochtaj disky povesene na 12G SAS expanderu a prislusnem SAS HBA, v rackovem hoswapu, vase firma vesele nasazuje na dulezite zalohy USB disky na RPi :-)

Stačilo by trochu číst - reakce byla na enumeraci disků do mdadm, o USB v tom odstavci není ani slovo. 2x 16portů a 1x 8portů SAS HBA, napřímo bez expandéru. Kde jinde než hotswap v racku.

Pro domácí použití bych se RPi4 a raid přes USB3 vůbec nebál, kdybych měl tu potřebu.

[RDa]

Kazdy mame holt jine meritka. Zatimco mi doma pro osobni i pracovni veci chrochtaj disky povesene na 12G SAS expanderu a prislusnem SAS HBA, v rackovem hoswapu, vase firma vesele nasazuje na dulezite zalohy USB disky na RPi :-)

Stačilo by trochu číst - reakce byla na enumeraci disků do mdadm, o USB v tom odstavci není ani slovo. 2x 16portů a 1x 8portů SAS HBA, napřímo bez expandéru. Kde jinde než hotswap v racku.

Ah, omlouvam se, bylo to na kolegu vedle.

Ja jedu skrz expander, ktery jsem dostal k tem hotswap rackum, protoze predchozi majitel presel na hotovej NAS. Nastesti to neni backplane, ale ve forme pcie karty. Radice jsou Dell H830 (maj jen dva x4 externi porty), samozrejme eBay - kus za 15 GBP.. no neber to :-) Ze 4 jsem rozjel 3 - chyba byla stejna, znicenej keramicky kodan, ktery si prosel meltdownem - zrejme se tam osadil nejaky smejd. Nemusi se vse prece kupovat novy - nebo az je potreba.. trh se sleduje porad a pak vznikaji zajimave upgrady. Takze lokalni HW zaloha/nahrazka je skladem v dostatecnem poctu, a off-site je ponekud z ruky aby to bylo prvni/jediny, po cem se da sahnout. To uz chce poradnou katastrofu abych tam absolvoval cestu. Meni se tu hlavne disky - cim mladsi (novejsi), tim driv umrou.

Pro me je horsi vymyslet zalohovaci (resp. snapshotovaci) politiku, protoze nemam standardni a stejny workload - takze spis to uloziste jenom bobtna, protoze co kdyby bylo potreba projit stara data. Je snazsi vclenit dalsi disk, nez resit o co prijit a co jeste nechat.

To, ze se jedna kopie znici je paradoxne ten lepsi pripad - co me trapi vic je propagace smazani (nebo viroveho zasifrovani) do replik a odstraneni snapshotu, ze ktereho by to slo obnovit. Ale to jsme u zcela jineho problemu

[redustin]

Jo, ebayové SAS HBA PCIe řadiče používáme všude, nic jim není a ve skladu je pár rezervních, stály pár stovek. Kdyby odešel server, přehodí se karty do jiného a skříň s hotswap disky se připojí do nich. Původně jsem dělal hotswap bednu DIY, ale kabely na šlahounech neměly dobrý kontakt a jednou za pár měsíců nějaký disk vypadl. To nebylo udržitelné, takže Supermicro bedna s hotswap disky s klasickými externími SASx4 konektory. Od té doby nebyl jediný problém.

Jsem přesvědčený, že kdyby se mechanicky dobře provedená bedna s několika disky, kvalitními UAS adaptéry, kvalitním USB hubem a dobrým napájením připíchla kvalitním kabelem do USB3 stabilního kompu, běželo by to také spolehlivě. Samozřejmě ne tak rychle, driver USB by žral CPU při skládání USB rámců, ale třeba pro domácí účely úplně v pohodě. Takové bedny se běžně prodávají, např. z dražších https://www.alza.cz//icy-box-ib-3740-c31-cerne-d5702958.htm

[jouda2]

• Na zálohy se nekladou takové požadavky jako na pracovní data. Záloha je "něco navíc".

S tímhle mi přijít do produkce, to bych Vás hnal že by se i ostraha divila jak rychle.

• Nedovedu si moc představit use case pro rotující sady disků v raidu.

Offsite zálohu? Stačí se letmo podívat na cenu technologií k tomu určených (LTO7) a pro SoHo využití je hned jasno.

• RAID-1 je technologie zvyšující spolehlivost dat. USB je na připojení dat spíš méně spolehlivé (obecně). Kombinovat RAID a USB je kočkopes.

Když upadne kábl od disku (a je úplně ukradené jestli FC, SAS nebo USB nebo chcípne poštovní holub co ty data doručuje), data na něm zůstanou. Když se podělá disk, jste bez dat. Myslím že je tam docela viditelný rozdíl mezi (ne)dostupností dat  a jejich permanentní ztrátou.

[Miroslav Šilhavý]

@J ouda

Záloh bývá víc a verifikují se. Selhání jednoho média není u záloh zásadní, naopak se s ním počítá v plánech. Pokud potřebuji rotaci médií, pak opravdu volím LTO nebo RDX. Nicméně, dnes se to dá docela smysluplně nahradit zálohováním virtuálek a deduplikací záloh. Tím může vzniknout velký archiv, který se přelévá i offsite, případně čas od času offline kopie. Nehrozí tak ani rozšíření kryptovirů a díky archivu záloh ani rozšíření vymazání dat do záloh. Při takovém řešení dává smysl úložiště na poli, ale pak už nedává smysl rotace médií.

[redustin]

I zálohovací server s deduplikovanými zálohami za deset let zpět se musí zálohovat na offsite média. Někdo volí pásky, někdo volí několik sad disků do raidu, které točí každý týden, každá sada umístěná jinde a nikdy se nepotkají na jednom místě. Že to někomu jinému nedává smysl, je jeho problém.

[Miroslav Šilhavý]

I zálohovací server s deduplikovanými zálohami za deset let zpět se musí zálohovat na offsite média. Někdo volí pásky, někdo volí několik sad disků do raidu, které točí každý týden, každá sada umístěná jinde a nikdy se nepotkají na jednom místě. Že to někomu jinému nedává smysl, je jeho problém.

Zálohovací softwary dnes umějí přenášet data offsite a jedním směrem, aby nehrozila destrukce dat (třeba v důsledku kryptoviru). Na to není nutnou podmínkou rotace disků. Offsite zálohování je důležitější, než ho mít zároveň offline. Stupně tedy jsou:

• Zálohuji.
• Zálohuji tak, aby problém nepoškodil zálohy. (např. image VM, deduplikace, archiv záloh)
• Zálohuji tak, aby problém nepoškodil zálohy a zálohy přenáším offsite.
• Zálohuji tak, aby problém nepoškodil zálohy a zálohy přenáším offsite. K tomu pořizuji offline zálohy.
• Dělám vše, a ještě dělám recovery testy.

Samozřejmě, když někdo považuje rsync za zálohovací řešení, pak už i ty ostatní stupně musí řešit operativně jinak (= podivně). Rotovat RAID disky znamená mít průběžně neustále starost o to, jestli vše probíhá dobře. To je plýtvání časem. Jednodušší je zvolit technologii, která co nejvíc funguje autonomně a kontrolovat až výsledky. Tj. co nejméně se věnovat služebníčkům a ideálně jednou za čas udělat zkušební obnovení.

Přijde mi, že ajťáci dělají bojové pole i z toho, co je dávno vymyšlené, hotové. Není potřeba znovu vynalézat kolo.

[petrisdiver]

I zálohovací server s deduplikovanými zálohami za deset let zpět se musí zálohovat na offsite média. Někdo volí pásky, někdo volí několik sad disků do raidu, které točí každý týden, každá sada umístěná jinde a nikdy se nepotkají na jednom místě. Že to někomu jinému nedává smysl, je jeho problém.

Zálohovací softwary dnes umějí přenášet data offsite a jedním směrem, aby nehrozila destrukce dat (třeba v důsledku kryptoviru). Na to není nutnou podmínkou rotace disků. Offsite zálohování je důležitější, než ho mít zároveň offline. Stupně tedy jsou:

• Zálohuji.
• Zálohuji tak, aby problém nepoškodil zálohy. (např. image VM, deduplikace, archiv záloh)
• Zálohuji tak, aby problém nepoškodil zálohy a zálohy přenáším offsite.
• Zálohuji tak, aby problém nepoškodil zálohy a zálohy přenáším offsite. K tomu pořizuji offline zálohy.
• Dělám vše, a ještě dělám recovery testy.

Samozřejmě, když někdo považuje rsync za zálohovací řešení, pak už i ty ostatní stupně musí řešit operativně jinak (= podivně). Rotovat RAID disky znamená mít průběžně neustále starost o to, jestli vše probíhá dobře. To je plýtvání časem. Jednodušší je zvolit technologii, která co nejvíc funguje autonomně a kontrolovat až výsledky. Tj. co nejméně se věnovat služebníčkům a ideálně jednou za čas udělat zkušební obnovení.

Přijde mi, že ajťáci dělají bojové pole i z toho, co je dávno vymyšlené, hotové. Není potřeba znovu vynalézat kolo.

Nekdo rad holky, nekdo rad vdolky a nekdo rad ruskou ruletu s cennymi daty.

Kazdy sveho stesti strojvedoucim.


BTW: Chapu ze zalohovat veeamem film co sem stahnul s uloz.to je trochu jina liga, nez rsyncem na jetou sd kartu ucetnictvi CNB ;-)

[by_cx]

Samozřejmě, když někdo považuje rsync za zálohovací řešení, pak už i ty ostatní stupně musí řešit operativně jinak (= podivně).

Na rsync není nic špatného a další stupně se dají označit jen těžko za podivné. Uděláš snapshot předchozího stavu, rsyncneš nová data, po pár hodinách je to hotové a pak máš 20h okno na občasnou archivaci nebo aby si to roztahal stejným způsobem na další místa. Celé řešení je na pár řádků v BASHi. Rsync počítá checksum každého souboru, takže kromě toho, že se posílají jen změny, tak máš jistotu, že v cíli skončí přesná kopie. Pak voláš na Btrfs pravidelně scrub a víš, že se data nezměnila chybou úložiště. Je to mnohem transparentnější než nějaké blackbox řešení cenově úplně neporovnatelné ať už z pohledu správy, hardwaru nebo licence. Nemusíš se prát s nějakým podivným formátem, protože máš data vždy dostupná tak jak jsou na serveru a přečteš je kdekoli. Navíc se to dá úplně bez problémů zautomatizovat třeba přes Ansible.

Fakt by mě zajímalo, jaké "Zálohovací softwary" máš na mysli. Dovolím si říct, že těch pět bodů, co si sepsal, nesplní žádný. Rozhodně ne za cenu, aby se to pro většinu use-casů vůbec vyplatilo. Recovery testy a offline zálohy musíš řešit bokem tak jako tak.

[Miroslav Šilhavý]

Fakt by mě zajímalo, jaké "Zálohovací softwary" máš na mysli. Dovolím si říct, že těch pět bodů, co si sepsal, nesplní žádný. Rozhodně ne za cenu, aby se to pro většinu use-casů vůbec vyplatilo. Recovery testy a offline zálohy musíš řešit bokem tak jako tak.

Napadají mě Veeam, Acronis.
Z free splní vše, kromě offline záloh, Borg Backup.

Co se týče "vyplatilo", tak si dovolím tvrdit, že i drahý software je levnější než ajťak-oprašovač, který si honí ego na tom, že umí oparametrovat rsync a kontrolovat raidy, nemluvě o rizicích ze ztráty dat. Jediný den prostoje i té nejmenší firmy stojí tisíce, jakmile má pár zaměstnanců, tak desetitisíce (na mzdách, na ušlých příležitostech).