Fórum Root.cz
Hlavní témata => Hardware => Téma založeno: brk 10. 01. 2016, 10:28:45
-
Mám strukturu adresářů se soubory, která má celkem cca 1,8GB a obsahuje cca 24 000 spíše drobných souborů a adresářů. Tuhle adresářovou strukturu zálohuji pomocí hardlinků a rsyncu. Reálně tak obden vznikne cca 10-20 souborů, co zabírají cca 10MB. Zbytek jsou jen hardlinky na předchozí den. Po dvou týdnech držím tyhle struktury už jen v týdenním intervalu a po roce v měsíčním. V tuto chvíli mám tyhle data za poslední rok a má to celkem 2,5GB a je toho cca 120 000 souborů a adresářů.
Uvažuji, že bych na tohle použil Raspberry Pi 2 a ukládal to na SDHC kartu. Vlastních dat není moc, ale nejsem si jistý, jak s těmi hardlinky bude zacházet souborový systém. Očekával bych, že si to celé bude držet v cache a zapíše najednou, nebo alespoň v několika dávkách, ale je to tak opravdu? Nerad bych tu kartu brzo odepsal kvůli množství zápisu.
Pokud je to průchozí, jaký souborový systém a s jakým nastavením by byl na tohle nejvhodnější?
-
Očekával bych, že si to celé bude držet v cache a zapíše najednou, nebo alespoň v několika dávkách
Obávám se, že různé adresáře to rozmetá na různá místa, takže to vždycky bude znamenat nový erase blok.
Pokud je to průchozí, jaký souborový systém a s jakým nastavením by byl na tohle nejvhodnější?
Vykašlat se na hardlinky a používat btrfs snapshoty?
-
Obávám se, že různé adresáře to rozmetá na různá místa, takže to vždycky bude znamenat nový erase blok.
Těch adresářů je celkem 480. :-\
Vykašlat se na hardlinky a používat btrfs snapshoty?
Jak je na tom Btrfs nyní reálně? Kdysi jsem ho zkoušel a moc nadšený jsem nebyl, ale už to bude hodně let. 200[5-9] bych tak tipoval. Od té doby mě nějak míjel, i když uznávám, že v dnešní době se vzrůstajícím počtem sraček typu CryptoLocker může být čím dál zajímavější. Před pár dny jsem četl následující blog a i přes jistou nejednoznačnost mě to stále nějak úplně nenadchlo.
http://www.abclinuxu.cz/blog/Drobnosti/2015/12/lesk-a-bida-btrfs-aneb-neverte-diskum-a-paranoidne-zalohujte (http://www.abclinuxu.cz/blog/Drobnosti/2015/12/lesk-a-bida-btrfs-aneb-neverte-diskum-a-paranoidne-zalohujte)
-
Obávám se, že různé adresáře to rozmetá na různá místa, takže to vždycky bude znamenat nový erase blok.
Těch adresářů je celkem 480. :-\
Vykašlat se na hardlinky a používat btrfs snapshoty?
Jak je na tom Btrfs nyní reálně? Kdysi jsem ho zkoušel a moc nadšený jsem nebyl, ale už to bude hodně let. 200[5-9] bych tak tipoval. Od té doby mě nějak míjel, i když uznávám, že v dnešní době se vzrůstajícím počtem sraček typu CryptoLocker může být čím dál zajímavější. Před pár dny jsem četl následující blog a i přes jistou nejednoznačnost mě to stále nějak úplně nenadchlo.
http://www.abclinuxu.cz/blog/Drobnosti/2015/12/lesk-a-bida-btrfs-aneb-neverte-diskum-a-paranoidne-zalohujte (http://www.abclinuxu.cz/blog/Drobnosti/2015/12/lesk-a-bida-btrfs-aneb-neverte-diskum-a-paranoidne-zalohujte)
Co
ZFS nebo Veritas. Nic jineho nedavra pro data kterych si vazis smysl. Pripadne nad tim postavit archaicky koncept volume manageru. Coz je sice koncept pamatujici dobu mainframu a old school storage pristupu, nicmene provereny. Co se tyce paranoidnich zaloh tak to same plati u ZFS. U veritasu pri komercni podpore a podpore recovery firem mas velmi dobrou sanci na obnovu. U ZFS jak rikal tavarisc lenin :Backup! Backup! Backup!
I kdybys to mel zalohovat na papir. Redundance medii neni zaloha. Snapshoty nejsou zaloha.
-
Jediný bug, který se mi daří u btrfs vyvolávat, je, že mount trvá desítky sekund. Není to blocker, ale je to divné. Jinak to funguje. Já bych to nasadil.
2009 je fakt dávno, btrfs vznikl někdy v 2008.
ZFS nebo Veritas. Nic jineho nedavra pro data kterych si vazis smysl.
Má to na SDHC kartě. Spolehlivost FS bude mít o řád menší vliv.
-
na kartu jen system(a treba i readonly) a data ukladej na (treba i nejakou kvalitnejsi) USB flasku...
-
na kartu jen system(a treba i readonly) a data ukladej na (treba i nejakou kvalitnejsi) USB flasku...
A je mezi tím flahdiskem a SD kartou nějaký dramatický rozdíl? Osobně bych ho tam nečekal a pak moc nevidím přínos tohoto řešení.
-
na kartu jen system(a treba i readonly) a data ukladej na (treba i nejakou kvalitnejsi) USB flasku...
A je mezi tím flahdiskem a SD kartou nějaký dramatický rozdíl? Osobně bych ho tam nečekal a pak moc nevidím přínos tohoto řešení.
minimalně je většinou jenodušší ze zálohy obnovovat data, než systém.
Už proto že pokud ti běží systém, tak na místě jen vyměníš flash a data naliješ přes síť - nebo můžeš mít v tom boxu píchnutý dvě flashky a jen vzdáleně změníš symlink.
Pokud ti chcípne systémový disk tak máš downtime.
-
minimalně je většinou jenodušší ze zálohy obnovovat data, než systém.
Už proto že pokud ti běží systém, tak na místě jen vyměníš flash a data naliješ přes síť - nebo můžeš mít v tom boxu píchnutý dvě flashky a jen vzdáleně změníš symlink.
Pokud ti chcípne systémový disk tak máš downtime.
To sice jo, ale je to celkem detail. Mi jde jen o to, jestli to ta karta může rozumnou dobu vydržet, řekněme třeba rok a pokud ano, tak s jakým FS a jeho nastavením. Jestli tam bude víceméně čisté distro s jením skriptem v cronu, tak to nemusím řešit. Nahraji image na kartu a jede se dál.
-
To sice jo, ale je to celkem detail. Mi jde jen o to, jestli to ta karta může rozumnou dobu vydržet, řekněme třeba rok a pokud ano, tak s jakým FS a jeho nastavením. Jestli tam bude víceméně čisté distro s jením skriptem v cronu, tak to nemusím řešit. Nahraji image na kartu a jede se dál.
jenze karty jsou dost casto blackbox s nepredvidatelnym chovanim.
Mam kartu v uplne prvnim raspi co bylo dostupny a bezi mi to porad s tou originalni. (/dev/mmcblk0p2 / ext4 defaults,noatime 0 1).
Setkal jsem se s kartami co jsou "jen" ve fotaku/mobilu a chciply daleko driv.(<2 roky)
Z myho pohledu jsou karty blby v tom, ze narozdil od HDD/SSD nemas zadny ukazatele (smart) kde se da vycist dylka provozu a odhadnout stav.
Spis bych to tedy ukladall na dve flashky a pak to nejak zkousel verifikovat. Ale jinak se mi rapsberry pi jako zalohovaci platforma prilis nepozdava..
-
Neco podobneho provozuji na RPi asi 3 roky a SD karty to dlouho nevydrzely. Nakonec jsem to udelal tak, ze na SD je jen boot o vse ostatni je na externim USB harddisku. Ten disk je k RPi pripojenej pres USB kabel s rozdvojkou, ktera vede i do zdroje, aby napajeni disku neslo pres RPi. Funguje to spolehlive uz druhym rokem. Ten disk ma sice male iops (kolem 50), ale aplikace nastesti neni na io narocna, takze je to Ok.