Životnost SD karty při používání hardlinků

brk

Životnost SD karty při používání hardlinků
« kdy: 10. 01. 2016, 10:28:45 »
Mám strukturu adresářů se soubory, která má celkem cca 1,8GB a obsahuje cca 24 000 spíše drobných souborů a adresářů. Tuhle adresářovou strukturu zálohuji pomocí hardlinků a rsyncu. Reálně tak obden vznikne cca 10-20 souborů, co zabírají cca 10MB. Zbytek jsou jen hardlinky na předchozí den. Po dvou týdnech držím tyhle struktury už jen v týdenním intervalu a po roce v měsíčním. V tuto chvíli mám tyhle data za poslední rok a má to celkem 2,5GB a je toho cca 120 000 souborů a adresářů.

Uvažuji, že bych na tohle použil Raspberry Pi 2 a ukládal to na SDHC kartu. Vlastních dat není moc, ale nejsem si jistý, jak s těmi hardlinky bude zacházet souborový systém. Očekával bych, že si to celé bude držet v cache a zapíše najednou, nebo alespoň v několika dávkách, ale je to tak opravdu? Nerad bych tu kartu brzo odepsal kvůli množství zápisu.

Pokud je to průchozí, jaký souborový systém a s jakým nastavením by byl na tohle nejvhodnější?


Jenda

Re:Životnost SD karty při používání hardlinků
« Odpověď #1 kdy: 10. 01. 2016, 10:33:33 »
Očekával bych, že si to celé bude držet v cache a zapíše najednou, nebo alespoň v několika dávkách
Obávám se, že různé adresáře to rozmetá na různá místa, takže to vždycky bude znamenat nový erase blok.

Pokud je to průchozí, jaký souborový systém a s jakým nastavením by byl na tohle nejvhodnější?
Vykašlat se na hardlinky a používat btrfs snapshoty?

brk

Re:Životnost SD karty při používání hardlinků
« Odpověď #2 kdy: 10. 01. 2016, 10:59:22 »
Obávám se, že různé adresáře to rozmetá na různá místa, takže to vždycky bude znamenat nový erase blok.
Těch adresářů je celkem 480.  :-\

Vykašlat se na hardlinky a používat btrfs snapshoty?
Jak je na tom Btrfs nyní reálně? Kdysi jsem ho zkoušel a moc nadšený jsem nebyl, ale už to bude hodně let. 200[5-9] bych tak tipoval. Od té doby mě nějak míjel, i když uznávám, že v dnešní době se vzrůstajícím počtem sraček typu CryptoLocker může být čím dál zajímavější. Před pár dny jsem četl následující blog a i přes jistou nejednoznačnost mě to stále nějak úplně nenadchlo.
http://www.abclinuxu.cz/blog/Drobnosti/2015/12/lesk-a-bida-btrfs-aneb-neverte-diskum-a-paranoidne-zalohujte

Trident

Re:Životnost SD karty při používání hardlinků
« Odpověď #3 kdy: 10. 01. 2016, 11:19:58 »
Obávám se, že různé adresáře to rozmetá na různá místa, takže to vždycky bude znamenat nový erase blok.
Těch adresářů je celkem 480.  :-\

Vykašlat se na hardlinky a používat btrfs snapshoty?
Jak je na tom Btrfs nyní reálně? Kdysi jsem ho zkoušel a moc nadšený jsem nebyl, ale už to bude hodně let. 200[5-9] bych tak tipoval. Od té doby mě nějak míjel, i když uznávám, že v dnešní době se vzrůstajícím počtem sraček typu CryptoLocker může být čím dál zajímavější. Před pár dny jsem četl následující blog a i přes jistou nejednoznačnost mě to stále nějak úplně nenadchlo.
http://www.abclinuxu.cz/blog/Drobnosti/2015/12/lesk-a-bida-btrfs-aneb-neverte-diskum-a-paranoidne-zalohujte
Co
ZFS nebo Veritas. Nic jineho nedavra pro data kterych si vazis smysl. Pripadne nad tim postavit archaicky koncept volume manageru. Coz je sice koncept pamatujici dobu mainframu a old school storage pristupu, nicmene provereny. Co se tyce paranoidnich zaloh tak to same plati u ZFS. U veritasu pri komercni podpore a podpore recovery firem mas velmi dobrou sanci na obnovu. U ZFS jak rikal tavarisc lenin :Backup! Backup! Backup!

I kdybys to mel zalohovat na papir. Redundance medii neni zaloha. Snapshoty nejsou zaloha.

Jenda

Re:Životnost SD karty při používání hardlinků
« Odpověď #4 kdy: 10. 01. 2016, 12:21:05 »
Jediný bug, který se mi daří u btrfs vyvolávat, je, že mount trvá desítky sekund. Není to blocker, ale je to divné. Jinak to funguje. Já bych to nasadil.

2009 je fakt dávno, btrfs vznikl někdy v 2008.

ZFS nebo Veritas. Nic jineho nedavra pro data kterych si vazis smysl.
Má to na SDHC kartě. Spolehlivost FS bude mít o řád menší vliv.


nobody

Re:Životnost SD karty při používání hardlinků
« Odpověď #5 kdy: 10. 01. 2016, 12:39:20 »
na kartu jen system(a treba i readonly) a data ukladej na (treba i nejakou kvalitnejsi) USB flasku...

brk

Re:Životnost SD karty při používání hardlinků
« Odpověď #6 kdy: 10. 01. 2016, 13:20:26 »
na kartu jen system(a treba i readonly) a data ukladej na (treba i nejakou kvalitnejsi) USB flasku...

A je mezi tím flahdiskem a SD kartou nějaký dramatický rozdíl? Osobně bych ho tam nečekal a pak moc nevidím přínos tohoto řešení.

jose_d

Re:Životnost SD karty při používání hardlinků
« Odpověď #7 kdy: 10. 01. 2016, 13:50:31 »
na kartu jen system(a treba i readonly) a data ukladej na (treba i nejakou kvalitnejsi) USB flasku...
A je mezi tím flahdiskem a SD kartou nějaký dramatický rozdíl? Osobně bych ho tam nečekal a pak moc nevidím přínos tohoto řešení.
minimalně je většinou jenodušší ze zálohy obnovovat data, než systém.
Už proto že pokud ti běží systém, tak na místě jen vyměníš flash a data naliješ přes síť - nebo můžeš mít v tom boxu píchnutý dvě flashky a jen vzdáleně změníš symlink.
Pokud ti chcípne systémový disk tak máš downtime.

brk

Re:Životnost SD karty při používání hardlinků
« Odpověď #8 kdy: 10. 01. 2016, 14:03:39 »
minimalně je většinou jenodušší ze zálohy obnovovat data, než systém.
Už proto že pokud ti běží systém, tak na místě jen vyměníš flash a data naliješ přes síť - nebo můžeš mít v tom boxu píchnutý dvě flashky a jen vzdáleně změníš symlink.
Pokud ti chcípne systémový disk tak máš downtime.

To sice jo, ale je to celkem detail. Mi jde jen o to, jestli to ta karta může rozumnou dobu vydržet, řekněme třeba rok a pokud ano, tak s jakým FS a jeho nastavením. Jestli tam bude víceméně čisté distro s jením skriptem v cronu, tak to nemusím řešit. Nahraji image na kartu a jede se dál.

jose_d

Re:Životnost SD karty při používání hardlinků
« Odpověď #9 kdy: 10. 01. 2016, 14:13:44 »
To sice jo, ale je to celkem detail. Mi jde jen o to, jestli to ta karta může rozumnou dobu vydržet, řekněme třeba rok a pokud ano, tak s jakým FS a jeho nastavením. Jestli tam bude víceméně čisté distro s jením skriptem v cronu, tak to nemusím řešit. Nahraji image na kartu a jede se dál.
jenze karty jsou dost casto blackbox s nepredvidatelnym chovanim.
Mam kartu v uplne prvnim raspi co bylo dostupny a bezi mi to porad s tou originalni. (/dev/mmcblk0p2  /  ext4    defaults,noatime  0       1).
Setkal jsem se s kartami co jsou "jen" ve fotaku/mobilu a chciply daleko driv.(<2 roky)

Z myho pohledu jsou karty blby v tom, ze narozdil od HDD/SSD nemas zadny ukazatele (smart) kde se da vycist dylka provozu a odhadnout stav.
Spis bych to tedy ukladall na dve flashky a pak to nejak zkousel verifikovat. Ale jinak se mi rapsberry pi jako zalohovaci platforma prilis nepozdava..

petr

Re:Životnost SD karty při používání hardlinků
« Odpověď #10 kdy: 10. 01. 2016, 15:48:56 »
Neco podobneho provozuji na RPi asi 3 roky a SD karty to dlouho nevydrzely. Nakonec jsem to udelal tak, ze na SD je jen boot o vse ostatni je na externim USB harddisku. Ten disk je k RPi pripojenej pres USB kabel s rozdvojkou, ktera vede i do zdroje, aby napajeni disku neslo pres RPi. Funguje to spolehlive uz druhym rokem. Ten disk ma sice male iops (kolem 50), ale aplikace nastesti neni na io narocna, takze je to Ok.