Fórum Root.cz

Hlavní témata => Software => Téma založeno: Randolf 15. 05. 2014, 16:24:36

Název: Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: Randolf 15. 05. 2014, 16:24:36
Ahoj,
rad bych si pro osobni zalohy vytvoril nejaky redundantni distribuovany FS... takovy vlastni heterogenni storage cloud.
Napr. dva servery v Brne, jeden v Praze, jeden v Ostrave, na kazdem po jednom disku a mala spotreba.
- rozdilna konektivita... od 100MBps po 100kbps :)

Rad bych, aby se data "stipovala", ale pritom byla redundance (tedy ne GlusterFS, pokud vim, umi bud jedno nebo druhe).
Tahoe-LAFS by mozna bylo to prave, ale nejak se mi nelibi, ze je to v pythonu + FUSE.
Rad bych reseni v C, nebo proste neco optimalizovane na rychlost a spolehlivost.
Rad bych si to idealne namountoval na linuxu i windowsu (nechci ale moc FUSE, idealne neco vicemene nativniho nebo sitoveho azaroven sifrovaneho... webDAV? sshfs?).
Rad bych se na o dostal i pres webove rozhrani, ale neni podminkou.

Rad bych pristupoval z vice mist, idealni by bylo, kdyby kazdy server zaroven mohl slouzit jako gateway.

... no a kdyby to slo jednoduse skalovat, tak by to bylo uz uplne nejlepsi.

Proc ne google drive?
1) radsi si zaplatim jednorazove nez platit mesicne nezanedbatelnou polozku
2) neverim googlu a musel bych data slozite sifrovat a rozchodit nejakou mezivrstvu
3) binary update souboru znamena upload celeho souboru ... e-e :)

Proc ne jiny xxx-drive (dropbox, ondrive, atd.)?
Viz google + rad bych se na to dostal odkudkoliv, kde tyto sluzby blokuje firewall kategorizace jako online storage.


Trochu jsem si rikal, ze neco jako torrentfs by mohlo byt fajn, ale nevim o nicem, co by bylo ani zpoloviny dotazene do funkcniho stavu a splnovano ty veci vyse...

Jeste myslenka - mit toto rozchozene v komunite by mohlo byt jeste lepsi... kazdy by dodal 1.5 disku a celkove by byla konzistence zajistena za male dodatecne naklady.

Nejaky napad?

Diky,
Randolf
Název: Re:Jaky distribuovany, kryptovany, redundantni FS?
Přispěvatel: fdvgdsfsda 15. 05. 2014, 16:47:21
a to si chces jen tak ze srandy hrat, nebo opravdu potrebujes extra zazalohovane data vsude s sebou?

pokud jde jen o data tak ti staci koupit dva velke pevne disky, jeden budes nosit vsude sebou a druhy si schovas se zalohou do trezoru.

pokud si chces hrat, tak vyzkousej vsecko o cem jsi psal a pak sepis navod.
Název: Re:Jaky distribuovany, kryptovany, redundantni FS?
Přispěvatel: Tadeas 15. 05. 2014, 17:05:44
Modrý z nebe bys nechtěl?
Název: Re:Jaky distribuovany, kryptovany, redundantni FS?
Přispěvatel: Randolf 15. 05. 2014, 17:12:17
a to si chces jen tak ze srandy hrat, nebo opravdu potrebujes extra zazalohovane data vsude s sebou?

pokud jde jen o data tak ti staci koupit dva velke pevne disky, jeden budes nosit vsude sebou a druhy si schovas se zalohou do trezoru.

pokud si chces hrat, tak vyzkousej vsecko o cem jsi psal a pak sepis navod.

Tak to sice neni zase moc uzitecna odpoved, ale presto zareaguju:)
Nechci to ani na hrani, ani na produkcni reseni, spis mne nebavi ze uz 20 let musim resit zalohy a dostupnost dat... kez bych vedel, kde mam sve fotky z roku 1997. Tak bych rad reseni, ktere mi umozni mit data vsude a kdykoli. Proste takovy google drive, ale svuj, abych neplatil za (v soucasnosti) stovky gigabajtu terabajtu cloudoveho ulozneho prostoru.

Priklad: z videokamery mi leze cca 20GB na hodinu zaznamu... nechci platit googlu ci jinemu provideru, abych ty hodiny videa nekde mel uskladnene "kdyby neco".

Reseni mit disk v trezoru a druhy nosit ssebou ma presne 2 nevyhody: 1) musim ssebou porad tahat disk 2) musim ten druhy pravidelne vytahovat z trezoru a myslet na to.
Vyzkousej vsechno? Co vsechno? Psal jsem priklady veci, ktere ta kriteria nesplnuji...

Randolf
Název: Re:Jaky distribuovany, kryptovany, redundantni FS?
Přispěvatel: Randolf 15. 05. 2014, 17:38:11
Modrý z nebe bys nechtěl?

Chapu to spravne tak, ze tvrdite, ze takovy system neexistuje?
Název: Re:Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: pavele 15. 05. 2014, 20:03:02
GlusterFS kupodivu umí jedno i druhé současně.  ;D
Zkus třeba btsync.
Název: Re:Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: fdvgdsfsda 15. 05. 2014, 21:49:01
cituji
"
Nechci to ani na hrani, ani na produkcni reseni, spis mne nebavi ze uz 20 let musim resit zalohy a dostupnost dat... kez bych vedel, kde mam sve fotky z roku 1997. Tak bych rad reseni, ktere mi umozni mit data vsude a kdykoli. Proste takovy google drive, ale svuj, abych neplatil za (v soucasnosti) stovky gigabajtu terabajtu cloudoveho ulozneho prostoru.

Priklad: z videokamery mi leze cca 20GB na hodinu zaznamu... nechci platit googlu ci jinemu provideru, abych ty hodiny videa nekde mel uskladnene "kdyby neco".
"

pokud to zautomatizujete, tady uz plati to, ze premira informaci je horsi nez nedostatek informaci, uz mame tolik systemu/ruzneho software, ze se ani nedokazete rozhodnout co je nejlepsi. i dat se generuje tolik, ze to jeden clovek nedokaze vykoukat do konce zivota.
pri automatizaci vam to vyblije adresare napriklad podle datumu a zas v tech gigabytech nebudete vedet kde mate svoji babicku na fotkach.

pokud to budete sam tridit rucne, tak na to zabijete svoje mladi i svoje stari.

budeme si muset pockat na inteligentni systemy co to za nas vsechno roztridi a vygeneruji metadata.

pouzijte to nejjednodussi rsync a jeden hlavni server s diskem. na druhy disk se to muze zaroven automaticky zrcadlit.
nebo bych mel btrfs, ten umi nejake zrcadleni myslim.
Název: Re:Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: Randolf 16. 05. 2014, 16:15:32
cituji
"
Nechci to ani na hrani, ani na produkcni reseni, spis mne nebavi ze uz 20 let musim resit zalohy a dostupnost dat... kez bych vedel, kde mam sve fotky z roku 1997. Tak bych rad reseni, ktere mi umozni mit data vsude a kdykoli. Proste takovy google drive, ale svuj, abych neplatil za (v soucasnosti) stovky gigabajtu terabajtu cloudoveho ulozneho prostoru.

Priklad: z videokamery mi leze cca 20GB na hodinu zaznamu... nechci platit googlu ci jinemu provideru, abych ty hodiny videa nekde mel uskladnene "kdyby neco".
"

pokud to zautomatizujete, tady uz plati to, ze premira informaci je horsi nez nedostatek informaci, uz mame tolik systemu/ruzneho software, ze se ani nedokazete rozhodnout co je nejlepsi. i dat se generuje tolik, ze to jeden clovek nedokaze vykoukat do konce zivota.
pri automatizaci vam to vyblije adresare napriklad podle datumu a zas v tech gigabytech nebudete vedet kde mate svoji babicku na fotkach.

pokud to budete sam tridit rucne, tak na to zabijete svoje mladi i svoje stari.

budeme si muset pockat na inteligentni systemy co to za nas vsechno roztridi a vygeneruji metadata.

pouzijte to nejjednodussi rsync a jeden hlavni server s diskem. na druhy disk se to muze zaroven automaticky zrcadlit.
nebo bych mel btrfs, ten umi nejake zrcadleni myslim.

Nemel jsem na mysli automaticky sber dat, pouze urcni ukladani dat z rucni kamery :) Proste jednotne uloziste pro osobni data.
Název: Re:Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: Randolf 16. 05. 2014, 16:16:10
GlusterFS kupodivu umí jedno i druhé současně.  ;D
Zkus třeba btsync.

Opravdu? Diky, zkusim se podivat!
Randolf
Název: Re:Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: Randolf 16. 05. 2014, 18:14:56
GlusterFS kupodivu umí jedno i druhé současně.  ;D
Zkus třeba btsync.

Opravdu? Diky, zkusim se podivat!
Randolf

Hmm.. glusterfs ma dost nevyhodu, ze umi vpodstate ekvivalent raidu 0, 1 a 0+1, ale uz ne napr. 5/6... coz mi ted ale dochazi, ze jakakoli modifikace by vyzadovala cteni ze vzdalenych zdroju, coz asi neni moc efektivni :)
btsync je fajn na synchronizaci, ale neudelam tim striping...
Název: Re:Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: Brad Nepitt 16. 05. 2014, 18:44:00
Rozumim tomu dobre, ze chcete jednu binarku na vsechno ?
Název: Re:Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: to_je_jedno 16. 05. 2014, 21:38:55
bezna data klient/server - owncloud
video apod klient/server - rsync v cronu
server brno - server praha - rsync v cronu treba

Citace
1) radsi si zaplatim jednorazove nez platit mesicne nezanedbatelnou polozku
tohle moc nechapu. protoze takhle to budes mit taky peknou palku na mesicnim pausalu
Název: Re:Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: fahacz 17. 05. 2014, 00:22:52
necetl jsem vsechny pozdavky, asi budeme muset neco vypustit nebo to rozlozit do jiny vrstev, mozna by se dala odpichnout zde, http://sheepdog.github.io/sheepdog/  a zkuste juknout na novou vychazejici hvezdu http://ceph.com . faha
Název: Re:Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: RDa 17. 05. 2014, 08:29:54
Ja nad podobnym systemem premyslim taky, 2 datacentra ruznych hosteru (praha, brno) + svuj domov (20mbps sym) + worst case zaloha u rodicu (1M/100k asym). Ale taky jsem nenasel nic, co by fungovalo na takto heterogenni siti a hlavne heterogennimi daty (zdrojaky/dokumenty vs. audio/video vs. uncompressed audio/video). Navic u me je pozadavek at je FS inkrementalni a data se nikdy nemazou pri synchronizaci, kvuli bezpecnosti. Taky bych tam rad mel featury na hledani duplicit a nasledny dedup + crc pres bloky jako ZFS.

Uz jsem premyslel o tom si to napsat pres FUSE sam.
Název: Re:Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: Mrchozrout 17. 05. 2014, 14:33:17
Tyhle pozadavky prozrazuji hlavne miru nesoudnosti tazatele. Proc to ma byt zrovna distribuovany FS? To jako ze kdyz na sajtu s konektivitou 100kbps nahrajete na disk pres mistni sit svou sbirku porna, tak musi okamzite byt dostupna i na vsech ostatnich peti sajtech? Co vecne mladi? Nema to zaridit i vecne mladi spravci? I kdyz spise byste potrebovali kamen mudrcu :)
Název: Re:Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: x 18. 05. 2014, 08:41:06
Samozrejme, ze existuje http://www.dragonflybsd.org/features/#index2h2 (http://www.dragonflybsd.org/features/#index2h2) a jeho nova verze, ktera je ted v aktivnim vyvoji to jeste vse vylepsuje.
Název: Re:Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: alfi 19. 05. 2014, 08:19:50
rsync + encfs? :)

ono ani na vlastním hw, připojeném do internetu, kde mám nějaká důležitá, např. pracovní-firemní, data, bych nespoléhal, že se tam nikdo cizí nikdy nedostane (náhoda, chyba, něco přehlídnu..). a šifrované teda klidně i na google disk a spol., navíc za mě zařídí tu redundanci, koupi nového a většího disku každých x let..

je to pak dostupné i online.. (jen read-only, obousměrný rsync jsem ještě nezkoušel)
Název: Re:Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: Mirek Prýmek 19. 05. 2014, 08:58:15
Taky bych tam rad mel featury na hledani duplicit a nasledny dedup + crc pres bloky jako ZFS.
Pokud potrebujes neco, co ma featury zfs, zkus pouzit zfs ;)

Zfs + rsync by asi resilo vsechno, co jsi natukl, ale obavam se, ze bys casem zjistil, ze to vlastne nechces - napr. ta věčná historie - jasně, není problém si každý den udělat snapshot, ale za deset let z toho budeš mít nějakých tři a půl tisíce snapshotů, ve kterých stejně nic nenajdeš...

A dedup taky typicky na data nepotřebuješ, protože to má obrovskou režii a bylo by to strašně drahý (věčná historie!).

Stejně tak není žádný technický problém nechat data zfs send-em přetýkat třeba do Amazon Glacier, ale tam ti cena taky bude nepříjemně narůstat (opět: věčná historie!) a budeš platit za data, který dost pravděpodobně vůbec nikdy z úložiště nevytáhneš...

Uz jsem premyslel o tom si to napsat pres FUSE sam.
Tak to je známá věc, že seš megaloman ;) ale tohle je fakt zbytečný - nástroje na to jsou, jenom je dobře uspořádat...
Název: Re:Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: anonym 19. 05. 2014, 09:28:36
A dedup taky typicky na data nepotřebuješ, protože to má obrovskou režii a bylo by to strašně drahý (věčná historie!).

naopak, dedup (jak je v ZFS) je idealni pro tohle prostredi (pokud mas pamet/L2ARC) - krom spotreby pameti a trochu fragmentace je nejvetsi downside znacny zpomaleni pri mazani snapshotu (protoze se s kazdym blokem kontroluje a updatuje dedup tabulka)
Název: Re:Jaký distribuovaný, šifrovaný, redundantní FS?
Přispěvatel: Mirek Prýmek 19. 05. 2014, 09:33:28
naopak, dedup (jak je v ZFS) je idealni pro tohle prostredi (pokud mas pamet/L2ARC) - krom spotreby pameti a trochu fragmentace je nejvetsi downside znacny zpomaleni pri mazani snapshotu (protoze se s kazdym blokem kontroluje a updatuje dedup tabulka)
V běžných datech typu zdrojáky, filmy, mp3, různé dokumenty... to asi moc duplikací nenajde, čili efekt bude zanedbatelný. A v kombinaci s nekonečnou historií by to potřebovalo enormní množství RAM. Proto si myslím, že to právě v tomhle případě nemá smysl, protože prostě poměr náklady/přínosy není moc dobrý.

Deduplikace imho má smysl tam, kde oprávněně očekávám hodně duplikací - image strojů, hodně mírně upravených verzí téhož filmu apod.