Jaký distribuovaný, šifrovaný, redundantní FS?

Randolf

Jaký distribuovaný, šifrovaný, redundantní FS?
« kdy: 15. 05. 2014, 16:24:36 »
Ahoj,
rad bych si pro osobni zalohy vytvoril nejaky redundantni distribuovany FS... takovy vlastni heterogenni storage cloud.
Napr. dva servery v Brne, jeden v Praze, jeden v Ostrave, na kazdem po jednom disku a mala spotreba.
- rozdilna konektivita... od 100MBps po 100kbps :)

Rad bych, aby se data "stipovala", ale pritom byla redundance (tedy ne GlusterFS, pokud vim, umi bud jedno nebo druhe).
Tahoe-LAFS by mozna bylo to prave, ale nejak se mi nelibi, ze je to v pythonu + FUSE.
Rad bych reseni v C, nebo proste neco optimalizovane na rychlost a spolehlivost.
Rad bych si to idealne namountoval na linuxu i windowsu (nechci ale moc FUSE, idealne neco vicemene nativniho nebo sitoveho azaroven sifrovaneho... webDAV? sshfs?).
Rad bych se na o dostal i pres webove rozhrani, ale neni podminkou.

Rad bych pristupoval z vice mist, idealni by bylo, kdyby kazdy server zaroven mohl slouzit jako gateway.

... no a kdyby to slo jednoduse skalovat, tak by to bylo uz uplne nejlepsi.

Proc ne google drive?
1) radsi si zaplatim jednorazove nez platit mesicne nezanedbatelnou polozku
2) neverim googlu a musel bych data slozite sifrovat a rozchodit nejakou mezivrstvu
3) binary update souboru znamena upload celeho souboru ... e-e :)

Proc ne jiny xxx-drive (dropbox, ondrive, atd.)?
Viz google + rad bych se na to dostal odkudkoliv, kde tyto sluzby blokuje firewall kategorizace jako online storage.


Trochu jsem si rikal, ze neco jako torrentfs by mohlo byt fajn, ale nevim o nicem, co by bylo ani zpoloviny dotazene do funkcniho stavu a splnovano ty veci vyse...

Jeste myslenka - mit toto rozchozene v komunite by mohlo byt jeste lepsi... kazdy by dodal 1.5 disku a celkove by byla konzistence zajistena za male dodatecne naklady.

Nejaky napad?

Diky,
Randolf
« Poslední změna: 15. 05. 2014, 17:31:30 od Petr Krčmář »


fdvgdsfsda

Re:Jaky distribuovany, kryptovany, redundantni FS?
« Odpověď #1 kdy: 15. 05. 2014, 16:47:21 »
a to si chces jen tak ze srandy hrat, nebo opravdu potrebujes extra zazalohovane data vsude s sebou?

pokud jde jen o data tak ti staci koupit dva velke pevne disky, jeden budes nosit vsude sebou a druhy si schovas se zalohou do trezoru.

pokud si chces hrat, tak vyzkousej vsecko o cem jsi psal a pak sepis navod.

Tadeas

Re:Jaky distribuovany, kryptovany, redundantni FS?
« Odpověď #2 kdy: 15. 05. 2014, 17:05:44 »
Modrý z nebe bys nechtěl?

Randolf

Re:Jaky distribuovany, kryptovany, redundantni FS?
« Odpověď #3 kdy: 15. 05. 2014, 17:12:17 »
a to si chces jen tak ze srandy hrat, nebo opravdu potrebujes extra zazalohovane data vsude s sebou?

pokud jde jen o data tak ti staci koupit dva velke pevne disky, jeden budes nosit vsude sebou a druhy si schovas se zalohou do trezoru.

pokud si chces hrat, tak vyzkousej vsecko o cem jsi psal a pak sepis navod.

Tak to sice neni zase moc uzitecna odpoved, ale presto zareaguju:)
Nechci to ani na hrani, ani na produkcni reseni, spis mne nebavi ze uz 20 let musim resit zalohy a dostupnost dat... kez bych vedel, kde mam sve fotky z roku 1997. Tak bych rad reseni, ktere mi umozni mit data vsude a kdykoli. Proste takovy google drive, ale svuj, abych neplatil za (v soucasnosti) stovky gigabajtu terabajtu cloudoveho ulozneho prostoru.

Priklad: z videokamery mi leze cca 20GB na hodinu zaznamu... nechci platit googlu ci jinemu provideru, abych ty hodiny videa nekde mel uskladnene "kdyby neco".

Reseni mit disk v trezoru a druhy nosit ssebou ma presne 2 nevyhody: 1) musim ssebou porad tahat disk 2) musim ten druhy pravidelne vytahovat z trezoru a myslet na to.
Vyzkousej vsechno? Co vsechno? Psal jsem priklady veci, ktere ta kriteria nesplnuji...

Randolf

Randolf

Re:Jaky distribuovany, kryptovany, redundantni FS?
« Odpověď #4 kdy: 15. 05. 2014, 17:38:11 »
Modrý z nebe bys nechtěl?

Chapu to spravne tak, ze tvrdite, ze takovy system neexistuje?


pavele

Re:Jaký distribuovaný, šifrovaný, redundantní FS?
« Odpověď #5 kdy: 15. 05. 2014, 20:03:02 »
GlusterFS kupodivu umí jedno i druhé současně.  ;D
Zkus třeba btsync.

fdvgdsfsda

Re:Jaký distribuovaný, šifrovaný, redundantní FS?
« Odpověď #6 kdy: 15. 05. 2014, 21:49:01 »
cituji
"
Nechci to ani na hrani, ani na produkcni reseni, spis mne nebavi ze uz 20 let musim resit zalohy a dostupnost dat... kez bych vedel, kde mam sve fotky z roku 1997. Tak bych rad reseni, ktere mi umozni mit data vsude a kdykoli. Proste takovy google drive, ale svuj, abych neplatil za (v soucasnosti) stovky gigabajtu terabajtu cloudoveho ulozneho prostoru.

Priklad: z videokamery mi leze cca 20GB na hodinu zaznamu... nechci platit googlu ci jinemu provideru, abych ty hodiny videa nekde mel uskladnene "kdyby neco".
"

pokud to zautomatizujete, tady uz plati to, ze premira informaci je horsi nez nedostatek informaci, uz mame tolik systemu/ruzneho software, ze se ani nedokazete rozhodnout co je nejlepsi. i dat se generuje tolik, ze to jeden clovek nedokaze vykoukat do konce zivota.
pri automatizaci vam to vyblije adresare napriklad podle datumu a zas v tech gigabytech nebudete vedet kde mate svoji babicku na fotkach.

pokud to budete sam tridit rucne, tak na to zabijete svoje mladi i svoje stari.

budeme si muset pockat na inteligentni systemy co to za nas vsechno roztridi a vygeneruji metadata.

pouzijte to nejjednodussi rsync a jeden hlavni server s diskem. na druhy disk se to muze zaroven automaticky zrcadlit.
nebo bych mel btrfs, ten umi nejake zrcadleni myslim.

Randolf

Re:Jaký distribuovaný, šifrovaný, redundantní FS?
« Odpověď #7 kdy: 16. 05. 2014, 16:15:32 »
cituji
"
Nechci to ani na hrani, ani na produkcni reseni, spis mne nebavi ze uz 20 let musim resit zalohy a dostupnost dat... kez bych vedel, kde mam sve fotky z roku 1997. Tak bych rad reseni, ktere mi umozni mit data vsude a kdykoli. Proste takovy google drive, ale svuj, abych neplatil za (v soucasnosti) stovky gigabajtu terabajtu cloudoveho ulozneho prostoru.

Priklad: z videokamery mi leze cca 20GB na hodinu zaznamu... nechci platit googlu ci jinemu provideru, abych ty hodiny videa nekde mel uskladnene "kdyby neco".
"

pokud to zautomatizujete, tady uz plati to, ze premira informaci je horsi nez nedostatek informaci, uz mame tolik systemu/ruzneho software, ze se ani nedokazete rozhodnout co je nejlepsi. i dat se generuje tolik, ze to jeden clovek nedokaze vykoukat do konce zivota.
pri automatizaci vam to vyblije adresare napriklad podle datumu a zas v tech gigabytech nebudete vedet kde mate svoji babicku na fotkach.

pokud to budete sam tridit rucne, tak na to zabijete svoje mladi i svoje stari.

budeme si muset pockat na inteligentni systemy co to za nas vsechno roztridi a vygeneruji metadata.

pouzijte to nejjednodussi rsync a jeden hlavni server s diskem. na druhy disk se to muze zaroven automaticky zrcadlit.
nebo bych mel btrfs, ten umi nejake zrcadleni myslim.

Nemel jsem na mysli automaticky sber dat, pouze urcni ukladani dat z rucni kamery :) Proste jednotne uloziste pro osobni data.

Randolf

Re:Jaký distribuovaný, šifrovaný, redundantní FS?
« Odpověď #8 kdy: 16. 05. 2014, 16:16:10 »
GlusterFS kupodivu umí jedno i druhé současně.  ;D
Zkus třeba btsync.

Opravdu? Diky, zkusim se podivat!
Randolf

Randolf

Re:Jaký distribuovaný, šifrovaný, redundantní FS?
« Odpověď #9 kdy: 16. 05. 2014, 18:14:56 »
GlusterFS kupodivu umí jedno i druhé současně.  ;D
Zkus třeba btsync.

Opravdu? Diky, zkusim se podivat!
Randolf

Hmm.. glusterfs ma dost nevyhodu, ze umi vpodstate ekvivalent raidu 0, 1 a 0+1, ale uz ne napr. 5/6... coz mi ted ale dochazi, ze jakakoli modifikace by vyzadovala cteni ze vzdalenych zdroju, coz asi neni moc efektivni :)
btsync je fajn na synchronizaci, ale neudelam tim striping...

Brad Nepitt

Re:Jaký distribuovaný, šifrovaný, redundantní FS?
« Odpověď #10 kdy: 16. 05. 2014, 18:44:00 »
Rozumim tomu dobre, ze chcete jednu binarku na vsechno ?

Re:Jaký distribuovaný, šifrovaný, redundantní FS?
« Odpověď #11 kdy: 16. 05. 2014, 21:38:55 »
bezna data klient/server - owncloud
video apod klient/server - rsync v cronu
server brno - server praha - rsync v cronu treba

Citace
1) radsi si zaplatim jednorazove nez platit mesicne nezanedbatelnou polozku
tohle moc nechapu. protoze takhle to budes mit taky peknou palku na mesicnim pausalu
Děkuji za možnost editace příspěvku.

fahacz

Re:Jaký distribuovaný, šifrovaný, redundantní FS?
« Odpověď #12 kdy: 17. 05. 2014, 00:22:52 »
necetl jsem vsechny pozdavky, asi budeme muset neco vypustit nebo to rozlozit do jiny vrstev, mozna by se dala odpichnout zde, http://sheepdog.github.io/sheepdog/  a zkuste juknout na novou vychazejici hvezdu http://ceph.com . faha

RDa

  • *****
  • 2 467
    • Zobrazit profil
    • E-mail
Re:Jaký distribuovaný, šifrovaný, redundantní FS?
« Odpověď #13 kdy: 17. 05. 2014, 08:29:54 »
Ja nad podobnym systemem premyslim taky, 2 datacentra ruznych hosteru (praha, brno) + svuj domov (20mbps sym) + worst case zaloha u rodicu (1M/100k asym). Ale taky jsem nenasel nic, co by fungovalo na takto heterogenni siti a hlavne heterogennimi daty (zdrojaky/dokumenty vs. audio/video vs. uncompressed audio/video). Navic u me je pozadavek at je FS inkrementalni a data se nikdy nemazou pri synchronizaci, kvuli bezpecnosti. Taky bych tam rad mel featury na hledani duplicit a nasledny dedup + crc pres bloky jako ZFS.

Uz jsem premyslel o tom si to napsat pres FUSE sam.

Mrchozrout

Re:Jaký distribuovaný, šifrovaný, redundantní FS?
« Odpověď #14 kdy: 17. 05. 2014, 14:33:17 »
Tyhle pozadavky prozrazuji hlavne miru nesoudnosti tazatele. Proc to ma byt zrovna distribuovany FS? To jako ze kdyz na sajtu s konektivitou 100kbps nahrajete na disk pres mistni sit svou sbirku porna, tak musi okamzite byt dostupna i na vsech ostatnich peti sajtech? Co vecne mladi? Nema to zaridit i vecne mladi spravci? I kdyz spise byste potrebovali kamen mudrcu :)