Fórum Root.cz
Hlavní témata => Software => Téma založeno: Randolf 15. 05. 2014, 16:24:36
-
Ahoj,
rad bych si pro osobni zalohy vytvoril nejaky redundantni distribuovany FS... takovy vlastni heterogenni storage cloud.
Napr. dva servery v Brne, jeden v Praze, jeden v Ostrave, na kazdem po jednom disku a mala spotreba.
- rozdilna konektivita... od 100MBps po 100kbps :)
Rad bych, aby se data "stipovala", ale pritom byla redundance (tedy ne GlusterFS, pokud vim, umi bud jedno nebo druhe).
Tahoe-LAFS by mozna bylo to prave, ale nejak se mi nelibi, ze je to v pythonu + FUSE.
Rad bych reseni v C, nebo proste neco optimalizovane na rychlost a spolehlivost.
Rad bych si to idealne namountoval na linuxu i windowsu (nechci ale moc FUSE, idealne neco vicemene nativniho nebo sitoveho azaroven sifrovaneho... webDAV? sshfs?).
Rad bych se na o dostal i pres webove rozhrani, ale neni podminkou.
Rad bych pristupoval z vice mist, idealni by bylo, kdyby kazdy server zaroven mohl slouzit jako gateway.
... no a kdyby to slo jednoduse skalovat, tak by to bylo uz uplne nejlepsi.
Proc ne google drive?
1) radsi si zaplatim jednorazove nez platit mesicne nezanedbatelnou polozku
2) neverim googlu a musel bych data slozite sifrovat a rozchodit nejakou mezivrstvu
3) binary update souboru znamena upload celeho souboru ... e-e :)
Proc ne jiny xxx-drive (dropbox, ondrive, atd.)?
Viz google + rad bych se na to dostal odkudkoliv, kde tyto sluzby blokuje firewall kategorizace jako online storage.
Trochu jsem si rikal, ze neco jako torrentfs by mohlo byt fajn, ale nevim o nicem, co by bylo ani zpoloviny dotazene do funkcniho stavu a splnovano ty veci vyse...
Jeste myslenka - mit toto rozchozene v komunite by mohlo byt jeste lepsi... kazdy by dodal 1.5 disku a celkove by byla konzistence zajistena za male dodatecne naklady.
Nejaky napad?
Diky,
Randolf
-
a to si chces jen tak ze srandy hrat, nebo opravdu potrebujes extra zazalohovane data vsude s sebou?
pokud jde jen o data tak ti staci koupit dva velke pevne disky, jeden budes nosit vsude sebou a druhy si schovas se zalohou do trezoru.
pokud si chces hrat, tak vyzkousej vsecko o cem jsi psal a pak sepis navod.
-
Modrý z nebe bys nechtěl?
-
a to si chces jen tak ze srandy hrat, nebo opravdu potrebujes extra zazalohovane data vsude s sebou?
pokud jde jen o data tak ti staci koupit dva velke pevne disky, jeden budes nosit vsude sebou a druhy si schovas se zalohou do trezoru.
pokud si chces hrat, tak vyzkousej vsecko o cem jsi psal a pak sepis navod.
Tak to sice neni zase moc uzitecna odpoved, ale presto zareaguju:)
Nechci to ani na hrani, ani na produkcni reseni, spis mne nebavi ze uz 20 let musim resit zalohy a dostupnost dat... kez bych vedel, kde mam sve fotky z roku 1997. Tak bych rad reseni, ktere mi umozni mit data vsude a kdykoli. Proste takovy google drive, ale svuj, abych neplatil za (v soucasnosti) stovky gigabajtu terabajtu cloudoveho ulozneho prostoru.
Priklad: z videokamery mi leze cca 20GB na hodinu zaznamu... nechci platit googlu ci jinemu provideru, abych ty hodiny videa nekde mel uskladnene "kdyby neco".
Reseni mit disk v trezoru a druhy nosit ssebou ma presne 2 nevyhody: 1) musim ssebou porad tahat disk 2) musim ten druhy pravidelne vytahovat z trezoru a myslet na to.
Vyzkousej vsechno? Co vsechno? Psal jsem priklady veci, ktere ta kriteria nesplnuji...
Randolf
-
Modrý z nebe bys nechtěl?
Chapu to spravne tak, ze tvrdite, ze takovy system neexistuje?
-
GlusterFS kupodivu umí jedno i druhé současně. ;D
Zkus třeba btsync.
-
cituji
"
Nechci to ani na hrani, ani na produkcni reseni, spis mne nebavi ze uz 20 let musim resit zalohy a dostupnost dat... kez bych vedel, kde mam sve fotky z roku 1997. Tak bych rad reseni, ktere mi umozni mit data vsude a kdykoli. Proste takovy google drive, ale svuj, abych neplatil za (v soucasnosti) stovky gigabajtu terabajtu cloudoveho ulozneho prostoru.
Priklad: z videokamery mi leze cca 20GB na hodinu zaznamu... nechci platit googlu ci jinemu provideru, abych ty hodiny videa nekde mel uskladnene "kdyby neco".
"
pokud to zautomatizujete, tady uz plati to, ze premira informaci je horsi nez nedostatek informaci, uz mame tolik systemu/ruzneho software, ze se ani nedokazete rozhodnout co je nejlepsi. i dat se generuje tolik, ze to jeden clovek nedokaze vykoukat do konce zivota.
pri automatizaci vam to vyblije adresare napriklad podle datumu a zas v tech gigabytech nebudete vedet kde mate svoji babicku na fotkach.
pokud to budete sam tridit rucne, tak na to zabijete svoje mladi i svoje stari.
budeme si muset pockat na inteligentni systemy co to za nas vsechno roztridi a vygeneruji metadata.
pouzijte to nejjednodussi rsync a jeden hlavni server s diskem. na druhy disk se to muze zaroven automaticky zrcadlit.
nebo bych mel btrfs, ten umi nejake zrcadleni myslim.
-
cituji
"
Nechci to ani na hrani, ani na produkcni reseni, spis mne nebavi ze uz 20 let musim resit zalohy a dostupnost dat... kez bych vedel, kde mam sve fotky z roku 1997. Tak bych rad reseni, ktere mi umozni mit data vsude a kdykoli. Proste takovy google drive, ale svuj, abych neplatil za (v soucasnosti) stovky gigabajtu terabajtu cloudoveho ulozneho prostoru.
Priklad: z videokamery mi leze cca 20GB na hodinu zaznamu... nechci platit googlu ci jinemu provideru, abych ty hodiny videa nekde mel uskladnene "kdyby neco".
"
pokud to zautomatizujete, tady uz plati to, ze premira informaci je horsi nez nedostatek informaci, uz mame tolik systemu/ruzneho software, ze se ani nedokazete rozhodnout co je nejlepsi. i dat se generuje tolik, ze to jeden clovek nedokaze vykoukat do konce zivota.
pri automatizaci vam to vyblije adresare napriklad podle datumu a zas v tech gigabytech nebudete vedet kde mate svoji babicku na fotkach.
pokud to budete sam tridit rucne, tak na to zabijete svoje mladi i svoje stari.
budeme si muset pockat na inteligentni systemy co to za nas vsechno roztridi a vygeneruji metadata.
pouzijte to nejjednodussi rsync a jeden hlavni server s diskem. na druhy disk se to muze zaroven automaticky zrcadlit.
nebo bych mel btrfs, ten umi nejake zrcadleni myslim.
Nemel jsem na mysli automaticky sber dat, pouze urcni ukladani dat z rucni kamery :) Proste jednotne uloziste pro osobni data.
-
GlusterFS kupodivu umí jedno i druhé současně. ;D
Zkus třeba btsync.
Opravdu? Diky, zkusim se podivat!
Randolf
-
GlusterFS kupodivu umí jedno i druhé současně. ;D
Zkus třeba btsync.
Opravdu? Diky, zkusim se podivat!
Randolf
Hmm.. glusterfs ma dost nevyhodu, ze umi vpodstate ekvivalent raidu 0, 1 a 0+1, ale uz ne napr. 5/6... coz mi ted ale dochazi, ze jakakoli modifikace by vyzadovala cteni ze vzdalenych zdroju, coz asi neni moc efektivni :)
btsync je fajn na synchronizaci, ale neudelam tim striping...
-
Rozumim tomu dobre, ze chcete jednu binarku na vsechno ?
-
bezna data klient/server - owncloud
video apod klient/server - rsync v cronu
server brno - server praha - rsync v cronu treba
1) radsi si zaplatim jednorazove nez platit mesicne nezanedbatelnou polozku
tohle moc nechapu. protoze takhle to budes mit taky peknou palku na mesicnim pausalu
-
necetl jsem vsechny pozdavky, asi budeme muset neco vypustit nebo to rozlozit do jiny vrstev, mozna by se dala odpichnout zde, http://sheepdog.github.io/sheepdog/ a zkuste juknout na novou vychazejici hvezdu http://ceph.com . faha
-
Ja nad podobnym systemem premyslim taky, 2 datacentra ruznych hosteru (praha, brno) + svuj domov (20mbps sym) + worst case zaloha u rodicu (1M/100k asym). Ale taky jsem nenasel nic, co by fungovalo na takto heterogenni siti a hlavne heterogennimi daty (zdrojaky/dokumenty vs. audio/video vs. uncompressed audio/video). Navic u me je pozadavek at je FS inkrementalni a data se nikdy nemazou pri synchronizaci, kvuli bezpecnosti. Taky bych tam rad mel featury na hledani duplicit a nasledny dedup + crc pres bloky jako ZFS.
Uz jsem premyslel o tom si to napsat pres FUSE sam.
-
Tyhle pozadavky prozrazuji hlavne miru nesoudnosti tazatele. Proc to ma byt zrovna distribuovany FS? To jako ze kdyz na sajtu s konektivitou 100kbps nahrajete na disk pres mistni sit svou sbirku porna, tak musi okamzite byt dostupna i na vsech ostatnich peti sajtech? Co vecne mladi? Nema to zaridit i vecne mladi spravci? I kdyz spise byste potrebovali kamen mudrcu :)
-
Samozrejme, ze existuje http://www.dragonflybsd.org/features/#index2h2 (http://www.dragonflybsd.org/features/#index2h2) a jeho nova verze, ktera je ted v aktivnim vyvoji to jeste vse vylepsuje.
-
rsync + encfs? :)
ono ani na vlastním hw, připojeném do internetu, kde mám nějaká důležitá, např. pracovní-firemní, data, bych nespoléhal, že se tam nikdo cizí nikdy nedostane (náhoda, chyba, něco přehlídnu..). a šifrované teda klidně i na google disk a spol., navíc za mě zařídí tu redundanci, koupi nového a většího disku každých x let..
je to pak dostupné i online.. (jen read-only, obousměrný rsync jsem ještě nezkoušel)
-
Taky bych tam rad mel featury na hledani duplicit a nasledny dedup + crc pres bloky jako ZFS.
Pokud potrebujes neco, co ma featury zfs, zkus pouzit zfs ;)
Zfs + rsync by asi resilo vsechno, co jsi natukl, ale obavam se, ze bys casem zjistil, ze to vlastne nechces - napr. ta věčná historie - jasně, není problém si každý den udělat snapshot, ale za deset let z toho budeš mít nějakých tři a půl tisíce snapshotů, ve kterých stejně nic nenajdeš...
A dedup taky typicky na data nepotřebuješ, protože to má obrovskou režii a bylo by to strašně drahý (věčná historie!).
Stejně tak není žádný technický problém nechat data zfs send-em přetýkat třeba do Amazon Glacier, ale tam ti cena taky bude nepříjemně narůstat (opět: věčná historie!) a budeš platit za data, který dost pravděpodobně vůbec nikdy z úložiště nevytáhneš...
Uz jsem premyslel o tom si to napsat pres FUSE sam.
Tak to je známá věc, že seš megaloman ;) ale tohle je fakt zbytečný - nástroje na to jsou, jenom je dobře uspořádat...
-
A dedup taky typicky na data nepotřebuješ, protože to má obrovskou režii a bylo by to strašně drahý (věčná historie!).
naopak, dedup (jak je v ZFS) je idealni pro tohle prostredi (pokud mas pamet/L2ARC) - krom spotreby pameti a trochu fragmentace je nejvetsi downside znacny zpomaleni pri mazani snapshotu (protoze se s kazdym blokem kontroluje a updatuje dedup tabulka)
-
naopak, dedup (jak je v ZFS) je idealni pro tohle prostredi (pokud mas pamet/L2ARC) - krom spotreby pameti a trochu fragmentace je nejvetsi downside znacny zpomaleni pri mazani snapshotu (protoze se s kazdym blokem kontroluje a updatuje dedup tabulka)
V běžných datech typu zdrojáky, filmy, mp3, různé dokumenty... to asi moc duplikací nenajde, čili efekt bude zanedbatelný. A v kombinaci s nekonečnou historií by to potřebovalo enormní množství RAM. Proto si myslím, že to právě v tomhle případě nemá smysl, protože prostě poměr náklady/přínosy není moc dobrý.
Deduplikace imho má smysl tam, kde oprávněně očekávám hodně duplikací - image strojů, hodně mírně upravených verzí téhož filmu apod.