Ahoj,
rad bych si pro osobni zalohy vytvoril nejaky redundantni distribuovany FS... takovy vlastni heterogenni storage cloud.
Napr. dva servery v Brne, jeden v Praze, jeden v Ostrave, na kazdem po jednom disku a mala spotreba.
- rozdilna konektivita... od 100MBps po 100kbps :)
Rad bych, aby se data "stipovala", ale pritom byla redundance (tedy ne GlusterFS, pokud vim, umi bud jedno nebo druhe).
Tahoe-LAFS by mozna bylo to prave, ale nejak se mi nelibi, ze je to v pythonu + FUSE.
Rad bych reseni v C, nebo proste neco optimalizovane na rychlost a spolehlivost.
Rad bych si to idealne namountoval na linuxu i windowsu (nechci ale moc FUSE, idealne neco vicemene nativniho nebo sitoveho azaroven sifrovaneho... webDAV? sshfs?).
Rad bych se na o dostal i pres webove rozhrani, ale neni podminkou.
Rad bych pristupoval z vice mist, idealni by bylo, kdyby kazdy server zaroven mohl slouzit jako gateway.
... no a kdyby to slo jednoduse skalovat, tak by to bylo uz uplne nejlepsi.
Proc ne google drive?
1) radsi si zaplatim jednorazove nez platit mesicne nezanedbatelnou polozku
2) neverim googlu a musel bych data slozite sifrovat a rozchodit nejakou mezivrstvu
3) binary update souboru znamena upload celeho souboru ... e-e :)
Proc ne jiny xxx-drive (dropbox, ondrive, atd.)?
Viz google + rad bych se na to dostal odkudkoliv, kde tyto sluzby blokuje firewall kategorizace jako online storage.
Trochu jsem si rikal, ze neco jako torrentfs by mohlo byt fajn, ale nevim o nicem, co by bylo ani zpoloviny dotazene do funkcniho stavu a splnovano ty veci vyse...
Jeste myslenka - mit toto rozchozene v komunite by mohlo byt jeste lepsi... kazdy by dodal 1.5 disku a celkove by byla konzistence zajistena za male dodatecne naklady.
Nejaky napad?
Diky,
Randolf
a to si chces jen tak ze srandy hrat, nebo opravdu potrebujes extra zazalohovane data vsude s sebou?
pokud jde jen o data tak ti staci koupit dva velke pevne disky, jeden budes nosit vsude sebou a druhy si schovas se zalohou do trezoru.
pokud si chces hrat, tak vyzkousej vsecko o cem jsi psal a pak sepis navod.
Modrý z nebe bys nechtěl?
Citace od: fdvgdsfsda kdy 15. 05. 2014, 16:47:21
a to si chces jen tak ze srandy hrat, nebo opravdu potrebujes extra zazalohovane data vsude s sebou?
pokud jde jen o data tak ti staci koupit dva velke pevne disky, jeden budes nosit vsude sebou a druhy si schovas se zalohou do trezoru.
pokud si chces hrat, tak vyzkousej vsecko o cem jsi psal a pak sepis navod.
Tak to sice neni zase moc uzitecna odpoved, ale presto zareaguju:)
Nechci to ani na hrani, ani na produkcni reseni, spis mne nebavi ze uz 20 let musim resit zalohy a dostupnost dat... kez bych vedel, kde mam sve fotky z roku 1997. Tak bych rad reseni, ktere mi umozni mit data vsude a kdykoli. Proste takovy google drive, ale svuj, abych neplatil za (v soucasnosti) stovky gigabajtu terabajtu cloudoveho ulozneho prostoru.
Priklad: z videokamery mi leze cca 20GB na hodinu zaznamu... nechci platit googlu ci jinemu provideru, abych ty hodiny videa nekde mel uskladnene "kdyby neco".
Reseni mit disk v trezoru a druhy nosit ssebou ma presne 2 nevyhody: 1) musim ssebou porad tahat disk 2) musim ten druhy pravidelne vytahovat z trezoru a myslet na to.
Vyzkousej vsechno? Co vsechno? Psal jsem priklady veci, ktere ta kriteria nesplnuji...
Randolf
Citace od: Tadeas kdy 15. 05. 2014, 17:05:44
Modrý z nebe bys nechtěl?
Chapu to spravne tak, ze tvrdite, ze takovy system neexistuje?
GlusterFS kupodivu umí jedno i druhé současně. ;D
Zkus třeba btsync.
cituji
"
Nechci to ani na hrani, ani na produkcni reseni, spis mne nebavi ze uz 20 let musim resit zalohy a dostupnost dat... kez bych vedel, kde mam sve fotky z roku 1997. Tak bych rad reseni, ktere mi umozni mit data vsude a kdykoli. Proste takovy google drive, ale svuj, abych neplatil za (v soucasnosti) stovky gigabajtu terabajtu cloudoveho ulozneho prostoru.
Priklad: z videokamery mi leze cca 20GB na hodinu zaznamu... nechci platit googlu ci jinemu provideru, abych ty hodiny videa nekde mel uskladnene "kdyby neco".
"
pokud to zautomatizujete, tady uz plati to, ze premira informaci je horsi nez nedostatek informaci, uz mame tolik systemu/ruzneho software, ze se ani nedokazete rozhodnout co je nejlepsi. i dat se generuje tolik, ze to jeden clovek nedokaze vykoukat do konce zivota.
pri automatizaci vam to vyblije adresare napriklad podle datumu a zas v tech gigabytech nebudete vedet kde mate svoji babicku na fotkach.
pokud to budete sam tridit rucne, tak na to zabijete svoje mladi i svoje stari.
budeme si muset pockat na inteligentni systemy co to za nas vsechno roztridi a vygeneruji metadata.
pouzijte to nejjednodussi rsync a jeden hlavni server s diskem. na druhy disk se to muze zaroven automaticky zrcadlit.
nebo bych mel btrfs, ten umi nejake zrcadleni myslim.
Citace od: fdvgdsfsda kdy 15. 05. 2014, 21:49:01
cituji
"
Nechci to ani na hrani, ani na produkcni reseni, spis mne nebavi ze uz 20 let musim resit zalohy a dostupnost dat... kez bych vedel, kde mam sve fotky z roku 1997. Tak bych rad reseni, ktere mi umozni mit data vsude a kdykoli. Proste takovy google drive, ale svuj, abych neplatil za (v soucasnosti) stovky gigabajtu terabajtu cloudoveho ulozneho prostoru.
Priklad: z videokamery mi leze cca 20GB na hodinu zaznamu... nechci platit googlu ci jinemu provideru, abych ty hodiny videa nekde mel uskladnene "kdyby neco".
"
pokud to zautomatizujete, tady uz plati to, ze premira informaci je horsi nez nedostatek informaci, uz mame tolik systemu/ruzneho software, ze se ani nedokazete rozhodnout co je nejlepsi. i dat se generuje tolik, ze to jeden clovek nedokaze vykoukat do konce zivota.
pri automatizaci vam to vyblije adresare napriklad podle datumu a zas v tech gigabytech nebudete vedet kde mate svoji babicku na fotkach.
pokud to budete sam tridit rucne, tak na to zabijete svoje mladi i svoje stari.
budeme si muset pockat na inteligentni systemy co to za nas vsechno roztridi a vygeneruji metadata.
pouzijte to nejjednodussi rsync a jeden hlavni server s diskem. na druhy disk se to muze zaroven automaticky zrcadlit.
nebo bych mel btrfs, ten umi nejake zrcadleni myslim.
Nemel jsem na mysli automaticky sber dat, pouze urcni ukladani dat z rucni kamery :) Proste jednotne uloziste pro osobni data.
Citace od: pavele kdy 15. 05. 2014, 20:03:02
GlusterFS kupodivu umí jedno i druhé současně. ;D
Zkus třeba btsync.
Opravdu? Diky, zkusim se podivat!
Randolf
Citace od: Randolf kdy 16. 05. 2014, 16:16:10
Citace od: pavele kdy 15. 05. 2014, 20:03:02
GlusterFS kupodivu umí jedno i druhé současně. ;D
Zkus třeba btsync.
Opravdu? Diky, zkusim se podivat!
Randolf
Hmm.. glusterfs ma dost nevyhodu, ze umi vpodstate ekvivalent raidu 0, 1 a 0+1, ale uz ne napr. 5/6... coz mi ted ale dochazi, ze jakakoli modifikace by vyzadovala cteni ze vzdalenych zdroju, coz asi neni moc efektivni :)
btsync je fajn na synchronizaci, ale neudelam tim striping...
Rozumim tomu dobre, ze chcete jednu binarku na vsechno ?
bezna data klient/server - owncloud
video apod klient/server - rsync v cronu
server brno - server praha - rsync v cronu treba
Citace1) radsi si zaplatim jednorazove nez platit mesicne nezanedbatelnou polozku
tohle moc nechapu. protoze takhle to budes mit taky peknou palku na mesicnim pausalu
necetl jsem vsechny pozdavky, asi budeme muset neco vypustit nebo to rozlozit do jiny vrstev, mozna by se dala odpichnout zde, http://sheepdog.github.io/sheepdog/ a zkuste juknout na novou vychazejici hvezdu http://ceph.com . faha
Ja nad podobnym systemem premyslim taky, 2 datacentra ruznych hosteru (praha, brno) + svuj domov (20mbps sym) + worst case zaloha u rodicu (1M/100k asym). Ale taky jsem nenasel nic, co by fungovalo na takto heterogenni siti a hlavne heterogennimi daty (zdrojaky/dokumenty vs. audio/video vs. uncompressed audio/video). Navic u me je pozadavek at je FS inkrementalni a data se nikdy nemazou pri synchronizaci, kvuli bezpecnosti. Taky bych tam rad mel featury na hledani duplicit a nasledny dedup + crc pres bloky jako ZFS.
Uz jsem premyslel o tom si to napsat pres FUSE sam.
Tyhle pozadavky prozrazuji hlavne miru nesoudnosti tazatele. Proc to ma byt zrovna distribuovany FS? To jako ze kdyz na sajtu s konektivitou 100kbps nahrajete na disk pres mistni sit svou sbirku porna, tak musi okamzite byt dostupna i na vsech ostatnich peti sajtech? Co vecne mladi? Nema to zaridit i vecne mladi spravci? I kdyz spise byste potrebovali kamen mudrcu :)
Samozrejme, ze existuje http://www.dragonflybsd.org/features/#index2h2 (http://www.dragonflybsd.org/features/#index2h2) a jeho nova verze, ktera je ted v aktivnim vyvoji to jeste vse vylepsuje.
rsync + encfs? :)
ono ani na vlastním hw, připojeném do internetu, kde mám nějaká důležitá, např. pracovní-firemní, data, bych nespoléhal, že se tam nikdo cizí nikdy nedostane (náhoda, chyba, něco přehlídnu..). a šifrované teda klidně i na google disk a spol., navíc za mě zařídí tu redundanci, koupi nového a většího disku každých x let..
je to pak dostupné i online.. (jen read-only, obousměrný rsync jsem ještě nezkoušel)
Citace od: RDa kdy 17. 05. 2014, 08:29:54
Taky bych tam rad mel featury na hledani duplicit a nasledny dedup + crc pres bloky jako ZFS.
Pokud potrebujes neco, co ma featury zfs, zkus pouzit zfs ;)
Zfs + rsync by asi resilo vsechno, co jsi natukl, ale obavam se, ze bys casem zjistil, ze to vlastne nechces - napr. ta věčná historie - jasně, není problém si každý den udělat snapshot, ale za deset let z toho budeš mít nějakých tři a půl tisíce snapshotů, ve kterých stejně nic nenajdeš...
A dedup taky typicky na data nepotřebuješ, protože to má obrovskou režii a bylo by to strašně drahý (věčná historie!).
Stejně tak není žádný technický problém nechat data zfs send-em přetýkat třeba do Amazon Glacier, ale tam ti cena taky bude nepříjemně narůstat (opět: věčná historie!) a budeš platit za data, který dost pravděpodobně vůbec nikdy z úložiště nevytáhneš...
Citace od: RDa kdy 17. 05. 2014, 08:29:54
Uz jsem premyslel o tom si to napsat pres FUSE sam.
Tak to je známá věc, že seš megaloman ;) ale tohle je fakt zbytečný - nástroje na to jsou, jenom je dobře uspořádat...
Citace od: Mirek Prýmek kdy 19. 05. 2014, 08:58:15
A dedup taky typicky na data nepotřebuješ, protože to má obrovskou režii a bylo by to strašně drahý (věčná historie!).
naopak, dedup (jak je v ZFS) je idealni pro tohle prostredi (pokud mas pamet/L2ARC) - krom spotreby pameti a trochu fragmentace je nejvetsi downside znacny zpomaleni pri mazani snapshotu (protoze se s kazdym blokem kontroluje a updatuje dedup tabulka)
Citace od: anonym kdy 19. 05. 2014, 09:28:36
naopak, dedup (jak je v ZFS) je idealni pro tohle prostredi (pokud mas pamet/L2ARC) - krom spotreby pameti a trochu fragmentace je nejvetsi downside znacny zpomaleni pri mazani snapshotu (protoze se s kazdym blokem kontroluje a updatuje dedup tabulka)
V běžných datech typu zdrojáky, filmy, mp3, různé dokumenty... to asi moc duplikací nenajde, čili efekt bude zanedbatelný. A v kombinaci s nekonečnou historií by to potřebovalo enormní množství RAM. Proto si myslím, že to právě v tomhle případě nemá smysl, protože prostě poměr náklady/přínosy není moc dobrý.
Deduplikace imho má smysl tam, kde oprávněně očekávám hodně duplikací - image strojů, hodně mírně upravených verzí téhož filmu apod.