Fórum Root.cz

Hlavní témata => Server => Téma založeno: abc 09. 04. 2014, 23:34:57

Název: Synchronizace dvou souborových serverů
Přispěvatel: abc 09. 04. 2014, 23:34:57
Zdravím,

nastíním problém:
místo A, fileserver A1,
místo B(20km od místa A, 4Mbit připojení přes wifi), plánovaný fileserver B1

Ot.1: Jak nejlépe synchronizovat data mezi A1 a B1 a umožnit přístup k co nejaktuálnějším datům pro uživatele v obou místech?
Ot.2: Je možné, aby systém sám rozhodl k jakému úložišti má připojit uživatele(cestujícího mezi oběma místy)?

Díky za rady
Název: Re:synchronizace 2 fileserverů
Přispěvatel: Jimm 09. 04. 2014, 23:41:32
Dost málo informací, vlastně jste nic neřekl... U synchronizace záleží na počtech i velikostech souborů, na možných protokolech, na rychlostech polí, dále záleží na přístupu uživatelů. Pokud v lokalitě 2 uatím server nejede, proč najednou řešit aby se na něj přepojovali uživatelé, když se to doposud obešlo bez toho?

Opět se mi zdá, že se někdo pouští do akce nad jeho síly.
Název: Re:synchronizace 2 fileserverů
Přispěvatel: - 09. 04. 2014, 23:46:24
1.a - vpn + rsync + cron
1.b - napriklad http://www.gluster.org/about/

2. napriklad cez DNS. meno storage.firma.com bude v "A" resolvnute na lokalnu IP (A mirror), v "B" zase B mirror. Moznosti je urcite viac.
Název: Re:synchronizace 2 fileserverů
Přispěvatel: anonym 10. 04. 2014, 00:13:59
A) maji oba byt read/write, nebo muze jeden byt read only?

pokud chces rozumnou RW synchronizaci takl ti cron nestaci, potrebujes asi glusterfs (nebo drbd+gfs2, ale ten pres 4mbit pojede dost bidne)

teoreticky by se dalo neco udelat s csync2, ale ten porad bude mit problem pokud se budou stejny soubory upravovat na obou stranach zaroven

B) split-horizon DNS, pripadne nejaky podobny trik na IP vrstve
Název: Re:synchronizace 2 fileserverů
Přispěvatel: dustin 10. 04. 2014, 07:12:24
Pro stejný účel cca 10 let provozujeme unison přes openvpn spouštěný každých 10 minut z cronu. Jeho výstup se filtruje a konflikty se posílají správci, který má namapované obě samby a ručně je vyřeší. Disky cca 2TB a jede to v pohodě.

Samozřejmě záleží na způsobu využití, tj. pravděpodobnosti konfliktu.
Název: Re:synchronizace 2 fileserverů
Přispěvatel: Mirek Prýmek 10. 04. 2014, 07:28:43
Pro stejný účel cca 10 let provozujeme unison přes openvpn spouštěný každých 10 minut z cronu. Jeho výstup se filtruje a konflikty se posílají správci, který má namapované obě samby a ručně je vyřeší. Disky cca 2TB a jede to v pohodě.

Samozřejmě záleží na způsobu využití, tj. pravděpodobnosti konfliktu.
Jak řešíte, aby se nesynchronizovaly právě zapisované soubory?
Název: Re:synchronizace 2 fileserverů
Přispěvatel: abc 10. 04. 2014, 08:07:11
na úložišti jsou soubory v řádech pár kB až několik GB.
obě by měly být read/write.

ke konfliktům určitě docházet bude, sice ne až tak často, ale určitě se něco sem tam objeví.
Název: Re:synchronizace 2 fileserverů
Přispěvatel: macpac 10. 04. 2014, 09:29:46
Nevim jak na linuxu, ale ve win se to dela pomoci DFS (Distributed File System), kdy system sam synchronizuje soubory a samozrejme se da nastavit, ze lokalita A bude vyuzivat A + pokud vypadne A tak se samozrejme vyuzije B a obracene stejne B v B -> vypadek -> A
Název: Re:synchronizace 2 fileserverů
Přispěvatel: Radim Luža 10. 04. 2014, 09:54:21
1.b - napriklad http://www.gluster.org/about/

Omlouvám se, že přišpívám otázkou, ale chtěl bych se zeptat, na jak rychlých linkách lze gluster rozumně používat. V tutoriálu gluster je uveden gigabit, ale to je v reálu mezi dvěma vzdálenými místy málokdy k dispozici. Jak je na tom gluster v případech, kdy se změny na obou koncích nestíhají celé přenést v rámci krátkých časových okamžiků, ale trvá to třeba půl hodiny?
Název: Re:Synchronizace dvou souborových serverů
Přispěvatel: MP 10. 04. 2014, 11:25:36
ad 1] varianta ke glusterFS/gfs2 je OCFS nad DRBD, kdy se DRBD postara o synchronizaci disku a OCFS umoznuje pristup z vice stroju na filesystem.

Obecne provozovat synchronizaci na 4Mbit je docela bida, chtelo by to zmerit datove toky na serveru A1.
Název: Re:Synchronizace dvou souborových serverů
Přispěvatel: Martin H. 10. 04. 2014, 12:27:41
Jj, taky by mě zajímalo, zda má někdo zkušenosti s něčím podobným jako DFS na Windows serveru.
Tam mám linku 5MB z Brna do Šumperku, mezi 2ma Win servery DFS a soubor cca 20MB je v Brně (nebo i obráceně) za cca 2-3 minuty.
Pravda, víceméně neřeším konflikty, protože prakticky nejsou.
Ale bylo by zajímavé mít něco podobného i na Linuxu (pokud ReadOnly, používám pro synchronizované zálohování RSYNC, na Windows také přes Cygwin a plná spokojenost).

Tedy, dotaz do pranice: Existuje na linuxu něco podobného technologii DFS?
Název: Re:synchronizace 2 fileserverů
Přispěvatel: dustin 10. 04. 2014, 13:56:50
Jak řešíte, aby se nesynchronizovaly právě zapisované soubory?

Unison si hlídá, zda se mu něco nezměnilo pod rukama, občas o tom přijde hláška. Při dalším spuštění (v našem případě po 10 minutách) to projede OK. Přesný způsob detekce v unisonu jsem nestudoval.

Jak říkám, máme s tím dobré zkušenosti, je to až překvapivě spolehlivé. Ale klasicky - YMMV.
Název: Re:synchronizace 2 fileserverů
Přispěvatel: Mirek Prýmek 10. 04. 2014, 16:15:28
Unison si hlídá, zda se mu něco nezměnilo pod rukama, občas o tom přijde hláška. Při dalším spuštění (v našem případě po 10 minutách) to projede OK. Přesný způsob detekce v unisonu jsem nestudoval.
Nenašel jsem pořádnej popis, ale vypadá to, že při transferu prvně soubor přenese a pak přejmenuje. Jestliže ho někdo zapisuje, tak to teda asi zdetekuje, soubor na druhým konci smaže a přenese příště. To vypadá ok pro většinu normálních jednoduchých využití.

Díky.
Název: Re:Synchronizace dvou souborových serverů
Přispěvatel: dustin 10. 04. 2014, 18:49:38
Tak to určitě dělá, myslím že stejně jako např. rsync.