Záloha desítek GB u kamaráda

Záloha desítek GB u kamaráda
« kdy: 22. 02. 2022, 08:52:47 »
Radi bysme si s kamaradem vzajemne zalohovali data. Nicmene bysme oba byli radsi kdyby data byla v zaloze sifrovana. K dispozici mame nejake disky, ja orangePi, on notebook jako server, oba verejne adresy, bezici linux/ssh.

Neznate nekdo nejake dobre reseni nejakeho transparentniho sifrovani? Jak se pripadne branit pri takove zaloze ransomware? Nejaka reseni me napadaji, ale prijde me to vse takove na kolene. Nejlepsi by me prisel rsync pres ssh.
« Poslední změna: 22. 02. 2022, 09:18:11 od Petr Krčmář »


alex6bbc

  • *****
  • 1 431
    • Zobrazit profil
    • E-mail
Re:Zaloha desitek GB u kamarada
« Odpověď #1 kdy: 22. 02. 2022, 09:14:59 »
oba mejte partisnu na zalohy, kterou pripojite jen na kratkou dobu pro nahrati zalohy. na par desitek gb staci zasifrovany archiv a poslat to tam scp. nebo cron a scp by si to obcas stahlo a ulozilo. ma smysl z toho delat elektrarnu?

JmJ

  • ****
  • 315
    • Zobrazit profil
Re:Zaloha desitek GB u kamarada
« Odpověď #2 kdy: 22. 02. 2022, 09:18:16 »
Predem se omlouvam, ze me reseni neni univerzalni a realizace ani neni ciste linuxova, ale resil jsem neco podobneho. Na jedne strane stolni PC, ze ktereho se chtelo data zalohovat nekam pryc - na linuxovy server. Pozadavek byl, aby data byla sifrovana.

Chvili jsem hledal neco, co zasifruje soubor a idealne zazipuje a to provede s kazdym souborem zvlast. Nakonec sem si neco napsal v C#.

Na strane desktop PC se udelalo to, ze dulezite adresare se kazdy den presypaly na jine misto na disku, vzdy do extra adresare pro dany den v tydnu. Na to jsem nasel nejaky sw, ktery umel toto kopirovani delat chytre, nekopiroval co se nemenilo, coz proces hodne urychlilo.

Takto vytvorene zalohy se zasifrovaly a zazipovaly mym sw. Pokud se soubor nezmenil, byl i po sifrovani a zipovani vzdy stejny.

Vznikla denni zasifrovana zaloha se pak pomoci Winscp, ktere umi take kopirovat jen zmenem veci, prenesou na server.

Tedy jednim sw se delaji denni zalohy, druhym si to zasifruju za zazipuju kazdy soubor zvlast, tretim to zkopiruju na vzdaleny stroj.

Na jinem mechanismu zalohovani pouzivam to, ze denni zaloha se dela co hodinu, prvni ranni zaloha udela plnou synchronizaci, tedy smaze smazane soubory a prida nove, ale ostatnich 23 zaloh behem dne stare soubory nemaze. Takze kdyz behem dne neco udelate, pak to smazete, tak je rozumna nadeje se se souborem jeste shledat.

Re:Záloha desítek GB u kamaráda
« Odpověď #3 kdy: 22. 02. 2022, 09:34:57 »
Pokud chcete hotovou věc, navrhuju použít Resilio sync - komerční, hotový multiplatformní produkt.

 - běží to prakticky na všem
 - v základní verzi  je to free (samozřejmě, na free užití jsou jisté požadavky) - https://www.resilio.com/individuals/
 - Family verze bývá v 50% akci pravidelně, u příležitosti "sysadmin day" apod.
 - P2P protokol, prakticky nulové požadavky na infrastrukturu - není nutná VPN apod.
 - jedním ze způsobů synchronizace je i šifrovaný uzel, kde ani jeho majitel nevidí data
 - ta věc prostě funguje, a funguje bez práce. Při změně souboru okamžitě synchronizuje do ostatních uzlů (takhle řeším "hot standby" notebook pro okamžitou práci v případě, kdy mi primár chcípne)
 - nemá problém ani s větším množstvím dat (v mém balíku je to cca 40GB dat)

Používám dlouhodobě pro synchronizaci hot-standby dat na notebook. Mimo to i pro synchronizaci důležitých dat mimo primární site, kde se verzuje  pro případy jako je napadení malwarem atd.




Re:Záloha desítek GB u kamaráda
« Odpověď #4 kdy: 22. 02. 2022, 09:42:47 »
Proc vymyslite kolo? Kupte si kazdy treba synology, nebo pouzivejte uz vytvorene backup systemy typu borg apod.


Re:Záloha desítek GB u kamaráda
« Odpověď #5 kdy: 22. 02. 2022, 09:55:29 »
ten Synology jako koupit do obou mist? Moje zkusenosti s Qnapem jsou pomerne tristni...

Kdyz jsem se na tohle koukal, tak zrovna snad Borg jeste neumel ani sifrovani (coz bylo sokujici zjisteni), ale to uz je historie.

POkud by slo o synchronizaci jednoho 30GB souboru, tak pri normalni rychlost uploadu to je sebevrazda, pokud uz to vubec jde u zasifrovaneho souboru?

Co OpenZFS? to puvodni ZFS na BSD neumelo snapshoty posilat zasifrovane (skrz sifrovani tunel jo, ale ne zasifrovana data), ale OpenZFS 2.* to ma uz bezproblemu delat.V tom pripade by to mohlo byt dalece nejlepsi  reseni.


Logik

  • *****
  • 1 022
    • Zobrazit profil
    • E-mail
Re:Záloha desítek GB u kamaráda
« Odpověď #6 kdy: 22. 02. 2022, 10:34:34 »
Co syncthing na šifrovanou partition?

Re:Zaloha desitek GB u kamarada
« Odpověď #7 kdy: 22. 02. 2022, 10:55:25 »
Takto vytvorene zalohy se zasifrovaly a zazipovaly mym sw.
Je nesmysl komprimovat zašifrovaná data. Pokud to chcete komprimovat, pak nejprve komprimujte a teprve pak šifrujte. Výstup šifrování by se měl co nejvíce blížit náhodnému šumu – a náhodný šum nejde komprimovat.

Re:Záloha desítek GB u kamaráda
« Odpověď #8 kdy: 22. 02. 2022, 10:57:07 »
Chystám se něco obdobného taky zprovoznit a chystám se použít toto:

https://duplicity.gitlab.io/duplicity-web/index.html

alex6bbc

  • *****
  • 1 431
    • Zobrazit profil
    • E-mail
Re:Záloha desítek GB u kamaráda
« Odpověď #9 kdy: 22. 02. 2022, 11:08:02 »
sifrovat archiv lze i s gpg.
zasifrovani archivu si udelas u sebe, nesifrovany archiv na sifrovanem disku si kamos muze cist :-)

Re:Záloha desítek GB u kamaráda
« Odpověď #10 kdy: 22. 02. 2022, 16:39:57 »
Dekuji za namety, jedna se predevsim o staticka data - fotky, videa, tzn. nepocitam ze by v jednotlivych souborech dochazelo k nejakym zmenam.

oba mejte partisnu na zalohy, kterou pripojite jen na kratkou dobu pro nahrati zalohy. na par desitek gb staci zasifrovany archiv a poslat to tam scp. nebo cron a scp by si to obcas stahlo a ulozilo. ma smysl z toho delat elektrarnu?
To by vyzadovalo jistou soucinnost, to nedame. Ohledne elektrarny - nerozumim, pokud myslite, ze by to zbytecne zralo elektrinu, obe zarizeni beztak bezi 24/7.

Chystám se něco obdobného taky zprovoznit a chystám se použít toto:

https://duplicity.gitlab.io/duplicity-web/index.html

@Duplicity jsem kdysi pouzival, dobre ze jste me to pripomnel. Melo to tedy znacny problem s velkymi soubory (a zmenami v nich), nicmene toto neni muj pripad.

@Syncthing pouzivam, to je dobra vec, nicmene neresi to moc ten problem ze mu budu moci koukat na fotky (i kdyz partition bude sifrovana).

Na borg se podivam. OpenZFS to je teda uz poradny aparat, zkusim.

@Resilio bude asi fajn, ale na subscription to nevypada, to by si kamos spis koupil misto na google disku (coz taky stoji za uvahu).

Re:Záloha desítek GB u kamaráda
« Odpověď #11 kdy: 22. 02. 2022, 17:03:49 »

@Syncthing pouzivam, to je dobra vec, nicmene neresi to moc ten problem ze mu budu moci koukat na fotky (i kdyz partition bude sifrovana).


Jen nápad, neřeší váš problém se šifrováním na cílovém disku toto? https://docs.syncthing.net/branch/untrusted/html/users/untrusted.html
Gréta je nejlepší.

Re:Záloha desítek GB u kamaráda
« Odpověď #12 kdy: 22. 02. 2022, 17:09:51 »
Kdysi mi Wedos, nebo někdo takový, dal "zdarma" k VPS nějaké úložiště přístupné po Sambě.
Úplně jsem to mu nevěřil, tak jsem tenkrát používal EncFS.

Vůbec netuším, do jaké míry to je ještě dnes použitelné.

https://www.root.cz/clanky/encfs-sifrovani-souboru-jinak-a-bez-problemu/

Re:Záloha desítek GB u kamaráda
« Odpověď #13 kdy: 22. 02. 2022, 17:39:59 »
co se tyce zfs, je to jednoduse instalovatelny aparat. je to vicemene souborovy system.

tak posledni odstavec "Sending incremental snapshot to a backup server" na https://zewaren.net/freebsd-zfs-encryption-with-open-zfs.html
popisuje presne co chces.

BTW Koukam, ze to ted umi i veci jako "redacted replication".

_Jenda

  • *****
  • 1 550
    • Zobrazit profil
    • https://jenda.hrach.eu/
    • E-mail
Re:Záloha desítek GB u kamaráda
« Odpověď #14 kdy: 22. 02. 2022, 17:43:34 »
Neznate nekdo nejake dobre reseni nejakeho transparentniho sifrovani?
Uděláš si velký prázdný soubor, připojíš ho přes sshfs, naformátuješ jako LUKS oddíl, přimountuješ a zálohuješ do něj rsyncem.

Pokud jsi dobrodruh, můžeš použít NBD, a exportovat LVM LV. Je to trochu rychlejší než sshfs v souboru.

V tom souboru si můžeš udělat btrfs, zapnout kompresi (=rychlejší, úspornější) a dělat snapshoty (=máš i historii).

Jak se pripadne branit pri takove zaloze ransomware?
Nelze.

Nejlepsi by me prisel rsync pres ssh.
Ten není end-to-end šifrovaný.

Ještě můžeš použít encfs v reverzním módu, to pak jde rsyncovat, ale je to ještě dobrodružnější než to NBD.

Proc vymyslite kolo? Kupte si kazdy treba synology
Jednak Synology jsou basliči (např. https://twitter.com/richfelker/status/1357733309737021444) a možná jako nechceš mít další proprietární řešení které se budeš muset učit adminovat, jednak mi není jasné jak „kup si synology“ řeší dotaz na šifrování dat.

nebo pouzivejte uz vytvorene backup systemy typu borg apod.
To vypadá dobře (přečetl jsem si jejich úvodní stránku).

Chystám se něco obdobného taky zprovoznit a chystám se použít toto:

https://duplicity.gitlab.io/duplicity-web/index.html
To mělo problém v tom, že se udělala jedna plná záloha a pak tam byly neustále inkrementy a staré nešly smazat a musela se udělat další plná záloha, což může být při přenosu přes internet obtížné.