Program pro zálohu disku/dat

Lojza

  • *****
  • 672
    • Zobrazit profil
    • E-mail
Re:Program pro zálohu disku/dat
« Odpověď #15 kdy: 16. 06. 2018, 12:46:37 »
Tech 3,3GB/24hodin asi ne, pouzivam zpaq misto 7zip a 20GB skomprimuje alespon na mych xeonech za par hodin (mohu dohledat casy z testu co jsem delal). Taky zavisi jestli komprimujes na 1jadre nebo mas tech jader 20. Na denni kompresi 2TB to neni, na archivaci neceho co pristich 5let nebudu chtit je to jedna z moznosti.

btw jak by byl ten command line prikaz zpaq 512 pro kompresi celeho adresare vcetne vsech podadresaru a souboru v nich ?

ta rychlost je videt na https://quixdb.github.io/squash-benchmark/#results   


u
Name [size=inherit][/size]
Status
CPU/SoC
Architecture
Clock Speed
Memory
Platform
Distro
Kernel
Compiler
CSV
Ubuntu 14.04.43.10.80gcc-4.9.2[size=inherit]peltast
[size=inherit][/size]
Intel® Xeon® Processor E3-1225 v3x86_643.2 GHz20 GiBLenovo ThinkServer TS140Fedora 224.1.6gcc-5.1.1ma rychlost cca 390 KiB/s tj. cca 1,39 GB za hodinu, to uz je lepsi ale furt nic moc pro kazdodenni pouziti

jeste lepsi kompresi ma bsc https://encode.ru/threads/586-bsc-new-block-sorting-compressor

a hlavne ma o nekolik radu lepsi rychlost komprese/dekomprese
« Poslední změna: 16. 06. 2018, 12:52:47 od Lojza »


kkt1

  • *****
  • 796
    • Zobrazit profil
Re:Program pro zálohu disku/dat
« Odpověď #16 kdy: 16. 06. 2018, 12:54:45 »
Co vim tak zpaq umi komprimovat jenom jeden soubor, tudiz tar. Ja pouzivam zpaq a Archive.zpaq Archive.tar -method 512 -key heslo -threads 1, u mensich archivu threads dle dostupnych jader. Problem s vice threads je ze kazdy sezere xxGB ram tudiz sezrat 1TB ram neni v pripade vetsiho mnozstvi dat az takovy problem. Podivam se na ty veci az budu doma.

Re:Program pro zálohu disku/dat
« Odpověď #17 kdy: 16. 06. 2018, 13:26:04 »
To uz se tu resilo.

zpaq umi jen jeden soubor ? To pak jen prez TAR.

7zip je o poznani rychejsi (100-200 GB za den nejlepsi komprese, hlavne dekomprese velmi rychla, 10-15 MB komprimovanych dat/s takze nekomprimovanych dat i 1 GB/s) prauje dobre tam, kde je velke mnozsti podobnosti. Nejvetsi slovnik muzes dat 1536 MB, coz za kazde zapocate 2 jadra sezere 16.5 GB ram (+ filelist). 64 MB slovnik sezere cca 750 MB RAM +filelist za kazde zapocate 2 vlakna.

paq8px jede cca 200 MB za den, stejna rychlost rozbalovani, nemoznost test archivu, umi 1 vlakno, max. slovnik -8 asi 1700 MB RAM. Nezvlada soubory nad 2 GB. Melo to byt s kompresi nejlepsi, vysledek ale nejlepsi nebyl.

xz jen jeden soubor umi, nejlepsi metoda -9e, pomalejsi a o trochu horsi nez 7zip, na jedno vlakno sezere asi 800 MB RAM tusim, pocet vlaken nastavis -T napr. T -8.

https://forum.root.cz/index.php?topic=15102.0

Re:Program pro zálohu disku/dat
« Odpověď #18 kdy: 17. 06. 2018, 14:57:44 »
Ten pristup bez rozbalovani je problem, takze tezko poradit. To chces pristupovat bez rozbaleni kvuli malo mista na disku nebo CPU casu ? Pokud rozbalis komprimovany 7zip archiv s ISO souborem a dobrou kompresi, je rozbalovani desitky-stovky MB/s, s cca 0.01-4 GB ram podle slovniku. Pokud potrebujes pracova vzdy s jednim souborem, ne celym diskem, rozbal jen jeden soubor z archivu (7zip prochazi cely pevny archiv, nez vybrane soubory rozbali, ale az stovky MB/s). Samotny archiv muzes mit prava read-only, tak soubory uvnitr nezmenis.

nobody(ten pravej)

Re:Program pro zálohu disku/dat
« Odpověď #19 kdy: 17. 06. 2018, 15:38:22 »
Ten pristup bez rozbalovani je problem, takze tezko poradit[...]
tak zkus neradit off-topic reseni ;-) ja mu radu ktera by splnovalo pozadavky dal :-)


tomík

Re:Program pro zálohu disku/dat
« Odpověď #20 kdy: 17. 06. 2018, 20:34:29 »
7zip je dobrej, ale já bych to rád procházel jako připojený disk, ale jde to taky, jen to rozbalení jednoho souboru není hned. Jinak díky všem. Dozvěděl jsem o několika nových kompresních programech/algoritmech o kterých jsem nevěděl. Data která se nedají zkomprimovat někdy hážu do ISO obrazu a připojuju.  Třeba si napíšu časem i ten script pro kompresi a rozdělení se SquashFS. Když SquashFS používá třeba i to lzma které používá i 7zip proč nejde SquashFS archiv rozdělit na více souborů? Ta podpora pro rozdělení je v algoritmu nebo v aplikaci?