Nejlepší nastavení komprese v 7zip

[davkol]

mohl by mi nekdo priblizit co to je a jak funguje ten "slovnik"?

wiki

Zjednodušeně: Algoritmy v této skupině vytvářejí v průběhu komprimace slovník na základě dat již zkomprimovaných, v němž se pak snaží najít data, která se teprve mají komprimovat. Pokud jsou data nalezena ve slovníku, algoritmus zapíše pozici dat ve slovníku místo samotných dat.

[Reklama]

[robotron]

Nakolik je puvodni dotaz podivny, ba zapacha pravdepodobnosti, ze tazatel chce neco jinyho, nez na co se pta, jsem velmi potesen, ze jsem se tu dozvedel zajimave veci o kompresi. Predevsim, ze (uz) existuje paralelni xz "pxz" (dik: ByCzech), porad jsem cekal, kdy dodelaji paralelno do xz a netusil jsem, ze je na to zvlast program. Dale pak jsem velmi vdecen za info o algoritmech PAQ (dik: davkol, St.Petr).

[ByCzech]

Nakolik je puvodni dotaz podivny, ba zapacha pravdepodobnosti, ze tazatel chce neco jinyho, nez na co se pta, jsem velmi potesen, ze jsem se tu dozvedel zajimave veci o kompresi. Predevsim, ze (uz) existuje paralelni xz "pxz" (dik: ByCzech), porad jsem cekal, kdy dodelaji paralelno do xz a netusil jsem, ze je na to zvlast program. Dale pak jsem velmi vdecen za info o algoritmech PAQ (dik: davkol, St.Petr).

Ono těch paralelních komprimovačů, které jsou jako samostatné programy je více, třeba:

gzip → pigz
lzip → plzip

[trubicoid2]

treba ten pigz zrovna dokaze transparentne nahradit gzip, udela si tam linky

stejně lbzip2 transparentně nahradí bzip2

pxz ma jinaci prepinace i format, jestli si dobre pamatuju

navic posledni pigz ma i volbu -11, kdy se pouzije zopfli - pomala komprese, dobry vysledek, obycejny gzip to otevre

[honza1]

mohl by mi nekdo priblizit co to je a jak funguje ten "slovnik"? to ma v sobe 7zip nebo si ho z neceho vytvari ? stejne tak nerozumim jak bych mel 7zip nastavit aby vyuzival "podobnosti"s jiz vytvorenymi archivy

jinak pred par lety jsem cetl par benchamrku a rar mel nejlepsi pomer rychlost/vysledna velikost archivu, 7zip byl o par procent lepsi co do velikosti vysledneho archivu ale za cenu ze byl o mnoho pomalejsi

imho nastaveni maximalni komprese (aspon u raru) ma za nasledek zcela neobhajitelne zvyseni casu vytvareneho archivu za cenu jen par jednotek procent  snizeni velikosti vysledneho archivu (predpokladam podobne chovani i u 7zip mezi volbou komprese normal a ultra, nezkousel jsem)

7z nevyuziva podobnosti mezi archivy, ale podobnosti mezi soubory ve slozce, kterou komprimuje, a to docela efektivne (napr. strasne mo html stranek podobnych - z par desitek GB jsem udelal par desitek MB). 7z umi narozdil od gz,xz celou slozku zkomprimovat, ne jeden soubor. Neni potreba tarovat a podbnosti se lepe hledaji.

7z je pomalejsi nez rar, a pri ULTRA kompresi je pokles rychlosti vysoky, archiv jen o malo mensi. Ale kdyz se procesorovy cas nemusi tolik resit, davam max kompresi z principu.

Narozdil od RAR, ZIP je 7z svobodny.

[Reklama]

[Honza1]

Nakolik je puvodni dotaz podivny, ba zapacha pravdepodobnosti, ze tazatel chce neco jinyho, nez na co se pta, jsem velmi potesen, ze jsem se tu dozvedel zajimave veci o kompresi. Predevsim, ze (uz) existuje paralelni xz "pxz" (dik: ByCzech), porad jsem cekal, kdy dodelaji paralelno do xz a netusil jsem, ze je na to zvlast program. Dale pak jsem velmi vdecen za info o algoritmech PAQ (dik: davkol, St.Petr).

Moje rec. Autor dotazu nedava zpetnou vazbu a tezko poradit, kdyz poradne nevime o co jde. Nicmene jake je vlastne reseni zadani a kolik CPU, RAM to sezere, i jak ma znit prikaz, jsem mu napsal. Nicmene jdem vdecny za diskuzi ohledne aktualnich moznosti komprese dat.

PAQ je v praxi povetsinou nepouzitelny, aje jen tak bych to mohl zkusit taky namensich datech. Vedel by nekdo na to program ?

Take kdysi nekde byla tabulka ruznych kompresoru, jaka je rychlost a ucinnost. 7z vitezi mezi jednotlivymi programy, ale ne moc beznych programu bylo nekolik lesich (mene dat na konci), ale o mnoho pomalejsich. Kde najit tabulku si nemuzu vzpomenout.

[robotron]

PAQ je v praxi povetsinou nepouzitelny, (..)

Mne nejvic zaujalo, ze autor vytvoril format ZPAQ s VM-kodem dekompresoru coby bytostne soucasti archivu. Jasne, nebude to vhodny pro parbajtovy soubory (to ostatne ale vetsinou stejne nic) -- a dava to sanci na rozsiritelnej format, kterej by se mohl stat takovym ZIPem pro dalsi dlouha desetileti -- a to bez ohledu na to, jestli se bude komprimovat zrovna algoritmem rodiny PAQ. Za me zajimavy, zpaq jsem si hned pokusne nainstaloval.

[Honza1]

Nasel jsem jednu stranku, zabyvajici se kompresi dat a test mnoho algoritmu. Ale bude to uz starsiho.

https://cs.fit.edu/~mmahoney/compression/text.html
https://cs.fit.edu/~mmahoney/compression/

PAQ je podle vseho lepsi nez LZMA1-2, ale brutalne je pomaly.

[l]

vsak na archivaci ok

[Honza1]

Paq stazen odtud http://dhost.info/paq8/paq8px_v69.zip a kompilace pres

Kód: [Vybrat]

g++ paq8px_v69.cpp -DUNIX -DNOASM -O3 -march=core2 -Os -s -fomit-frame-pointer -o paq8px_v69

Komprimovalo to bratru skoro 2h

Kód: [Vybrat]

Total 48447488 bytes compressed to 4636908 bytes.
Time 5842.26 sec, used 905898471 bytes of memory


paq8px_v69 jsem zkompiloval binarku ze zdrojaku danym prikazem. Ale ted nemuzu prijit na to, jak binarku pouzit (mam Ubuntu). jak si pouzil binarku a prikaz ke kompresi ? Musi se binarka nekam pridat ?

[Honza1]

Tak jeste jeden odkaz, tentokrat novejsi benchmarky a test na vykonnem stroji, komrese i 10 GB textu a dat.

http://mattmahoney.net/dc/
http://mattmahoney.net/dc/#paq
http://mattmahoney.net/dc/10gb.html

[oldschool]

paq8px_v69 jsem zkompiloval binarku ze zdrojaku danym prikazem. Ale ted nemuzu prijit na to, jak binarku pouzit (mam Ubuntu). jak si pouzil binarku a prikaz ke kompresi ? Musi se binarka nekam pridat ?

Standardni security v unixech (nebo rekneme to na rovinu, chyba v navrhu OS, kdysi jsme tak hackovali skolni BSD) je, ze binarky ktere nejsou v slozkach kde smeruje cesta se musi spoustet jako ./nazev-binarky aby bylo jasno, ze spoustis prave tu co mas v ceste. Ja to kompiloval v downloads.

Kód: [Vybrat]

~/Downloads/paq$ ./paq8px_v69   
paq8px archiver (C) 2008, Matt Mahoney et al.
Free under GPL, http://www.gnu.org/licenses/gpl.txt

To compress:
  paq8px -level file               (compresses to file.paq8px)
  paq8px -level archive files...   (creates archive.paq8px)
  paq8px file                      (level -5, pause when done)
level: -0 = store, -1 -2 -3 = faster (uses 35, 48, 59 MB)
-4 -5 -6 -7 -8 = smaller (uses 133, 233, 435, 837, 1643 MB)
You may also compress directories.

To extract or compare:
  paq8px -d dir1/archive.paq8px      (extract to dir1)
  paq8px -d dir1/archive.paq8px dir2 (extract to dir2)
  paq8px archive.paq8px              (extract, pause when done)

To view contents: paq8px -l archive.paq8px

Nebo binarku presun do /usr/local/bin (bdes potrebovat root opravneni) a pak to uz pujde i bez ./ z libovolneho adresare.

[Honza1]

To oldschool

Diky, presne tak jsem to delal, jen jsem nepsal pomlcku pred urovni komrese. Na slabem PC jsem zkusil soubor o par stovkach kB a pomalu je to na pauzu na kafe. I na rychlem CPU muze 1 GB trvat dny.

Mel by zvladat snad i komprimaci slozky.

Ale jinak super pro ne moc velke veci, napr. kdyz chci hodne textu poslat mailem a mam limit pro prilohu.

[Ondrej Nemecek]

Standardni security v unixech (nebo rekneme to na rovinu, chyba v navrhu OS, kdysi jsme tak hackovali skolni BSD)

To se security moc nesouvisí a proč by to měla být chyba v návrhu OS taky nevím. Zbytek samosebou souhlasí.

[dw]

Nebo binarku presun do /usr/local/bin (bdes potrebovat root opravneni) a pak to uz pujde i bez ./ z libovolneho adresare.

Alebo si to presun do zlozky bin svojho domovskeho adresara (~/bin) nech si nevyrobis pripadnu dalsiu dieru do systemu