Nejlepší nastavení komprese v 7zip

davkol

Re:Nejlepší nastavení komprese v 7zip
« Odpověď #30 kdy: 29. 03. 2017, 17:28:16 »
mohl by mi nekdo priblizit co to je a jak funguje ten "slovnik"?
wiki
Citace
Zjednodušeně: Algoritmy v této skupině vytvářejí v průběhu komprimace slovník na základě dat již zkomprimovaných, v němž se pak snaží najít data, která se teprve mají komprimovat. Pokud jsou data nalezena ve slovníku, algoritmus zapíše pozici dat ve slovníku místo samotných dat.


robotron

Re:Nejlepší nastavení komprese v 7zip
« Odpověď #31 kdy: 29. 03. 2017, 18:01:56 »
Nakolik je puvodni dotaz podivny, ba zapacha pravdepodobnosti, ze tazatel chce neco jinyho, nez na co se pta, jsem velmi potesen, ze jsem se tu dozvedel zajimave veci o kompresi. Predevsim, ze (uz) existuje paralelni xz "pxz" (dik: ByCzech), porad jsem cekal, kdy dodelaji paralelno do xz a netusil jsem, ze je na to zvlast program. Dale pak jsem velmi vdecen za info o algoritmech PAQ (dik: davkol, St.Petr).

ByCzech

  • *****
  • 1 861
    • Zobrazit profil
    • E-mail
Re:Nejlepší nastavení komprese v 7zip
« Odpověď #32 kdy: 30. 03. 2017, 07:09:34 »
Nakolik je puvodni dotaz podivny, ba zapacha pravdepodobnosti, ze tazatel chce neco jinyho, nez na co se pta, jsem velmi potesen, ze jsem se tu dozvedel zajimave veci o kompresi. Predevsim, ze (uz) existuje paralelni xz "pxz" (dik: ByCzech), porad jsem cekal, kdy dodelaji paralelno do xz a netusil jsem, ze je na to zvlast program. Dale pak jsem velmi vdecen za info o algoritmech PAQ (dik: davkol, St.Petr).

Ono těch paralelních komprimovačů, které jsou jako samostatné programy je více, třeba:

gzip → pigz
lzip → plzip

trubicoid2

Re:Nejlepší nastavení komprese v 7zip
« Odpověď #33 kdy: 30. 03. 2017, 08:59:18 »
treba ten pigz zrovna dokaze transparentne nahradit gzip, udela si tam linky

stejně lbzip2 transparentně nahradí bzip2

pxz ma jinaci prepinace i format, jestli si dobre pamatuju

navic posledni pigz ma i volbu -11, kdy se pouzije zopfli - pomala komprese, dobry vysledek, obycejny gzip to otevre

honza1

Re:Nejlepší nastavení komprese v 7zip
« Odpověď #34 kdy: 30. 03. 2017, 13:52:44 »
mohl by mi nekdo priblizit co to je a jak funguje ten "slovnik"? to ma v sobe 7zip nebo si ho z neceho vytvari ? stejne tak nerozumim jak bych mel 7zip nastavit aby vyuzival "podobnosti"s jiz vytvorenymi archivy

jinak pred par lety jsem cetl par benchamrku a rar mel nejlepsi pomer rychlost/vysledna velikost archivu, 7zip byl o par procent lepsi co do velikosti vysledneho archivu ale za cenu ze byl o mnoho pomalejsi

imho nastaveni maximalni komprese (aspon u raru) ma za nasledek zcela neobhajitelne zvyseni casu vytvareneho archivu za cenu jen par jednotek procent  snizeni velikosti vysledneho archivu (predpokladam podobne chovani i u 7zip mezi volbou komprese normal a ultra, nezkousel jsem)

7z nevyuziva podobnosti mezi archivy, ale podobnosti mezi soubory ve slozce, kterou komprimuje, a to docela efektivne (napr. strasne mo html stranek podobnych - z par desitek GB jsem udelal par desitek MB). 7z umi narozdil od gz,xz celou slozku zkomprimovat, ne jeden soubor. Neni potreba tarovat a podbnosti se lepe hledaji.

7z je pomalejsi nez rar, a pri ULTRA kompresi je pokles rychlosti vysoky, archiv jen o malo mensi. Ale kdyz se procesorovy cas nemusi tolik resit, davam max kompresi z principu.

Narozdil od RAR, ZIP je 7z svobodny.


Honza1

Re:Nejlepší nastavení komprese v 7zip
« Odpověď #35 kdy: 04. 04. 2017, 22:05:58 »
Nakolik je puvodni dotaz podivny, ba zapacha pravdepodobnosti, ze tazatel chce neco jinyho, nez na co se pta, jsem velmi potesen, ze jsem se tu dozvedel zajimave veci o kompresi. Predevsim, ze (uz) existuje paralelni xz "pxz" (dik: ByCzech), porad jsem cekal, kdy dodelaji paralelno do xz a netusil jsem, ze je na to zvlast program. Dale pak jsem velmi vdecen za info o algoritmech PAQ (dik: davkol, St.Petr).

Moje rec. Autor dotazu nedava zpetnou vazbu a tezko poradit, kdyz poradne nevime o co jde. Nicmene jake je vlastne reseni zadani a kolik CPU, RAM to sezere, i jak ma znit prikaz, jsem mu napsal. Nicmene jdem vdecny za diskuzi ohledne aktualnich moznosti komprese dat.

PAQ je v praxi povetsinou nepouzitelny, aje jen tak bych to mohl zkusit taky namensich datech. Vedel by nekdo na to program ?

Take kdysi nekde byla tabulka ruznych kompresoru, jaka je rychlost a ucinnost. 7z vitezi mezi jednotlivymi programy, ale ne moc beznych programu bylo nekolik lesich (mene dat na konci), ale o mnoho pomalejsich. Kde najit tabulku si nemuzu vzpomenout.

robotron

Re:Nejlepší nastavení komprese v 7zip
« Odpověď #36 kdy: 04. 04. 2017, 22:19:41 »
PAQ je v praxi povetsinou nepouzitelny, (..)

Mne nejvic zaujalo, ze autor vytvoril format ZPAQ s VM-kodem dekompresoru coby bytostne soucasti archivu. Jasne, nebude to vhodny pro parbajtovy soubory (to ostatne ale vetsinou stejne nic) -- a dava to sanci na rozsiritelnej format, kterej by se mohl stat takovym ZIPem pro dalsi dlouha desetileti -- a to bez ohledu na to, jestli se bude komprimovat zrovna algoritmem rodiny PAQ. Za me zajimavy, zpaq jsem si hned pokusne nainstaloval.

Honza1

Re:Nejlepší nastavení komprese v 7zip
« Odpověď #37 kdy: 04. 04. 2017, 22:33:23 »
Nasel jsem jednu stranku, zabyvajici se kompresi dat a test mnoho algoritmu. Ale bude to uz starsiho.

https://cs.fit.edu/~mmahoney/compression/text.html
https://cs.fit.edu/~mmahoney/compression/

PAQ je podle vseho lepsi nez LZMA1-2, ale brutalne je pomaly.

l

Re:Nejlepší nastavení komprese v 7zip
« Odpověď #38 kdy: 04. 04. 2017, 23:17:26 »
vsak na archivaci ok

Honza1

Re:Nejlepší nastavení komprese v 7zip
« Odpověď #39 kdy: 05. 04. 2017, 21:03:23 »
Paq stazen odtud http://dhost.info/paq8/paq8px_v69.zip a kompilace pres
Kód: [Vybrat]
g++ paq8px_v69.cpp -DUNIX -DNOASM -O3 -march=core2 -Os -s -fomit-frame-pointer -o paq8px_v69

Komprimovalo to bratru skoro 2h
Kód: [Vybrat]
Total 48447488 bytes compressed to 4636908 bytes.
Time 5842.26 sec, used 905898471 bytes of memory

paq8px_v69 jsem zkompiloval binarku ze zdrojaku danym prikazem. Ale ted nemuzu prijit na to, jak binarku pouzit (mam Ubuntu). jak si pouzil binarku a prikaz ke kompresi ? Musi se binarka nekam pridat ?

Honza1

Re:Nejlepší nastavení komprese v 7zip
« Odpověď #40 kdy: 05. 04. 2017, 23:38:22 »
Tak jeste jeden odkaz, tentokrat novejsi benchmarky a test na vykonnem stroji, komrese i 10 GB textu a dat.

http://mattmahoney.net/dc/
http://mattmahoney.net/dc/#paq
http://mattmahoney.net/dc/10gb.html

oldschool

Re:Nejlepší nastavení komprese v 7zip
« Odpověď #41 kdy: 06. 04. 2017, 08:33:43 »
paq8px_v69 jsem zkompiloval binarku ze zdrojaku danym prikazem. Ale ted nemuzu prijit na to, jak binarku pouzit (mam Ubuntu). jak si pouzil binarku a prikaz ke kompresi ? Musi se binarka nekam pridat ?

Standardni security v unixech (nebo rekneme to na rovinu, chyba v navrhu OS, kdysi jsme tak hackovali skolni BSD) je, ze binarky ktere nejsou v slozkach kde smeruje cesta se musi spoustet jako ./nazev-binarky aby bylo jasno, ze spoustis prave tu co mas v ceste. Ja to kompiloval v downloads.

Kód: [Vybrat]
~/Downloads/paq$ ./paq8px_v69   
paq8px archiver (C) 2008, Matt Mahoney et al.
Free under GPL, http://www.gnu.org/licenses/gpl.txt

To compress:
  paq8px -level file               (compresses to file.paq8px)
  paq8px -level archive files...   (creates archive.paq8px)
  paq8px file                      (level -5, pause when done)
level: -0 = store, -1 -2 -3 = faster (uses 35, 48, 59 MB)
-4 -5 -6 -7 -8 = smaller (uses 133, 233, 435, 837, 1643 MB)
You may also compress directories.

To extract or compare:
  paq8px -d dir1/archive.paq8px      (extract to dir1)
  paq8px -d dir1/archive.paq8px dir2 (extract to dir2)
  paq8px archive.paq8px              (extract, pause when done)

To view contents: paq8px -l archive.paq8px

Nebo binarku presun do /usr/local/bin (bdes potrebovat root opravneni) a pak to uz pujde i bez ./ z libovolneho adresare.

Honza1

Re:Nejlepší nastavení komprese v 7zip
« Odpověď #42 kdy: 06. 04. 2017, 18:52:46 »
To oldschool

Diky, presne tak jsem to delal, jen jsem nepsal pomlcku pred urovni komrese. Na slabem PC jsem zkusil soubor o par stovkach kB a pomalu je to na pauzu na kafe. I na rychlem CPU muze 1 GB trvat dny.

Mel by zvladat snad i komprimaci slozky.

Ale jinak super pro ne moc velke veci, napr. kdyz chci hodne textu poslat mailem a mam limit pro prilohu.

Re:Nejlepší nastavení komprese v 7zip
« Odpověď #43 kdy: 06. 04. 2017, 18:56:04 »
Citace
Standardni security v unixech (nebo rekneme to na rovinu, chyba v navrhu OS, kdysi jsme tak hackovali skolni BSD)

To se security moc nesouvisí a proč by to měla být chyba v návrhu OS taky nevím. Zbytek samosebou souhlasí.

dw

Re:Nejlepší nastavení komprese v 7zip
« Odpověď #44 kdy: 07. 04. 2017, 12:06:08 »
Nebo binarku presun do /usr/local/bin (bdes potrebovat root opravneni) a pak to uz pujde i bez ./ z libovolneho adresare.

Alebo si to presun do zlozky bin svojho domovskeho adresara (~/bin) nech si nevyrobis pripadnu dalsiu dieru do systemu :D