Příspěvky

151

Software / Re:Program pro zálohu disku/dat

« kdy: 17. 06. 2018, 14:57:44 »

Ten pristup bez rozbalovani je problem, takze tezko poradit. To chces pristupovat bez rozbaleni kvuli malo mista na disku nebo CPU casu ? Pokud rozbalis komprimovany 7zip archiv s ISO souborem a dobrou kompresi, je rozbalovani desitky-stovky MB/s, s cca 0.01-4 GB ram podle slovniku. Pokud potrebujes pracova vzdy s jednim souborem, ne celym diskem, rozbal jen jeden soubor z archivu (7zip prochazi cely pevny archiv, nez vybrane soubory rozbali, ale az stovky MB/s). Samotny archiv muzes mit prava read-only, tak soubory uvnitr nezmenis.

152

Software / Re:Něco jako PuTTY pro Android?

« kdy: 17. 06. 2018, 14:49:11 »

Neco jako Putty by melo byt pod Androidem SSH Juice, se kterym se muzes prihlasit na server. Akorat ma smarfoun a Android mnohem vetsi tendenci ukladat si hesla. pak taky asi i na Smartfounu bude problem se specialnimi znaky, jinak moc nemam zkousenosti.

153

Software / Re:Software pro vytvoření panorama z fotek

« kdy: 17. 06. 2018, 14:44:34 »

Hlasku to nepise zadnou, jen ty panorama to vzdy napvrhne divne - jako by ty foky vubec nepatrili k sobe. ICE od MS delal panorama dobre, jenze to na Ubuntu nerozjedu. Pro tyto pripady mam Win7 64 bit na malem diskovem oddilu, jenze ICE chce C++ framevork a tato knihovna nejde nainstalovat, hodi vzdy pri instalaci chybu, bez konkretni hlasky.

Tak to mas pak ale problem s fotkami a ne s huginem. Kazdy sw funguje jinak, nektere umi pracovat s posunutym fotakem, nektere ne, nektere jenom do urcite miry. Fotis ze stativu s pano hlavou, nebo z ruky?

Fotim z ruky, cca 25-40 % se prekriva, panorama je z vetsinou 10-50 fotek, minimum 3, maximum bylo okolo 270. ICE to zvladal v pohode cca do 250 fotek, pracoval 30 min. Problem s ICE nechapu.

154

Software / Re:Software pro vytvoření panorama z fotek

« kdy: 16. 06. 2018, 13:27:43 »

hugin jsem zkousel, na Ubuntu 17.10 64 Bit nefunguje. Pak taky Fotoxx, nefunguj na mem Ubuntu vubec.

Tak kde je chyba ... Mozna nove Ubuntu.

155

Software / Re:Program pro zálohu disku/dat

« kdy: 16. 06. 2018, 13:26:04 »

To uz se tu resilo.

zpaq umi jen jeden soubor ? To pak jen prez TAR.

7zip je o poznani rychejsi (100-200 GB za den nejlepsi komprese, hlavne dekomprese velmi rychla, 10-15 MB komprimovanych dat/s takze nekomprimovanych dat i 1 GB/s) prauje dobre tam, kde je velke mnozsti podobnosti. Nejvetsi slovnik muzes dat 1536 MB, coz za kazde zapocate 2 jadra sezere 16.5 GB ram (+ filelist). 64 MB slovnik sezere cca 750 MB RAM +filelist za kazde zapocate 2 vlakna.

paq8px jede cca 200 MB za den, stejna rychlost rozbalovani, nemoznost test archivu, umi 1 vlakno, max. slovnik -8 asi 1700 MB RAM. Nezvlada soubory nad 2 GB. Melo to byt s kompresi nejlepsi, vysledek ale nejlepsi nebyl.

xz jen jeden soubor umi, nejlepsi metoda -9e, pomalejsi a o trochu horsi nez 7zip, na jedno vlakno sezere asi 800 MB RAM tusim, pocet vlaken nastavis -T napr. T -8.

https://forum.root.cz/index.php?topic=15102.0

156

Software / Re:Software pro vytvoreni panorama z fotek

« kdy: 15. 06. 2018, 13:02:23 »

U panoramatu z 10 fotek je to jedno, u panoramatu z 3000+ fotek je to znat.

Jak fotis takovy pano (3k fotek), to mas vertikalni/horizontalni kolejnice a naprogramovanej posun nebo to snimas vse rucne? Mel bys ukazku vystupu?

Rucne by to bylo peklo. Kkt2 pouziva docela drahe vybaveni vc. programu a nejspis bude mit pro profesionalni praci fotoaparat s hodinovym strojkem, jez se automaticky posouva, napodobne pri astronomickych pzorovanich.

Ja delam panorama z vetsinou 5-50 fotek, obcas i vic nez 100, rozliseni fotek je 10 Mpix. Nejvic jsem mel asi 270 fotek a trvalo to cca pul hodiny, 10 fotek je za par sekund, v ICE panorama. Snimam to rucne.

Nesem profesional, proto se ptam na nekomercni program pro Ubuntu. Ze to potrva dyl, nevadi.

157

Software / Re:Program pro zálohu disku/dat

« kdy: 15. 06. 2018, 00:59:53 »

Komprimovat, rozdelit archiv na vic dilu, to umi treba 7zip, umi kontrololu dat, sifrovani, dobra komprese.
Pak program, co umi udelat ISO soubor ze slozky. Na Widle ImgBurn a na Linuxu taky neco je i prez terminal, ale baha, kdyz je slozita struktura slozek, nazvy souboru, muzou se podelat. A ten .iso soubor muzes zkomprimovat 7zip, vc. rozdeleni na vic casti.
Read only - pro ten .iso soubor dat prava 500 (muze pouze uzivatel, co to vytvoril, cist a soustet, psat (tedy menit soubor) ne, ale tou komprimaci 7zip ty prava se zmeni asi i. A kdyz chces .iso soubor pripojit, musis to rozbalit. Muzes udelat .iso soubor, pak to prohnat TARem, nakonec komprimace 7zip s rozdelenim archivu (a pro pripojeni ISO souboru musis 7zip i tar rozbalit).

Ale jinak zalohuji prez rsync, pouze na lokalu takto:
rsync -ahvc --delete --progress Zdrojova_Slozka s cestou Cilova_Slozka_S_Cestou

-Podle kontrolnich souctu porovna soubory, smaze v cilove slozce soubory, co ve zdrojove slozce nejsou, pokud je ve zdrojove slozce soubor s jinym checksum nez ve zdrojove, soubor se aktualizuje podle zdroje. Pravdou je, ze rsync blbne pri pouziti nohup.

158

Software / Software pro vytvoření panorama z fotek

« kdy: 15. 06. 2018, 00:43:41 »

Co pouzivate na vytvoreni panoramatickeho obrazu z fotografii ? Driv jsem pouzival Microsoft ICE Panorama, coz je ale logicky jen pod Widlema, takze smula. Mel by nekdo doporuceni, co pouzit na Ubuntu 64 Bit. Muze to byt i prez terminal, abych mohl spustit vytvareni vice panoramat a nechat to automaticky bezet (pro kazde panorama fotky v jedne slozce).

159

Software / Software pro zobrazení hvězdné oblohy

« kdy: 16. 02. 2018, 21:42:42 »

Nemel by nekdo nejaky typ na program (pro Linux samozrejme), ve kterem bych si mohl zobrazit hvezdnou oblohu (co je na obloze) ? Aby to nebylo prilis narocne na CPU.

Vim, ze existuje napr. Celestia, kde se daji i virtualne prohlizet cizi planety a hvezdy (z jakehokoliv preddefinovaneho mista, spocita planety a hvezdy kolem). Ale u nekterych verzi se program pri pocitani polohy vsech objektu casto zasekaval.

160

Sítě / Re:HW pro SOHO síť

« kdy: 16. 02. 2018, 21:27:35 »

200 MBit pro domaci sit ? To je poradnej odber. Pamatuju doby, kdy cela budova koleji (cca 1000 lidi) byla asi na 100 Mbit, ale to uz je davno.

161

Software / Re:Nejlepší nastavení komprese v 7zip

« kdy: 04. 02. 2018, 15:18:41 »

Dalsi mensi test

U kazdeho archivu jsou paeametry nastavei
#########################################################################################################

A) Jedna se o nekolik grafu vytvorenych v Gnuplotu 2000x1000 bodu, par grafu 3000x1000 bodu, barev tam tolik neni, jen cervene body, nebo linie. Proto obrazky 24 Bit i 8 Bit barevne hloubky vypadaji stejne a velikost je skoro stejna.

Puvodni obrazek PNG, prez BMP konvert do 24 Bit a prez GIF konvert do 8 Bit barevne hloubky. Ulozeni PNG: convert quality 95.

Rozliseni 2000x1000 nektere grafy 3000x1000
2 357 771 B SWM08.7z PNG 8 bit PNG
1 249 712 B SWM08_BMP.7z 8 Bit BMP
3 619 839 B SWM1.7z After Gnuplotting original PNG Files
2 358 820 B SWM24.7z PNG 24 Bit PNG
1 560 653 B5 SWM24_BMP.7z BMP 24 Bit BMP
Parametry komprimace u vsech archivu:   7z a -t7z -m0=lzma2 -mqs -mx=9 -mfb=273 -md=64m -ms=on -ms=65536g -mmt=2
#######################
BMP08 data:
Everything is Ok
Folders: 8
Files: 238
Size:       255 048 076 B
Compressed: 1 249 712 B
#######################
PNG08 data:
Everything is Ok
Folders: 8
Files: 238
Size:       3 323 802 B
Compressed: 2 357 771 B
#######################
BMP24 data:
Everything is Ok
Folders: 8
Files: 238
Size:       1 030 208 774 B
Compressed: 1 560 653 B
#######################
PNG24 data:
Everything is Ok
Folders: 8
Files: 238
Size:       3 319 994 B
Compressed: 2 358 820 B
#######################
PNG24 Originalni soubory vytvorene Gnuplotem
Everything is Ok
Folders: 8
Files: 238
Size:       5 294 868 B
Compressed: 3 619 839 B
#######################

#########################################################################################################

B) Podobna vec - automaticke printscreen html stranky pomoci NodeJS. Stranka obsahuje barevnou tabulku, JPG se tedy absolutne nehodi.

Nejmensi velikost archivu ma zkomprimovane BMP v hloubce 24 Bit (mensi nez BMP v houbce 8 Bit). Zato rozbaleni a komprimace BMP je mnoho-nasobne delsi nez PNG, stejne tak, jako objem dat.

400 452 683 B Ogimet_Data_Daily_PrintScreens_Lite_BMP.7z  7z a -t7z -m0=lzma2 -mqs -mx=9 -mfb=273 -md=64m -ms=on -ms=65536g -mmt=2
925 626 546 B Ogimet_Data_Daily_PrintScreens_Lite_PNG08.7z  7z a -t7z -m0=lzma2 -mqs -mx=9 -mfb=273 -md=64m -ms=on -ms=65536g -mmt=2
Nejlepsi komprese pro BMP 24 bit, druha nejlepsi BMP 08 bit, treti nejlepsi pro PNG 08 bit
Archiv z puvodnich PNG24 bez konvertu mel prez 2 GiB
#######################
Uvnitr archivu:
PNG08:
Everything is Ok
Folders: 28
Files: 6048
Size:       941 631 614 B
Compressed: 925 626 546 B
#######################
BMP24:
Everything is Ok
Folders: 28
Files: 6048
Size:       34 063 170 624yl B
Compressed: 400 452 683 B

#########################################################################################################

C) Test datove soubory CSV, oddelovac strednik. Vetsina znaku v souboru jsou cisla.

Byl vytvoren archiv z puvodnich dat (komprimace slozky), tak byl vytvoren nejdriv TAR soubor a pak zkomprimovan.

OGIMET CSV DATA
Vytvoreni archivu z adresare
503 339 454 B Ogimet_CSV_201711_64.7z 7z a -t7z -m0=lzma2 -mqs -mx=9 -mfb=273 -md=64m -ms=on -ms=65536g -mmt=2
485 767 317 B Ogimet_CSV_201711.7z 7z a -t7z -m0=lzma2 -mqs -mx=9 -mfb=273 -md=1536m -ms=on -ms=65536g -mmt=2 Velky slovnik sezere 16.5 GB RAM !!! Nejlepsi vysledek
535 219 878 B Ogimet_Data_CSV_201711.paq8px paq8px_v69 -8 (cca 1.7 GB RAM cca 33000 min CPU Time)

vytvoreni TARu a pak komprese
3 342 653 440 B Ogimet_CSV_201711.tar NORMAL TAR tar -cf file.tar *
555 309 052 B Ogimet_CSV_201711b.tar.xz xz -9 -T 1
554 798 645 B Ogimet_CSV_201711_TAR_64.7z  7z a -t7z -m0=lzma2 -mqs -mx=9 -mfb=273 -md=64m -ms=on -ms=65536g -mmt=2
554 862 908 B Ogimet_CSV_201711.tar.xz xz -9e -T 1
549 644 276 B Ogimet_CSV_201711.tar.xz  xz -9e -T 1 TAR Soubor 3 342 878 720 B Pokus o Sorted TAR, Data uvnitr TARu stejna
#######################
DATA UVNITR ARCHIVU
CSV soubory, hodne cisel
Everything is Ok
Folders: 19
Files: 2983
Size:       3 340 330 625 B
Compressed: 503 339 454 B

162

Software / Re:Jak presmerovat vystup ke skriptu rovnou do 7z aby se komprimoval

« kdy: 03. 12. 2017, 22:40:22 »

7z komprimuje jednotlivé blocky, jejich nastavení je právě ta řada divných argumentů v samotném dotazu, moc sice optimálně nastavené nejsou, ale neznám HW, objem dat atd.

Je to nastavene na nejlepsi moznou kopresi, optimalnejsi zpusob jsem nenasel. Pravda, je to pomale. Velikost slovniku je parametr -md a velikost bloku (coz nevim co presne ma namysli) se da nastavit podstatne vetsi, aby byl libovolne velky archiv jako jeden blok (-ms).
Ale tady se blok rozumi velikost slovniku -md, coz velikosti bloku, do kterych je archiv rozdelen, odpovida.
-mmt je multithreating, kolik vlaken procesoru se pouzije. Problem je, ze ja jeden slovnik lze pouzit max. 2 vlakna, s kazdou zapocatou dvojici vlaken se musi do pameti paralelne alokovat slovnik. Pokud das -mmt=on, alokuje si to vsechny dostupna vlakna CPU (multi-threating jde jen u lzma2, u lzma ne). Kombinace -md=1536m -mmt=16 znamena, ze potrebujes cca 132 GB RAM, pokud das -mmt=2 nebo -mmt=off, potrebujes 16.5 GB RAM.

163

Software / Re:Jak presmerovat vystup ke skriptu rovnou do 7z aby se komprimoval

« kdy: 03. 12. 2017, 22:27:55 »

Jasně, to sice umí, ale bude to fungovat stejným způsobem? Nemůže to mít horší kompresní výsledky? Nebo to má nějaké parametry jako velikost bloku nebo maximální alokovaná paměť v režim proudového zpracování oproti, když to má celý soubor na nereZZovém táci?

Cely soubor do pameti nenarve, pokud je velky, jen velikost bloku-slovniku. Ta se da nastavit od 2 nebo 4 MB az do 1536 MB (diskretni hodnoty). Problem je, ze to spotrebuje cca 11-narobek RAM, tedy pri maximalnim slovniku, velikosti bloku 1536 MB to sezere 16.5 GB RAM cca (a pokud se komprimuje hodne souboru, jeste se naroky zvysi cca 0.5-2 GB RAM na milion souboru).

164

Software / Re:Jak presmerovat vystup ke skriptu rovnou do 7z aby se komprimoval

« kdy: 03. 12. 2017, 22:23:53 »

v manulaovych strankach mas:
-si    Read data from StdIn (eg: tar cf - directory | 7z a -si directory.tar.7z)

takze, nezkousel jsem vsechny tvoje prepinace, ale jednoduchy test dela co ma..
cat file.txt | 7z a -si file.7z

je to ono ?

Diky, funkuje to

Tohle se mi najit nepodarilo predtim

165

Software / Výstup ke skriptu rovnou do 7z ke kompresi

« kdy: 02. 12. 2017, 16:36:05 »

Snazim se vymyslet, jak pajpou presmerovat vystup ze skriptu.

Mam vystup ze skriptu, ktery jde do textoveho souboru. Jde mi o to, abych mohl ten vyskyp pajpou presmerovat primo ke komprimaci pomoci 7z, bez toho, aby se vystup ukladal na disk. (on je ten vystup docela velky). Zatim se mi to nepovedlo.

Aktualne:
./Skript.sh >> Vystup.txt
7z a -t7z -m0=lzma2 -mqs -mx=9 -mfb=273 -md=1024m -ms=on -ms=65536g -mmt=2 Archiv.7z

chtel bych to udelat takto:
./Skript.sh | 7z a -t7z -m0=lzma2 -mqs -mx=9 -mfb=273 -md=1024m -ms=on -ms=65536g -mmt=2 Archiv.7z

Nebo:
PROCES | 7z a -t7z -m0=lzma2 -mqs -mx=9 -mfb=273 -md=1024m -ms=on -ms=65536g -mmt=2 Archiv.7z

Jak to primo pajpovat, se mi nepodarilo.