Příspěvky

361

Software / Re:Inkrementalni komprese

« kdy: 16. 06. 2022, 09:08:49 »

Deduplikace na FS nebude fungovat moc dobře. Protože když mu někdo do souboru něco vloží, tak se to celý posune a bloky už identický nebudou.

Tak třeba týden, kdy v pondělí se změní zdroj:
2MB dat + změna 4kb + změna 4kb + změna 4kb + změna 4kb + změna 4kb + změna 4kb
Tj. úspora: 12 MB
Pak se ti posune offset:
2MB dat + změna 4kb + změna 4kb + změna 4kb + změna 4kb + změna 4kb + změna 4kb
A začínáš zase znova....takže buď v klidu, deduplikace bude fungovat docela slušně.
Pokud se to uprostřed mění zřídka, bude úspora ohromná.
Jen je potřeba uříznout hlavičku a zajistit, aby to začínalo vždy stejně - (zajistíš uříznutím hlavičky - hlavičku řežeš proto, aby ti obsah začínal vždy stejně).

A navíc - to bude na úrovni FS transparentní, žádné balení a rozbalení, žádné skripty, můžeš to mít v jednom adresáři za dvacet let, nemusíš nic balit.

Příklad: 1x týdně se to celé změní:
Máš 52 týdnů * 2 MB = 104 MB ročně na tento soubor (adresář), který by jinak měl asi 750 MB.
Navíc, pokud se ti změní věta bez posunu - tomu by se dalo pomoct odebráním HTML dekorací a zarovnáním, tak z toho budeš mít třeba 10-20 MB za rok. Tak to klidně můžeš držet na SSD.

Problém mohou být ty PDF, ty bude těžší zpracovat - leda je převést na HTML, možná něčím jako poppler-utils (neznám) Odebrat z toho dekorace a zase by to mohlo jít deduplikovat.

362

Software / Re:Inkrementalni komprese

« kdy: 15. 06. 2022, 15:33:43 »

Hodně, dokonce i starých komprimačních programů umí deduplikaci.
Tuším dokonce i stařičké ARJ.
Ale proč to dělat, když stejnou práci zvládne i FS?
Navíc - abys mohl deduplikovat data - potřebuješ vytvořit archiv obsahující co nejvíc souborů.
Tj. měl bys XY archivů nebo bys pořád musel vybavolovat a balit data třeba za rok... 
Proč, když to zvládne FS?

363

Software / Re:Inkrementalni komprese

« kdy: 15. 06. 2022, 15:28:57 »

Netusim jak na takovou ulohu vyuzit databazi.

K čemu by ti byly HTML dekorace? Ty si můžeš uložit do nějaké XSLT šablony třebas.
Takže jedna z možností je přežvýkat soubor a jeho řádky regexem, protože ukládání formátování je nadbytečná informace. Jednotlivé věty pak ukládáš do DB, takže ti nevadí, že někdo věty zpřeházel, navíc máš kompletní historii.
Výhody:
Může to být bezkonkurečně nejmenší, máš k dispozici všechny verze, můžeš provádět data mining atd.
Nevýhody:
Musíš se zajímat o formát, jak ti přestane fungovat Regex, musíš upravit import.
S vysokou pravděpodobností může vzniknout situace, kdy bys musel strukturu tabulek upravit.

Tak je to o tom, jak důležitá data to jsou, jestli je můžeš zpracovat a kolik na to máš času.
Málo času / nechuť / nedůležitost / neexistující přidaná hodnota / ....nenene... = použij FS s deduplikací

Nicméně - odebrat HTML dekorace může být decela chytré tak jako tak - třeba i pro to FS s deduplikací.
Mnoho z nich můžeš beztrestně odebrat, aniž by to snížilo čitelnost textu = redukce dat.

364

Software / Re:Inkrementalni komprese

« kdy: 15. 06. 2022, 15:06:34 »

Netusim jak na takovou ulohu vyuzit databazi.

Já ano, ale ty chceš něco fakt simpl, jednoduché.
Tedy - proto - použij FS s deduplikací, což je v podstatě taky jednoduchá databáze :-)
Jen se postarej, abys hlavičky (často se mění, protože tam je datum a pod), měl jinde.
Rozsekneš soubor na hlavičku a obsah. Navíc to celé můžeš krásně komprimovat na úrovni FS, jak tu zaznělo = bude to malinké, možná se to vejde na SSD.

Výhoda souborové deduplikace je i v tom, že když se ti změní formát souboru, výstupního souboru, tak v nejhorším zapíšeše znova celé 2MB a začínáš deduplikovat znovu. U DB by ses musel zajímat o změnu obsahu.

Jak zpracovat PDFka netuším, ale nejspíš extrahovat, jak jsi správně uvedl.

Velikost sektoru si asi budeš muset určit, zeřejmě to bude umět deduplikaci jen na úrovni sektoru, nikoliv na úrovni výřezu.  Tj bla123456789 a alb123456789 budou komplet jiná data a zůstanou, tak jak jsou. Očekávám, že ti sektorová deduplikace bude fungovat jen pokud budou oba sektory 123456789. Ale mohu se plést. Na Widlích mi to chodilo dobře jen při shodě sektorů. Jak se to posunulo (třeba se na začátek souboru umístila 1), už to mělo s deduplikací problémy. Kdo ví, jak chytrá je deduplikace na Linuxu. Ať poradí.

365

Software / Re:Inkrementalni komprese

« kdy: 15. 06. 2022, 14:47:40 »

Ohledně toho HTML: To je vzorová úloha pro DB ne?
Krajně, při záchvatu lenosti, tak zvolit šikovně velikost bloku a použít souborový systém s deduplikací.

Ad FS s deduplikací:
Mám velmi špatné zkušenosti, papírově to vypadá hezky, ale ve skutečnosti ....úspora několik % na běžných datech.
Ale právě ty textové soubory mohou být skvělý způsob, jak deduplikací ušetřit hrozně moc místa.

Deduplikace, při vhodně zvoleném bloku, by mohla uspořit hrozně moc místa a přitom by to zůstalo transparentní.
Nicméně se jí musí někdy trochu pomoct, třeba hlavičku obsahující datum dát do extra souboru.

366

Server / Re:Proxy pro odchycení hesla z FTP

« kdy: 12. 06. 2022, 08:58:38 »

Pokud přistupuješ na dns název, vložíš ho do resolvovací tabulky a přidáš nějakou interní adresu.
Pustíš si ftp server na RPI a klidně wiresharkem si budeš číst provoz.

Pokud jdeš na IP, tak si přidáš síť třeba 192.168.x.x a jen na daném PC si přidáš routu.

367

Bazar / Re:PC Intel i7-7700 3.60GHz, 32GB RAM, GeForce GT 730, 500GB NVMe M2 SSD

« kdy: 06. 06. 2022, 13:43:32 »

Přemku, pokud za cenu starého a vyhřátého počítače můžeš snadno koupit počítač z většinově nových a kvalitních komponent, je to trochu zvláštní.

nechápu obsesi některých lidí vyjadřovat se u inzerátů

Píše někdo, kdo neslyše o Biostartu, KIOXA považuje za divnou značku zato brání předražené zboží na konci morální životnosti 

368

Hardware / Re:Lenovo X1, kvalita zpracování

« kdy: 06. 06. 2022, 13:01:02 »

Asi to myslel tak, jestli sis to neodřel prstenem.
Což je zajímavá myšlenka. Fakt zajímavá. Vůbec by mě taková příčina nenapadla.
Btw, asi by to mohlo způsobit i zašupovací pouzdro, kde by se to dřelo o zip.

tak to neprehanim ani s osobni hygienou

Ale po WC si ruce raději umej 

369

Bazar / Re:PC Intel i7-7700 3.60GHz, 32GB RAM, GeForce GT 730, 500GB NVMe M2 SSD

« kdy: 06. 06. 2022, 12:37:22 »

Jo a třeba disk a deska u té novoty jsou pro mne divné značky

Biostár je tradiční značka, kvalitou horší než drahé ASUSky (ASUS levné desky neumí) a lepší než Gigabite (hlavně z hlediska kvality použitých součástek). Biostár tu je dvacet-třicet let, do ČR se tradičně dováží.

První Biostar, kterou jsem měl v ruce, byla nějaká takováhle pro 486ku:
https://www.ebay.com/p/809717542

...a byla nová, právě uvedená....spočítej si, kolik to je let.


To tady - v průběhu let - byly mnohem divnější značky.
SOHO, Tomato, QDI, PCchips, PC100.....

Ale máš pravdu, ALZA Biostary neprodává a jestli je to celý tvůj svět, tak ti to logicky musí připadat podezřelé až zvláštní.

370

Bazar / Re:PC Intel i7-7700 3.60GHz, 32GB RAM, GeForce GT 730, 500GB NVMe M2 SSD

« kdy: 06. 06. 2022, 12:16:49 »

Dával jsem tam schválně porovnatelný procesor, aby ta sestava vyšla ještě levněji, než ta jeho:
https://pctuning.cz/article/amd-ryzen-7-1700-proti-core-i7-7700k-s-takty-nadoraz?chapter=8#article-header

Můžeš tam dát Ryzen 3600, pořád se do jeho ceny vejdeš a budeš to mít významně lepší.

A jinak .... označit firmu KIOXIA za "divnou značku":

Jo a třeba disk a deska u té novoty jsou pro mne divné značky, záruka se přeceňuje u ssd bych věřil skoro víc tomu samsungu

No ty vole....   

Tak jen pro inspiraci:
https://www.conrad.cz/p/kioxia-pm5-r-15360-gb-interni-sas-ssd-635-cm-25-sas-12gbs-bulk-kpm51rug15t3-2347773

https://www.mironet.cz/kioxia-cd6r-192tb-u3-pcie-40-x4-tlc-r-5800mbs-w-1150mbs-iops-700k-30k-mtbf-25mh-5y+dp467752/

Obecně, když Dell potřebuje do serverů SSD, bere KIOXIA nebo Intel.
https://business.kioxia.com/en-us/ssd/oem/dell.html

https://business.kioxia.com/en-us/ssd/oem/dell/cd6-data-center-nvme.html

No...FAKT jsi mě překvapil.... 
Ty jsi dítě?

371

Hardware / Re:Lenovo X1, kvalita zpracování

« kdy: 06. 06. 2022, 07:33:25 »

Smál jsem se, když z Lenova kámošovi upadla půlka konektoru RJ45....pak upadla i mně :-D

372

Vývoj / Re:Jaký jazyk bych se měl učit?

« kdy: 05. 06. 2022, 14:11:20 »

Plat Java developera prosim do jineho vlakna. Hezky den.

Děláš PHP viď? ...kdyby ses líp učil... 

373

Vývoj / Re:Jaký jazyk bych se měl učit?

« kdy: 05. 06. 2022, 13:02:20 »

....a nebo se naučit Java.

Sice ti z platu pak už nic nezbude, ale můžeš z toho zaplatit čtyři svoje vlastní lidi:

• dva žabáčky pérokuřky dělající v PHP (každý po 55k měsíčně)
• Jednoho C++ develovepře (75k měsíčně)
• A jednoho brutal noob 100% junior testera (25k) / praktikanta

Byl by to sice mikroteam, ale kdyby ti životní náklady pokryli rodiče, můžeš dva roky platit vývoj vlastního produktu.

374

Bazar / Re:PC Intel i7-7700 3.60GHz, 32GB RAM, GeForce GT 730, 500GB NVMe M2 SSD

« kdy: 05. 06. 2022, 01:16:27 »

Doba na edit je dementně krátká... :-(

375

Bazar / Re:PC Intel i7-7700 3.60GHz, 32GB RAM, GeForce GT 730, 500GB NVMe M2 SSD

« kdy: 05. 06. 2022, 01:07:40 »

Tady ti pšenka asi nepokvete:

Procesor: Intel(R) Core(TM) i7-7700 CPU @ 3.60GHz
Motherboard: Gigabyte Technology Co., Ltd. Z270-Gaming K3
Paměťi: 32GB - 2x DDR4 16GB Kingston KHX2400C15/16G   
Grafika: GK208B [GeForce GT 730]
SSD: 500GB NVMe M2 SSD Samsung 960EVO

Tak třeba složené z většinově nových dílů, aby to bylo ještě několik let v záruce:

Procík z bazoše: třeba tenhle jen 2x rychlejší 8jádrový Ryzen: 1500 Kč:
https://pc.bazos.cz/inzerat/153388455/prodam-procesor-amd-ryzen-1700.php

Deska: 2 272 Kč
https://www.mironet.cz/biostar-x470gtq-amd-x470-ddr4-sata-iii-raid-usb-glan-m2-scam4-microatx+dp484208/

Ramky: 2 585 Kč
https://www.mironet.cz/crucial-ballistix-32gb-2x16gb-3200-mhz-cerna-ddr4-pc425600-cl16181836-135v-xmp-20-s-chladicem+dp443838/

NVMe SSD 512 GB: 1150
https://www.mironet.cz/kioxia-exceria-500gb-m2-2280-pcie-31a-x4-tlc-r-1700mbs-w-1600mbs-iops-350k-400k-mtbf-15mh-5y+dp459863/

Zdroj slušný, žádnou jetou shitku:
https://www.mironet.cz/seasonic-500w-s12iii500-atx-aktivni-pfc-120mm-ventilator-80plus-bronze+dp437439/

Case klidně starý hliníkáš, dá se pořídit za litr. Nebo plech za pět kil.
Možná to vyjde podobně, ale bude to docela dlouho kryté zárukou a bude to většinově fungl nové.

Já to vidím tak, že jsi tu cenu přestřelil tak 2x, jestli hledáš hejla, měl bych zkusit Facebook hm...