Příspěvky

211

Software / Re:Program pro stažení celého webu

« kdy: 31. 07. 2015, 01:00:20 »

Na webu www.ceskechalupy.cz/ se to zacyklylo na kalendari, tak preruseno (a jak se to tam dostalo, kdo vi).
Heslo k archivu je 3141592654589793238462643.

212

Software / Re:Program pro stažení celého webu

« kdy: 31. 07. 2015, 00:23:44 »

Kdyz jsem to zkusil, klasicky stazeni, hloubka odkazu 9999 a stahnout vse z daneho webu, "but only URLs on stary.astromat.cz" stahlo to 86 souboru a velikost 568 KB (582 502 bytes), kdyz jsem dal "or within the path of links to other servers" razanne pocet souboru zrostl. Treti moznost "or up to X links away" znamena kolik odkazu daleko od serveru, coz muze jiz pri 3 znamenat ohromnu narust.

Bezi to nejak dlouho, skusim to zitra

213

Software / Re:Program pro stažení celého webu

« kdy: 31. 07. 2015, 00:00:46 »

Díky, u některých webů to funguje, ale někdy se i po umazání názvu souboru stejně zobrazí stránka místo obsahu adresáře.

To se taky nekdy stava, ze to vrati na nejakou html stranku. Souborovy sysem si server casto chrani.

Trochu jsem ještě zkoumal, kdy se ten stažený web chce připojit a je to např. po kliknutí na tlačítko pro výpočet a zároveň se na spodní liště v IE objeví cílový odkaz http://stary.astromat.cz/index.php, takže to znamená, že po stažení Teleportem tam ještě zůstaly nějaké nekonvertované odkazy? Možná právě index.php je tím hledaným souborem, co je potřeba k offline fungování výpočtu?

Neni to v nastaveni teleportu ? Muze byt nezaskrnuto "Localize html links" a pak by to na konci neprevedlo odkazy. To ze odkaz vede do internetu znamena ze se soubor nnestahl, bud byl nedostupny, nebo odkaz smeroval na jinou domenu. Obvykle je nastaveno, ze nestahuje z jinych domen, pokud to primo neni soucast stranky a nejde v adresari ani vys nez zacatecni url. Je to v nastaveni. Jakou verzi pouzivas ?

V vypoctu je poreba nejaky prymo zdrojovy skript, coz neni soubor primo na webu ale je to na nej nejak napojeno. Stahnout to nejde zadnou klasickou cestou.

214

Software / Re:Slovník pre množné čísla a tvary slov

« kdy: 27. 07. 2015, 19:22:13 »

Slovníky podstatných jmen i jiných tvarů existují v mnoha jazycích - pro páčení hesel v naději že to někdo dal v základním tvaru. Na slovník,  tkerý by obsahoval všechny možné tvarz vzorz pády a pod. jsem nenarazil. Hodil by se. Možností bude řádově až 100x víc. I když sklonování a časování na posílení hesla nic moc - účinnost malá a blbě se to pamatuje a spíš to nikdo nepoužívá.

215

Hardware / Re:Chytrý telefon jako terminál

« kdy: 27. 07. 2015, 17:18:19 »

Něco podobného jsem řešil v zimě

A vyřešil? Z odkazované diskuze není moc jasné, jak to nakonec skončilo.

Nakonec jsem došel k té Xperii, s velkým 6,4 placovým displeem. Pro prohlížení internetu i medí velký výkon, takže se to neseká, stejně tak jako pří navigaci. Jako terminál postačí i podstatně menší výkon, pro editaci souborů je výhodný velký displej ale hardwarová klávesnice chybí. U Sony lze backdor spíš očekávat než neočekávat.

216

Hardware / Re:3TB HDD ukazuje kapacitu ~1800 GB

« kdy: 27. 07. 2015, 14:09:03 »

Některé programy nebo hardware mají omezení na 2 TB (2^32 nebo 31, tedy 2 nebo 4 mld. sektor; po 512 nebo 1024 B). Např. starý Truecrypt to tak měl a stejně WinXP nezvádají někderé dysky nad 2 TB (a u 3 TB diskui neukazoval 2 TB ale zbytek, cca 700 MiB).

217

Hardware / Re:Chytrý telefon jako terminál

« kdy: 27. 07. 2015, 14:05:55 »

Ahoj

Něco podobného jsem řešil v zimě http://forum.root.cz/index.php?topic=10263.0
(aby šel pomil použít jako PC - prohlídnutí internetu, přehrání veidea, mp3, ale hlavně použití pro přihlášení k serveru textově, něco jako putty). Nějak by do mobilu s adroidem šel snad dát i Linux, ale kdoví jak. V Androidu se dá použít ssh juice. Výhodou je hardwarová klívesnice, ale ta dneska moc není. Velikost displeje aspoň 5 placů se hodí, aby tam rozumně šla editace.
Backdoby tam výropci ke vší smůle rvou, stejně jako kurvítka aby jsoi si brzo koupil novej. Důležité je NEukláádat do mobilu heslo k serveru a mít pod hesle mi mobil - zamčení obrazovky.

218

Software / Re:Program pro stažení celého webu

« kdy: 27. 07. 2015, 13:59:56 »

... Skripty pro výpočet jsou uloženy kdoví kde na webu a to v rámci stahovačů není možné. ...

A nešlo by nějak stáhnout všechny soubory z té adresy, ať už k nim cesta ve zdrojovém kódu stránky vede nebo nevede?

Nešlo samozřejmě. Prakticky všechny stahovače fungují tak, že stáhlou index, podívají se jaký jsoui tam odkazym, stáhnmou je a podívají se, jaké jsou odkazy do hloubky 2, 3 atd. Takhle se rekurzivně stáhne celý web, nebo jeho část (podle nastavení). Lze i přidat, že se ke stránkám stáhou externí soubory nutné pro zobrazení (obrázky a pod.). Stránky a soubory se jmenují obvykle tak jako se jmenují v URL včetně adresářové strutury (někdy jsou rména nekompatibilní - nepovolené znaky a program (teleport te win) musí znaky upravit).

Stránky jsou buď statické, extïstující pořád, nebo dnamické, jež se na základě URL generují z datamáze (občas místo URL se používá post). Obrázjky jsou většinou statické, ale ne vždy. U dynamických stráek je celková množina kombinací parametrů často velká a množina všech možných odkazů na dynamixckém webu taky. Navíc všechny soubory mohou být ukládány do jednoho adresáře (hodně souborů vjednom adresáři - problém). Vygenerované stránky jsou dost podobné i duplicitní. Tak tomu je i např, tady na forum.root.cz. V celém foru je přez 500 000 odkazlů = přez 500 000 podobných souborů v jednom adresáři a přez 80 GB dat (7zip archív jen 220 MB kvůli podobnosti). Skutečná databáze (text příspěvků, uživatelé, logy) + skript, který stránky tvoří může mét desítky až stovky MB.

Jak dostat místo všech stránek stažených přez množinu odkazů přímo zdrojová data, ze kterých se stránka počítá, generuje, to se mi objevit nepodařilo a nebode to jen tak. Něco jiného je dostat se na web a něco jiného ke zdriojákům. To už by byl určitý hacking (a to není zrovna povoleno). Např. tady http://www.kesyl.unas.cz/pocasi-kunovice/statistics.htm je zdrojový soubor přístupný http://www.kesyl.unas.cz/pocasi-kunovice/data/dayfile.txt

Jinak než přez množinu objevených odkazů na stránkých (a na konci konvert odkazů) se to moc nedělá. Diretory listing se dá občas použít, ale to spíš u ftp a statických stránkek. Dost webů zakazuje listing buď kompletně, nebo na určitých místech (nepovolený přístup a nebo přesměrování). Listing se dá požít v prohlížeči (umaže se název souboru z adresy s tím, že se snad zobrazí složka). http://meteomodel.pl/gfs-para/TMAX/TMAX_09.png listing http://meteomodel.pl/gfs-para/TMAX/ - nepovoleno. Nebo přez terminál , hlavně u ftp (lftp URL), funguje i u html složek - přístupných adresářů.

Vyplňování formulářů, čímž se dostane po výpočtu nějaká html stránka z daty, to je zase jiná. vstupní údaje nejsou v URL , takže naskriptování je těžší (ale jde to, pokud tam neni captcha). Pak za základě různých údajů lze z určitém nzožiny projed všechny kombinace (a může to bejt hodně možností as hodně dat). Získad pčřímoé akript, co to počítá, to nijak klasicky nejde, to už není o přístupu do webu ale do serveru (leda tak hacknout).

Pokud je adresa k souborům na základě nějakých pravidel (datum, čas), lze skript snadno napsat v bashi. Pokud je známo, jak se adresy vytváří (a někdy jen některé platí), např. jména měst, lze projet všechny možnosti (může jich být dost). Některé weby (uloz.to, 500px, videa stream, youtube, fotky k Google maps) adresu schovávají jak to jen jde a nelze najít jen tak ve zdrojovém kódu a obrázek stáhnout.

219

Software / Re:Stahování videa a audia z YouTube

« kdy: 27. 07. 2015, 13:29:51 »

fakt ? opensource jdownloader ? mluvime o stejnem programu ?
http://beta.jdownloader.org/developmentquicktutorial

To je přesně on. Jestli je OpenSource, měli bz být k dispozici i zdrojáky. takže existuje i možnost, že si ho nějaký cracker upravil. Ale s každou verzí je to horší a horší. Místo pro stažení jsem hledal přez Google. Jinak je docela známo, že např. Slunečníce tam vlastní adware cpe. Na virscan.org našli 3 antiviry z 37 nějaký vir, ale bývá tam i planý poplach občas u méně známých antivirů.

Jdownolader se spouští po startu a dost žere výkon pořád, je obtížné jej zavřít. Do všech internetových prohlížežů nsinsaloval vlastní vyhledávač a odkazy na hry (asi placené klikačky). Neustále se kouká do schránky Copy+Pate co tam je a obsah schránky přidává k seznamu odkazů, i když běží v pozadí. Vypnout jej je těžké (přez správce úloh ukrončit proces nejlíp zabírá). V Mozillle se do uživatelského profiklo adresáře Mozilla ukládali data, co nešli zobrazit ani smazat. Bylo dost těžké se všeho zbavit promazáním na všech místech.

220

Software / Re:Stahování videa a audia z YouTube

« kdy: 25. 07. 2015, 18:42:44 »

Používám Jdownloader2 na všechno možný stahování. Že umí youtube je už jen perlička nakonec.

Perlička jsou ty mraky spyware, malware, adware, co Jdownloader obsahuje (a nedá se tomu vyhnout pomocí custom instalation)
Trochu jsem, jeho činost sledoval a je těžké všechny ty jeho addware a pod. najít a odstanit. Keylogger se taky nedá zrovna moc vyloučit.

221

Software / Re:Program pro stažení celého webu

« kdy: 25. 07. 2015, 18:38:17 »

Ahoj,
zkoušel jsem s WinHTTrack a pak i s Teleport Pro stáhnout http://stary.astromat.cz, protože prý bude brzy nahrazen novým, ale některé prvky na stránce nefungují offline, např. tlačítko pro výpočet. Dalo by se to nějak stáhnout celé tak, jak to je na webu?
Díky za případnou odpověď.

Ahoj

Wget zvládá statické i databázové stránky dobře a většinou i javaskript. Teleport zvládá dobře dynamické stránky, JS i složitá jména souborů veli doře, asi nejlíp ze všech programů co jsem viděl (narozdíl od wget), httptrack nemám zkušenosti. Teleport umí velmi dobře konvertovat odkazy i v případě složitých JS, php a pod.

Ale výpočty, které se provádí po zadání údajů do formuláře nějakým skriptem na serveru, ke kterému nevede url ve zdrojovém kodu stránky, stejně tak jako videa, flash, na které rovněž odkaz nevede ve zdrojáku, to nezvládá ani wget ani teleport ani thhptrack. Skripty pro výpočet jsou uloženy kdoví kde na webu a to v rámci stahovačů není možné.

Videa a flash, na to jsou speciální programy (YTD od Pepáka), hlavně nepoužívaj Jdownloader prolezlý adware a spyware a kdoví čím ještě. Jak stáhnout stránku, aby fungoval výpočet po použití formuláře, to jsem nikde neviděl.

222

Software / Re:Program pro stažení celého webu

« kdy: 05. 07. 2015, 03:03:01 »

Zaprvy, na http://www.kesyl.unas.cz/pocasi-kunovice proste vubec zadna Java neni, jenom JavaScript. Zadruhy, jestli Te zajimaji historicky statisticky data, tak nechapu k cemu bys ukladal celou stranku, kdyz muzes stahnout jenom ty data z http://www.kesyl.unas.cz/pocasi-kunovice/data/dayfile.txt a mnohem snadnejs je zpracovat.

Jak tam umis najit primo zdrojovy datovy soubor, ktery bych musel zase zpet ze stranek vytvaret ? Problem mnoha duplicitnich veci v kodu html stranky, ktere se nakonec musi odstranovat slozite (a razantne znasobuji velikost dat) je vsude mozne. Pouzil jsi na ziskani linku k zdrojovym datum neco specialniho a slo by to i jinde ?

223

Software / Re:Program pro stažení celého webu

« kdy: 05. 07. 2015, 02:59:35 »

Ono je dost rozdil, jestli je obecna louka pretezovana a nevystaci pro vsechny, nebo jestli je prakticky nevyuzivana a lezi ladem. Linak do internetu ma 1 Gbit a vytizeni je vetsinou do 1-10%. U ciloveho serveru bude podle vseho lika jeste silnejsi (10-100 Gbit), protoze root.cz je soucasti obrovskeho kolosu webu Idnes, Mesec, Lupa, Vitalita, IDOS a mnoho dalsiho, kde je uzivatelu mraky a vytizeni obrovske. 6 mbits se tam ztrati. Nejde ani tak o prutok dat, down/up 100 GB je dneska beznou veci hlavne u vymennzch siti. Spis jde ao zatizeni databaze, nebot s kazdym requestem se stranka vytvari z databaze a staticke stranky neexistuji. Databaze je o mnoho menci nez velikost vsech tech html stranek, stejne tak, jako je o mnoho menci text na strankach. Prave velke pouzivani databaze generuje zatez na CPU/RAM/disk, prenesena data nic velkeho nejsou. Ale protoze se jedna o obrovsky kolos webu (navic patrici pod Mafra), ztrati se to tam.

Momochodem cookies, IP, uzivatelse ucty - vze trackovat pohyb v ramci celeho kolosu webu ale ne mimo nej. Google, FB a dalsi si trackovani pojistil tak, ze pouziva like-buttony na kazdy web skoro, nebo jeste lepe na kazdou stranku.

224

Software / Re:Stahování videa a audia z YouTube

« kdy: 05. 07. 2015, 02:25:19 »

Pro Win je asi nejlepší YTD od Pepaka.Funguje i bez instalace, na linuxu pak youtube dl

JDownloader sice funguje taky ale podle všeho jsou v němi viry ččinnost Jdownloader je opravdu zajímavá. Do Firefox nainstauje vlasní odkazy na hry, ktere  se zobrazí při startu. V uživatelkém adresáři Local Cettings v Mozille vytvořil divnou složku tak že adresář není možné smazat, ani nejde zjistit, kolik složka má (což ve Win jde pod adminem)   Neustále monitoruje za běhu, co je ve schránce Ctrl+C a tahá odtud informace, přidává do download listu, to i když se s ním nepracuje. Má pořad tendenci spouštět se a běžet v pozadí a automaticky zapínat stahování, když uchytí něco ze  schránky. Smazání Jdownloaderu není jednoduché.

225

Software / Re:Heslo k rar archivu

« kdy: 05. 07. 2015, 02:09:18 »

To jsem kdysi řešil, jestli jde to heslo nějak oblbnout (zadní vrátka, někde uložené plain text). Podle všeho to jde jedině Brute Force crackout, něco jako TrueCrypt.

Pokud jde o překlep, tak by šlo nestavit 9 fixních  a jedn měněný znak na postupně všech 10 místech. Alfa-numerickýh znaků je 62, takže to je jen 620 možností pohoda. Pokud heslo neznáš vůbec a je 10-místné, alfa-numerické a přesně 10 znaků,je to řádově 10na17 možností. Gpu může dát 20 000 sec/jádro. POkud je to nějaké slovo, tak je to o mnoho lehčí, slovníky existují.

Jaká je to šifra ? AES-256 ? Jinak se pro 9-místný heslo alfanumuerické dají stáhnout rainbow tables s velikostí stovky GB. Pro 10-místné alpha numeric nejspíš zatím neexistují (počítají se i přez Boinc, pro 9-místné heslo už jsou hotové).

http://www.soom.cz/clanky/1165--Rainbow-tables-tajemstvi-zbavene

Jinak je lepší 7-zip. Lepší komprese, otevřený program GNU a šifru používá AES-256. Pozor - v příkazovém řádku při zvolení -p nezahesluje souborovou tabulku a je vidět, co tam je za soubory.