Automatická kontrola změn na webu

Medo

Automatická kontrola změn na webu
« kdy: 25. 08. 2016, 16:49:12 »
Pani, alebo zle volim slova, alebo to nie je az taky bezny poziadavok.
Potrebujem sledovat bud cely konkretny web (ak to nepojde inac), alebo konkretne podstranky (lepsi pripad) a pri zmene na nej ulozit jej stav ako html alebo obrazok. Otazne je, ci to nebude zmetene aj len zmenou widgetu ...
Chcem vediet, ako sa na zaklade moderatorov meni jej stav. (komentare, fotky) ...
Vysledne zmeny si obsluha uz porovna sama.
httrack a spol, asi nebude to prave orechove.
Vdaka.
« Poslední změna: 25. 08. 2016, 21:55:24 od Petr Krčmář »


Snow

Re:Kontrola web site
« Odpověď #1 kdy: 25. 08. 2016, 17:48:02 »
No pochybuju že bude něco již hotového.

Ale naprogramovat by neměl bejt problém, záleží na konkrétním webu. Ale spíš si nech dodělat rozhraní s logama akce uživatelů do daného webu, pokud je tvůj.

Re:Kontrola web site
« Odpověď #2 kdy: 25. 08. 2016, 19:51:36 »
Nejzasadnejsi otazka je definice "se zmenila". Chces porovnavat ciste html jak ho dostanes nebo az po provedeni vsech JS? Co kdyz se ti tam jen bude menit nejaka reklama? Co kdyz tam nekde bude cas jako time ago? V takovem pripade se to "bude menit" i kdyz se to nezmeni. To same pokud tam nekde bude vlozene nejake session id, kdyz tam treba komprese CSS/JS tak jako to ma drupal (nazev souboru = nejaky hash). Takze ve finale budes potrebovat promyslet tu definici co presne chces hlidat.
Děkuji za možnost editace příspěvku.

Re:Kontrola web site
« Odpověď #3 kdy: 25. 08. 2016, 20:04:51 »
Mozno by stacilo posielat cez curl len HEAD requesty a citat ETag z response hlavicky.. Ak sa ETag zmeni to znamena, ze stranka bola modifikovana tak wgetnut celu stranku... A dokaze to robit bash skript na par riadkov..

Medo

Re:Kontrola web site
« Odpověď #4 kdy: 25. 08. 2016, 20:18:26 »
Primarne ma zaujimaju commenty, tak som dumal, ze povedat scriptu, ze toto je vychodzia hodnota (v bytoch), stiahni v definovanom intervale stranku, a ked sa zmenila o minimalne o xxx bytov (v oboch smeroch), tak to sejvni, inac zahod ...
Skusim to prubnut, ci to je cesta ... Rozne includy (pocasie, kurzove listky atd) su spolocne, takze by to vyrazne nemali ovplyvnovat, aby to miatlo skript (pokial to admin neprekope, ale na to casom pridem).


Re:Automatická kontrola změn na webu
« Odpověď #5 kdy: 25. 08. 2016, 22:19:20 »
To je hloupost.

O neco mene hloupe: pocitat kolikrat je na strance nejaky prvek , napr neco jako "#comments-wrapper .comment"
Děkuji za možnost editace příspěvku.

gl

Re:Automatická kontrola změn na webu
« Odpověď #6 kdy: 25. 08. 2016, 23:32:11 »
Stáhni si stránku. Vyselektuj poslední comment. Porovnej jeho hash nebo nějaké jeho id s předchozím.

Re:Automatická kontrola změn na webu
« Odpověď #7 kdy: 26. 08. 2016, 20:03:13 »
Pomocí XSLT si ze stránky vyseparujte ty části, které vás zajímají. Pak už jenom porovnáte, zda se aktuální výstup té separace liší od předchozího.

#

Re:Automatická kontrola změn na webu
« Odpověď #8 kdy: 26. 08. 2016, 20:43:56 »
a vubec nejlepsi sou stranky, co maj rss feed pro komentare, neni to i tvuj pripad?

gl

Re:Automatická kontrola změn na webu
« Odpověď #9 kdy: 26. 08. 2016, 21:03:53 »
Pomocí XSLT si ze stránky vyseparujte ty části, které vás zajímají. Pak už jenom porovnáte, zda se aktuální výstup té separace liší od předchozího.

Pokud se ty příspěvky netahají ajaxem v JSONu, stačí xpath nebo css selektory. Není třeba xslt. Jediný malý problém může být navigace na poslední stránku fóra.