Fórum Root.cz

Hlavní témata => Software => Téma založeno: y, 11. 01. 2018, 01:42:28

Název: Jednoduše ovladatelný headless browser
Přispěvatel: y, 11. 01. 2018, 01:42:28
Pro jeden svuj soukromy projekt (neco ve stylu relativne sofistikovaneho webscraperu) bych potreboval poradit nejaky headless browser volatelny z pythonu, ktery integruje javascript (neni nutno, aby byl javascript volatelny z pythonu, jen musi vykonat skripty na strance) a umi potom poskytnout DOM stranky. Nasel jsem selenium a splinter, ale rad si necham poradit -- idealni by bylo, kdyby se to hlasilo jako nejaky bezny browser, ale na druhou stranu to musi bezet v detached terminalu na serveru bez X knihoven a nebo aspon bez existujiciho X spojeni k serveru na jinem pocitaci.
Název: Re:Jednoduse ovladatelny headless browser
Přispěvatel: to_je_jedno 11. 01. 2018, 07:14:48
https://hub.docker.com/u/selenium/
Název: Re:Jednoduše ovladatelný headless browser
Přispěvatel: radicz 11. 01. 2018, 08:28:25
Na tohle používám již zmiňované selenium a nebo pak ještě PhantomJS
Název: Re:Jednoduše ovladatelný headless browser
Přispěvatel: radicz 11. 01. 2018, 08:31:05
Na tohle používám již zmiňované selenium a nebo pak ještě PhantomJS

Sorry musím se opravit, ze selenia volám PhantomJS
Název: Re:Jednoduše ovladatelný headless browser
Přispěvatel: to_je_jedno 11. 01. 2018, 08:39:51
Na vyse uvedem odkazu je jak samotne Selenium tak i prohlizece - FF, Chrome i ten PhantomJS. Vyhoda FF/chrome je, ze testovany server nedokaze rozlisit od cloveka(nebo aspon ja neznam zadnou takovou techniku). Vyhoda PhantomJS je vykon.
Název: Re:Jednoduše ovladatelný headless browser
Přispěvatel: . 11. 01. 2018, 09:08:05
Selenium není headless browser, je to sjednocující platforma.
Na této stránce (https://github.com/dhamaniasad/HeadlessBrowsers) je poměrně detailní přehled. Já osobně Selenium nepoužívám a skriptuji přes různé knihovny. Zatím jsem převážně používal PhantomJS, ale teď se chystám na Chrome/Chromium.
Název: Re:Jednoduše ovladatelný headless browser
Přispěvatel: i 11. 01. 2018, 09:42:20
https://en.wikipedia.org/wiki/Xvfb
Název: Re:Jednoduše ovladatelný headless browser
Přispěvatel: y, 11. 01. 2018, 11:38:50
Díky všem
Název: Re:Jednoduše ovladatelný headless browser
Přispěvatel: mp5 11. 01. 2018, 15:50:05
https://developers.google.com/web/updates/2017/04/headless-chrome