Použití curl na MHD spojení

gll

  • ****
  • 429
    • Zobrazit profil
    • E-mail
Re:curl na MHD spojeni
« Odpověď #30 kdy: 14. 05. 2018, 13:20:39 »
V tahání obrovského množství dat ze stránek, nebo ze serverů mám své zkušenosti a vím, že Wireshark pro tyto účely funguje.

jak přesně ten wireshark používáš?


Buh_skoro

Re:Použití curl na MHD spojení
« Odpověď #31 kdy: 18. 05. 2018, 13:31:25 »
Ahoj, něví někdo, jak používat ten script spoje?
~/Desktop$ python ./spoje praha dunajecka radlicka
nepodařilo se zjistit hodnotu parametru 'link'

Díky.  ???

gll

  • ****
  • 429
    • Zobrazit profil
    • E-mail
Re:Použití curl na MHD spojení
« Odpověď #32 kdy: 18. 05. 2018, 14:31:01 »
Ahoj, něví někdo, jak používat ten script spoje?
~/Desktop$ python ./spoje praha dunajecka radlicka
nepodařilo se zjistit hodnotu parametru 'link'

Díky.  ???

ten skript je stary. Pravdepodobne tu stranku od te doby zmenili.

gll

  • ****
  • 429
    • Zobrazit profil
    • E-mail
Re:Použití curl na MHD spojení
« Odpověď #33 kdy: 18. 05. 2018, 14:49:15 »
pri odesilani formulare musis dat do postu vsechna predvyplnena pole a poslat to s cookies.

zde je jen takovy nastrel

Kód: [Vybrat]
from requests_html import HTMLSession

MESTO = 'praha'
ODKUD, KAM = 'dunajecka', 'radlicka'
URL = 'https://jizdnirady.idnes.cz/%s/spojeni/' % MESTO

def fill_form(d, odkud, kam):
    d('label:contains("Odkud")').parent().find('input').val(odkud)
    d('label:contains("Kam")').parent().find('input').val(kam)
    return d

def form_data(d):
    return {e.name:e.value for e in d('form input')}

session = HTMLSession()
d = session.get(URL).html.pq
data = form_data(fill_form(d, ODKUD, KAM))
res_d = session.post(URL, data=data).html.pq
print(res_d)

res_d je stranka s vysledky, ze ktere si muzes vyselektovat co potrebujes. Je to pyquery objekt.

jdusizasvym

Re:curl na MHD spojeni
« Odpověď #34 kdy: 18. 05. 2018, 14:57:28 »
V tahání obrovského množství dat ze stránek, nebo ze serverů mám své zkušenosti a vím, že Wireshark pro tyto účely funguje.

jak přesně ten wireshark používáš?

Častěji používám Záznam síťové aktivity v Chrome, ale pokud dojde na Wireshark, tak normálně zapnu a pak filtruju http protokol a adresu/doménu serveru


gll

  • ****
  • 429
    • Zobrazit profil
    • E-mail
Re:curl na MHD spojeni
« Odpověď #35 kdy: 18. 05. 2018, 15:41:58 »
V tahání obrovského množství dat ze stránek, nebo ze serverů mám své zkušenosti a vím, že Wireshark pro tyto účely funguje.

jak přesně ten wireshark používáš?

Častěji používám Záznam síťové aktivity v Chrome, ale pokud dojde na Wireshark, tak normálně zapnu a pak filtruju http protokol a adresu/doménu serveru

kolik stránek dnes funguje na http? https bys musel dešifrovat.