Příspěvky

31

Vývoj / Re:Nejrychlejší a nejjednodušší headless browser na Python?

« kdy: 01. 07. 2022, 13:44:11 »

Ten kod se zasekne tak jako tak, na te nekonecne smycce.

volani asyncio.sleep bez await na nic neceka.

tezko rict proc to ze serveru nejde, muze souviset s blacklistovanymi serverovymi IP adresami.

Pokud jsi je zahltil requesty generovanymi tou nekonecnou smyckou bez cekani, je dobra sance, ze te zablokovali.

Ten tazatel na GH to spousti z nejake CI sluzby, tam je take dost velka sance blokace.

32

Vývoj / Re:Nejrychlejší a nejjednodušší headless browser na Python?

« kdy: 30. 06. 2022, 19:41:52 »

jak sem pochopil, tak asi nějak musím propojit asyncio + threading

nepochopil

Můžu se zeptat, jak bys udělal, aby to současně parsovalo třeba pět stránek současně bez použití threading?

Nějak pomocí asyncio.Queue? Jakože jedna stránka bude hotová, pošle signál (nebo jak se tomu říká) další a takhle prostě budou postupovat postupně kolem dokola?

Když sem vytvořil 5 tasks přes asyncio.create_task(), tak to parsovalo jen 1 stránku a ostatní měly smůlu. Jedině když sem udělal parse(data) a následně time.sleep(X), tak to po skončení funkce parse(data) skončilo na další task.

priklad

Kód: [Vybrat]

import asyncio
from pyppeteer import launch


async def get_title(browser, url):
    page = await browser.newPage()
    await page.goto(url)
    return await page.title()


async def get_titles(*urls):
    browser = await launch()
    titles = await asyncio.gather(
        *[asyncio.create_task(get_title(browser, url)) for url in urls]
    )
    await browser.close()
    return titles


print(asyncio.run(get_titles("https://example.com", "https://google.com")))

vypise ['Example Domain', 'Google']

33

Vývoj / Re:Nejrychlejší a nejjednodušší headless browser na Python?

« kdy: 30. 06. 2022, 18:59:21 »

jak sem pochopil, tak asi nějak musím propojit asyncio + threading

nepochopil

Můžu se zeptat, jak bys udělal, aby to současně parsovalo třeba pět stránek současně bez použití threading?

Nějak pomocí asyncio.Queue? Jakože jedna stránka bude hotová, pošle signál (nebo jak se tomu říká) další a takhle prostě budou postupovat postupně kolem dokola?

Když sem vytvořil 5 tasks přes asyncio.create_task(), tak to parsovalo jen 1 stránku a ostatní měly smůlu. Jedině když sem udělal parse(data) a následně time.sleep(X), tak to po skončení funkce parse(data) skončilo na další task.

Hele a Google Ti nefunguje? https://stackoverflow.com/questions/28492103/how-to-combine-python-asyncio-with-threads

on tohle nepotrebuje, to se pouziva, kdyz potrebujes v asyncio aplikaci blokujici volani. pyppeteer je plne neblokujici.

to co chce (vic tabu v jednom browseru) by slo i pomoci selenia a vlaken

34

Vývoj / Re:Nejrychlejší a nejjednodušší headless browser na Python?

« kdy: 30. 06. 2022, 10:21:07 »

jak sem pochopil, tak asi nějak musím propojit asyncio + threading

nepochopil

35

Vývoj / Re:Nejrychlejší a nejjednodušší headless browser na Python?

« kdy: 30. 06. 2022, 01:15:09 »

Mám jich spuštěných několik současně.

nekolik instanci pythonu nebo nekolik browseru? Ani jedno podle me neni treba, z jednoho skriptu jde otevrit nekolik url najednou v jednom browseru.

36

Vývoj / Re:Nejrychlejší a nejjednodušší headless browser na Python?

« kdy: 30. 06. 2022, 01:06:33 »

Pyppeteer

Opravdu je to rychlejší než Selenium + Chrome? O hodně?

v headless modu nejspis ano.

37

Vývoj / Re:AWK - sort array

« kdy: 11. 06. 2022, 16:22:10 »

OK, tohle bylo jen pro priklad. Potrebuji udelat sort pole ktere ma stovky milionu zaznamu, takze spousteni cehokoliv externiho je problem.

potom je prave lepsi pouzit externi trideni (sort), nenacitat to cele do pameti, nevytvaret tak velka asociativni pole v AWK

38

/dev/null / Re:První skutečná cenzura na českém internetu

« kdy: 05. 06. 2022, 21:20:58 »

Rovnez muj nazor je, ze nemale procento lidi tyhle konspiracni weby negativne ovlivnuji, vezmete si, ze 50% populace ma IQ nizsi nez 100, a jim nemusi byt hned jasne to, co je jasne vam. Viz napr. Sputnik News atp.

ciste logicky, bude clovek s tak pohrdavym pohledem na spoluobcany jako Vy, provadet cenzuru tak, aby byla v jejich nejlepsim zajmu?

ja proti cenzure v principu nic nemam, ale at o tom rozhoduji nase tajne sluzby, policie nebo armada (potom co se zbavi zradcu). Lide, kteri prosli bezpecnostni proverkou. Ne nejaka pochybna individua jako pornoherec Janda nebo Vy, kterym vubec nemusi jit o nase dobro.

39

/dev/null / Re:První skutečná cenzura na českém internetu

« kdy: 05. 06. 2022, 20:26:19 »

Jinak souhlasim s ostatnimi, ze jsme ve valce. Prave proto bychom nemeli nepriteli dovolit rozhodovat co je pravda a nepravda.

https://guadalajarageopolitics.com/2022/06/03/francis-boyle-we-are-in-a-war-against-the-scientific-elite-this-is-wwiii/

40

/dev/null / Re:První skutečná cenzura na českém internetu

« kdy: 05. 06. 2022, 20:07:10 »

alebo počas Covidu čo ľudia robili, a koľkých takto vlastne zabili.

podle vseho jim to nestacilo, tak spustili opici nestovice.

41

Vývoj / Re:Jaký jazyk bych se měl učit?

« kdy: 31. 05. 2022, 23:21:35 »

V cem je typescript tak skvely? Nejaka konkretni featura, ktera jinde neni?

42

Vývoj / Re:Jaký jazyk bych se měl učit?

« kdy: 30. 05. 2022, 21:31:52 »

Pro zacatek bych doporucoval JavaScript, ma i objektove rozsireni

co to znamena? Javascript je od zacatku plne objektovy, tzn. vse je objekt. Narozdil napriklad od Javy nebo C++, kde jsou vedle objektu i primitivni typy.

43

Vývoj / Re:Jaký jazyk bych se měl učit?

« kdy: 27. 05. 2022, 14:40:59 »

Nechcem tu príliš politizovať, ale budúcnosť jazykov súvisí s práve prebiehajúcim
mocenským súperením medzi viacerými krajinami. Španielčina je super jazyk na cestovanie
po svete, ale z ekonomického hľadiska ju zrejme predčia nemčina a francúzština.
O ruštine nehovoriac. Počty hovoriacich nie sú všetko. Rusky sa doruzumie "len" 258 miliónov ľudí,
ale odhaduje sa, že ruština je na internete 2. najpoužívanejší jazyk po angličtine. Žiadna iná krajina
nemá Runet, prakticky plnohodnotnú alternatívu anglickému webu. Rusi majú všetko, od svojho vyhľadávača, cez sociálne siete, encyklopédie, Q/A stránky... Pokiaľ viem, nič také španieli nemajú.

Americké impérium sa nám pred očami rúca a aj preto, portugalčina a farsi majú veľký potenciál
do budúcnosti, ak sa Brazília a Irán zbavia americkej agresie.  Je predpoklad, že sa Brazília stane lídrom v Latinskej Amerike (234 mil ľudí hovorí portugalsky).

Farsi je perzský jazyk, ktorým sa dohovorí 110 miliónov ľudí v Iráne, Afganistane a Tadžikistane. Ak sa Iránu podarí dominovať na blízkom východe (súperia s nimi Turci a SAE), tak sa z neho stane ekonomicky veľmi atraktívny regionálny jazyk. Iránci sú podľa mňa oveľa šikovnejší ako Arabi, ale ničia ich 40+ rokov trvajúce americké sankcie.

Spanelstina je ve stejne situaci jako Arabstina, pouziva se v mnoha statech, ktere se dosud nedokazaly sjednotit, prevazne kvuli kolonialni historii a pretrvavajicim vnejsim tlakum, ktere slabnou, jak spravne pisete.

44

Vývoj / Re:Co je no-code a low code?

« kdy: 18. 05. 2022, 21:06:58 »

on i ten excel je vytlacovan technologiemi jako R a pandas.

no sekretarka si muze neco udelat v excelu, ale pochybuju, ze v erku nebo v pythonim pandasu neco uplete?!
erko podobne jako octave a matlab je pro vedatory co chcou resit vypocty a ne detaily jako sprava pameti atd.

pouziti r v excelu :-)

https://bert-toolkit.com/

ale bude to reseni v excelu robustnejsi? Tomas tvrdil, ze robustnost je jedna z vyhod no-code, podle me plati opak.

u klikatek neexistuje replikovatelnost, testovatelnost a pod. (pokud neuvazujete nastrohje typu selenium)

45

Vývoj / Re:Co je no-code a low code?

« kdy: 18. 05. 2022, 20:41:32 »

Co je zač low code

je třeba low code ten jazyk YAML v github actions?

ne, to je podle mě pouze "code". Do stejné kategorie bys mohl dát jakékoliv značkovací jazyky. Low code je třeba MS Excel a jeho funkce, které tam můžeš používat/psát.

on i ten excel je vytlacovan technologiemi jako R a pandas.