Zobrazit příspěvky

Tato sekce Vám umožňuje zobrazit všechny příspěvky tohoto uživatele. Prosím uvědomte si, že můžete vidět příspěvky pouze z oblastí Vám přístupných.


Příspěvky - Google CTCCTCGGCGGGCACGTAG

Stran: 1 2 [3] 4 5 ... 41
31
Vývoj / Re:JSON processor
« kdy: 05. 07. 2022, 18:18:29 »
Jako nechapu tento dnesni pristup - chci pouzit svuj pocitac, na zpracovani svych dat, ale nechci programovat. Tak si na to najmete nekoho, kdo programovat umi, ne? Taky nechcete po uklizecce v hotelu, aby vam delala jidlo nebo odvezla na letiste.

urcite bych si na zpracovani JSONu nenajal nekoho, kdo to chce delat v C.

32
Add puppeteer. Headless browser použiješ vtedy, ak sa potrebuješ dostať
za JS bránu, napr. za prihlasovacie okno. Pre ostatné prípady sa bežne
používajú http clienty. Python má httpx, ktorý zvládne aj async programy.

casto je samotny obsah generovany javascriptem, ruzne tabulky tahane ajaxem a podobne.

33
Ten kod se zasekne tak jako tak, na te nekonecne smycce.

volani asyncio.sleep bez await na nic neceka.

tezko rict proc to ze serveru nejde, muze souviset s blacklistovanymi serverovymi IP adresami.

Pokud jsi je zahltil requesty generovanymi tou nekonecnou smyckou bez cekani, je dobra sance, ze te zablokovali.

Ten tazatel na GH to spousti z nejake CI sluzby, tam je take dost velka sance blokace.

34
jak sem pochopil, tak asi nějak musím propojit asyncio + threading

nepochopil

Můžu se zeptat, jak bys udělal, aby to současně parsovalo třeba pět stránek současně bez použití threading?

Nějak pomocí asyncio.Queue? Jakože jedna stránka bude hotová, pošle signál (nebo jak se tomu říká) další a takhle prostě budou postupovat postupně kolem dokola?

Když sem vytvořil 5 tasks přes asyncio.create_task(), tak to parsovalo jen 1 stránku a ostatní měly smůlu. Jedině když sem udělal parse(data) a následně time.sleep(X), tak to po skončení funkce parse(data) skončilo na další task.

priklad

Kód: [Vybrat]
import asyncio
from pyppeteer import launch


async def get_title(browser, url):
    page = await browser.newPage()
    await page.goto(url)
    return await page.title()


async def get_titles(*urls):
    browser = await launch()
    titles = await asyncio.gather(
        *[asyncio.create_task(get_title(browser, url)) for url in urls]
    )
    await browser.close()
    return titles


print(asyncio.run(get_titles("https://example.com", "https://google.com")))

vypise ['Example Domain', 'Google']

35
jak sem pochopil, tak asi nějak musím propojit asyncio + threading

nepochopil

Můžu se zeptat, jak bys udělal, aby to současně parsovalo třeba pět stránek současně bez použití threading?

Nějak pomocí asyncio.Queue? Jakože jedna stránka bude hotová, pošle signál (nebo jak se tomu říká) další a takhle prostě budou postupovat postupně kolem dokola?

Když sem vytvořil 5 tasks přes asyncio.create_task(), tak to parsovalo jen 1 stránku a ostatní měly smůlu. Jedině když sem udělal parse(data) a následně time.sleep(X), tak to po skončení funkce parse(data) skončilo na další task.

Hele a Google Ti nefunguje? https://stackoverflow.com/questions/28492103/how-to-combine-python-asyncio-with-threads

on tohle nepotrebuje, to se pouziva, kdyz potrebujes v asyncio aplikaci blokujici volani. pyppeteer je plne neblokujici.

to co chce (vic tabu v jednom browseru) by slo i pomoci selenia a vlaken

36
jak sem pochopil, tak asi nějak musím propojit asyncio + threading

nepochopil

37
Mám jich spuštěných několik současně.

nekolik instanci pythonu nebo nekolik browseru? Ani jedno podle me neni treba, z jednoho skriptu jde otevrit nekolik url najednou v jednom browseru.

38
Pyppeteer

Opravdu je to rychlejší než Selenium + Chrome? O hodně?

v headless modu nejspis ano.

39
Vývoj / Re:AWK - sort array
« kdy: 11. 06. 2022, 16:22:10 »
OK, tohle bylo jen pro priklad. Potrebuji udelat sort pole ktere ma stovky milionu zaznamu, takze spousteni cehokoliv externiho je problem.

potom je prave lepsi pouzit externi trideni (sort), nenacitat to cele do pameti, nevytvaret tak velka asociativni pole v AWK

40
/dev/null / Re:První skutečná cenzura na českém internetu
« kdy: 05. 06. 2022, 21:20:58 »
Rovnez muj nazor je, ze nemale procento lidi tyhle konspiracni weby negativne ovlivnuji, vezmete si, ze 50% populace ma IQ nizsi nez 100, a jim nemusi byt hned jasne to, co je jasne vam. Viz napr. Sputnik News atp.

ciste logicky, bude clovek s tak pohrdavym pohledem na spoluobcany jako Vy, provadet cenzuru tak, aby byla v jejich nejlepsim zajmu?

ja proti cenzure v principu nic nemam, ale at o tom rozhoduji nase tajne sluzby, policie nebo armada (potom co se zbavi zradcu). Lide, kteri prosli bezpecnostni proverkou. Ne nejaka pochybna individua jako pornoherec Janda nebo Vy, kterym vubec nemusi jit o nase dobro.

41
/dev/null / Re:První skutečná cenzura na českém internetu
« kdy: 05. 06. 2022, 20:26:19 »
Jinak souhlasim s ostatnimi, ze jsme ve valce. Prave proto bychom nemeli nepriteli dovolit rozhodovat co je pravda a nepravda.

https://guadalajarageopolitics.com/2022/06/03/francis-boyle-we-are-in-a-war-against-the-scientific-elite-this-is-wwiii/

42
/dev/null / Re:První skutečná cenzura na českém internetu
« kdy: 05. 06. 2022, 20:07:10 »
alebo počas Covidu čo ľudia robili, a koľkých takto vlastne zabili.

podle vseho jim to nestacilo, tak spustili opici nestovice.

43
Vývoj / Re:Jaký jazyk bych se měl učit?
« kdy: 31. 05. 2022, 23:21:35 »
V cem je typescript tak skvely? Nejaka konkretni featura, ktera jinde neni?

44
Vývoj / Re:Jaký jazyk bych se měl učit?
« kdy: 30. 05. 2022, 21:31:52 »
Pro zacatek bych doporucoval JavaScript, ma i objektove rozsireni

co to znamena? Javascript je od zacatku plne objektovy, tzn. vse je objekt. Narozdil napriklad od Javy nebo C++, kde jsou vedle objektu i primitivni typy.

45
Vývoj / Re:Jaký jazyk bych se měl učit?
« kdy: 27. 05. 2022, 14:40:59 »
Nechcem tu príliš politizovať, ale budúcnosť jazykov súvisí s práve prebiehajúcim
mocenským súperením medzi viacerými krajinami. Španielčina je super jazyk na cestovanie
po svete, ale z ekonomického hľadiska ju zrejme predčia nemčina a francúzština.
O ruštine nehovoriac. Počty hovoriacich nie sú všetko. Rusky sa doruzumie "len" 258 miliónov ľudí,
ale odhaduje sa, že ruština je na internete 2. najpoužívanejší jazyk po angličtine. Žiadna iná krajina
nemá Runet, prakticky plnohodnotnú alternatívu anglickému webu. Rusi majú všetko, od svojho vyhľadávača, cez sociálne siete, encyklopédie, Q/A stránky... Pokiaľ viem, nič také španieli nemajú.

Americké impérium sa nám pred očami rúca a aj preto, portugalčina a farsi majú veľký potenciál
do budúcnosti, ak sa Brazília a Irán zbavia americkej agresie.  Je predpoklad, že sa Brazília stane lídrom v Latinskej Amerike (234 mil ľudí hovorí portugalsky).

Farsi je perzský jazyk, ktorým sa dohovorí 110 miliónov ľudí v Iráne, Afganistane a Tadžikistane. Ak sa Iránu podarí dominovať na blízkom východe (súperia s nimi Turci a SAE), tak sa z neho stane ekonomicky veľmi atraktívny regionálny jazyk. Iránci sú podľa mňa oveľa šikovnejší ako Arabi, ale ničia ich 40+ rokov trvajúce americké sankcie.

Spanelstina je ve stejne situaci jako Arabstina, pouziva se v mnoha statech, ktere se dosud nedokazaly sjednotit, prevazne kvuli kolonialni historii a pretrvavajicim vnejsim tlakum, ktere slabnou, jak spravne pisete.

Stran: 1 2 [3] 4 5 ... 41