Může komunita zaindexovat celý internet?

Re:Může komunita zaindexovat celý internet?
« Odpověď #30 kdy: 30. 04. 2014, 12:57:36 »
Jarin=Shejby  :-)

teď jsem zjistil, že to má 3GB tak to bude asi chvilku trvat ... v jakém formátu je vám to nejpříjemnější sql csv ?

Mohl bych se zeptat na původ těch dat? A také bych poprosil o zaslání.


Re:Může komunita zaindexovat celý internet?
« Odpověď #31 kdy: 30. 04. 2014, 14:34:45 »
původ.. je to vucuclý z těchto stránek http://www.registered-domains-list.com/com-2013/ takže se můžete brodit tam :-D ...ale jinak vám to samo pošlu není problém ..

Re:Může komunita zaindexovat celý internet?
« Odpověď #32 kdy: 30. 04. 2014, 16:13:25 »
http://ulozto.cz/soubory/PSJB/other/ tak to tady máte  :P

jinak co s tím máte v plánu ?

Miramel

Re:Může komunita zaindexovat celý internet?
« Odpověď #33 kdy: 30. 04. 2014, 16:40:31 »
Já chci třeba zjistit, kolik z toho je Apache, kolik Nginx a kolik IIS, dále nad tím chci pustit další funkce, které mi z toho vytáhnout data.
Například kolik těch domén sídlí na stejné IP, kolik těchto IP má nastavený reverzní překlad, jestli je k doménám SMTP server a tak.
Možná k tomu přidělám i nějaký web interface a výstupy dám v XML.
To je první krok.


Franta <xkucf03/>

Re:Může komunita zaindexovat celý internet?
« Odpověď #34 kdy: 30. 04. 2014, 18:01:31 »
Já chci třeba zjistit, kolik z toho je Apache, kolik Nginx a kolik IIS, dále nad tím chci pustit další funkce, které mi z toho vytáhnout data.
Například kolik těch domén sídlí na stejné IP, kolik těchto IP má nastavený reverzní překlad, jestli je k doménám SMTP server a tak.
Možná k tomu přidělám i nějaký web interface a výstupy dám v XML.
To je první krok.

BTW: něco podobného dělají tady Open e-mail survey – zaměřené na e-mail a skenovali to po IP adresách.


pavelxxx

Re:Může komunita zaindexovat celý internet?
« Odpověď #35 kdy: 01. 05. 2014, 09:08:52 »
Já chci třeba zjistit, kolik z toho je Apache, kolik Nginx a kolik IIS, dále nad tím chci pustit další funkce, které mi z toho vytáhnout data.
Například kolik těch domén sídlí na stejné IP, kolik těchto IP má nastavený reverzní překlad, jestli je k doménám SMTP server a tak.
Možná k tomu přidělám i nějaký web interface a výstupy dám v XML.
To je první krok.
To by mě zajímalo co budou další kroky ... .

Re:Může komunita zaindexovat celý internet?
« Odpověď #36 kdy: 01. 05. 2014, 11:01:44 »
Mě by zajímalo, jestli už někoho napadlo, že sám Google by měl s touto úlohou problém a navíc jaký je benefit?
Některé statistické servery se o to snaží (Alexa, Netcraft, Robtex, DomainTools) - ale tam je jen zlomek.
Jde o počet virtuálních domén na IP, reverzní záznamy, STMP... ovšem on-demand většinou (alexa pomocí spyware lišty).

Je to jen doména, nebo obsah? S obsahem je to nesmysl - tam se cokoliv může měnit a je to hned nový obsah.
Obvykle se to eliminuje přes hash, pokud je to statické. Mnoho serverů používá různé proxy, tudíž reálný server
pod nimi také nelze dohledat.

Má to tedy být další taková služba viz výše?
„Řemeslo se naučí každý. Umění nikdo.“
„Jednoduchost je nejvyšší úroveň sofistikovanosti.“
- Leonardo Da Vinci