Může komunita zaindexovat celý internet?

[Michal Hmmm]

Jarin=Shejby  :-)

teď jsem zjistil, že to má 3GB tak to bude asi chvilku trvat ... v jakém formátu je vám to nejpříjemnější sql csv ?

Mohl bych se zeptat na původ těch dat? A také bych poprosil o zaslání.

[Reklama]

[shejby]

původ.. je to vucuclý z těchto stránek http://www.registered-domains-list.com/com-2013/ takže se můžete brodit tam :-D ...ale jinak vám to samo pošlu není problém ..

[shejby]

http://ulozto.cz/soubory/PSJB/other/ tak to tady máte 

jinak co s tím máte v plánu ?

[Miramel]

Já chci třeba zjistit, kolik z toho je Apache, kolik Nginx a kolik IIS, dále nad tím chci pustit další funkce, které mi z toho vytáhnout data.
Například kolik těch domén sídlí na stejné IP, kolik těchto IP má nastavený reverzní překlad, jestli je k doménám SMTP server a tak.
Možná k tomu přidělám i nějaký web interface a výstupy dám v XML.
To je první krok.

[Franta <xkucf03/>]

Já chci třeba zjistit, kolik z toho je Apache, kolik Nginx a kolik IIS, dále nad tím chci pustit další funkce, které mi z toho vytáhnout data.
Například kolik těch domén sídlí na stejné IP, kolik těchto IP má nastavený reverzní překlad, jestli je k doménám SMTP server a tak.
Možná k tomu přidělám i nějaký web interface a výstupy dám v XML.
To je první krok.

BTW: něco podobného dělají tady Open e-mail survey – zaměřené na e-mail a skenovali to po IP adresách.

[Reklama]

[pavelxxx]

Já chci třeba zjistit, kolik z toho je Apache, kolik Nginx a kolik IIS, dále nad tím chci pustit další funkce, které mi z toho vytáhnout data.
Například kolik těch domén sídlí na stejné IP, kolik těchto IP má nastavený reverzní překlad, jestli je k doménám SMTP server a tak.
Možná k tomu přidělám i nějaký web interface a výstupy dám v XML.
To je první krok.

To by mě zajímalo co budou další kroky ... .

[Jan Forman]

Mě by zajímalo, jestli už někoho napadlo, že sám Google by měl s touto úlohou problém a navíc jaký je benefit?
Některé statistické servery se o to snaží (Alexa, Netcraft, Robtex, DomainTools) - ale tam je jen zlomek.
Jde o počet virtuálních domén na IP, reverzní záznamy, STMP... ovšem on-demand většinou (alexa pomocí spyware lišty).

Je to jen doména, nebo obsah? S obsahem je to nesmysl - tam se cokoliv může měnit a je to hned nový obsah.
Obvykle se to eliminuje přes hash, pokud je to statické. Mnoho serverů používá různé proxy, tudíž reálný server
pod nimi také nelze dohledat.

Má to tedy být další taková služba viz výše?