Analisar e Indexar Novos Sites ou Blogs, como o Google Encontra?
Para analisar e indexar novos sites ou blogs como o seu muitos outros mecanismos de busca seguem procedimentos parecidos, o spider encontra e usa links das páginas que percorreu, e adiciona aquelas páginas que estão ligadas à página percorrida na lista de páginas para serem percorridas. Embora possa haver variações em pontos específicos e cada mecanismo possua seu próprio algoritmo.