Que es un robot de un buscador ( spider o crawler )

Entenderemos como robot de un buscador ( spider o crawler ) al programa que estudia y analiza los contenidos y estructuras de sitios web, para determinar su relevancia y actualizacion de archivos para luego entregarlos a los que solictan una informacion en especial..

Como trabajan los robots de los buscadores

Los robots de buscadores son programas que trabajan con bases de datos que recopilan y estudian de forma automática la información y contenidos de los sitios web, ocupando hasta 100 criterios diferentes considerando dentro de esto optimización interna, optimización exerna, relacion del dominio, titulos de los documentos, palabras claves, actualizacion y frescura de contenido,( entre otros ).

Como rastrean los buscadores en Internet

 Los buscadores rastrean durante las veinticuatro horas, los millones sitios web habidos en la red de todo el mundo considerando su localización según el país, las que son descargadas posteriormente desde Internet tomando y guardando de las url su contenido ( archivos - enlaces internos – enlces externos ) para proceder a su descarga y análisis posteriormente.