Googlebot engloba los robots de rastreo web de Google. Revisa simultáneamente el contenido de las páginas web, lo clasifica y lo indexa en SEO.
¿Para qué sirve?
El concepto de Googlebot es el algoritmo que clasifica las páginas y las organiza según su importancia cuando introducimos palabras en el motor de búsqueda de Google.
Conociendo las estrategias de Googlebot se puede mejorar el posicionamiento de una web en el SEO. Asimismo, cuantas más visitas obtenga una página web, más visitas recibirá del Googlebot.
¿Cómo funciona Googlebot?
Se conoce a Googlebot como la araña por el modo en que se desplaza por la red. De link a link. Dentro de una misma página web se mueve a través del Sitemap.
Además de páginas web, es capaz de leer e indexar archivos abiertos en todos los tipos de formato (DOC, PDF, XLS…) alojados en la nube.
Googlebot está compuesto principalmente por DeepBot y Freshbot. Deepbot se dedica a procesar todos y cada uno de los links de una sola web; mientras que Freshbot busca nuevos contenidos en la World Wide Web. Pero en los últimos años, otros bots se han añadido a la familia: Googlebot News, Images, Vídeo, Mobile, Mobile AdSens, AdSense de Google y Google AdsBot.
¿Y si mi web aún no está lista para indexar?
En ese caso, el webmaster debe aplicar el protocolo de la exclusión de robots o método robots.txt, que privatiza determinados contenidos de la página web. Si bien, no es infalible, avisa de las violaciones de privacidad.
En ocasiones, Googlebots puede acceder a un servidor privado a través de links públicos compartidos con contactos.
Para evitar que que Googlebots siga los enlaces de una de nuestras páginas podemos introducir en la cabecera de nuestro HTML la siguiente etiqueta:
<META NAME=»Googlebot» CONTENT=»nofollow»>.
Si sólo nos preocupa que siga uno de los enlaces, podemos introducir la siguiente etiqueta:
<a href=http://www.example.com/ rel=»nofollow»> No seguir este enlace</a>.
