Los programas que utilizan los buscadores para rastrear la web, lo primero que hacen es buscar el archivo robots.txt, archivo de texto, y dependiendo de lo que diga en él, continúan en tu sitio o se van a otro. Es el que le indica a los bots (arañas) qué partes de nuestra web debe rastrear y a qué partes le denegamos el acceso.
Es un archivo de texto, .txt, que se crea en un sitio Web con una configuración determinada para impedir que los robots, de ciertos buscadores, rastreen el contenido
La información del robots.txt son indicaciones no definitivas, estas se pueden cambiar