El robots.txt es un archivo de texto que se encuentra en la web. Indica que partes son accesibles o no a los rastreadores de los motores de búsqueda.
Los programas que utilizan los buscadores para rastrear la web, lo primero que hacen es buscar el archivo robots.txt, archivo de texto, y dependiendo de lo que diga en él, continúan en tu sitio o se van a otro. Es el que le indica a los bots (arañas) qué partes de nuestra web debe rastrear y a qué partes le denegamos el acceso.
Es un archivo de texto, .txt, que se crea en un sitio Web con una configuración determinada para impedir que los robots, de ciertos buscadores, rastreen el contenido
La información del robots.txt son indicaciones no definitivas, estas se pueden cambiar
