Todas las webs tienen páginas que son necesarias para el administrador o para los usuarios, pero que no es necesario o ni siquiera recomendable que aparezcan en los resultados de búsqueda. Esto pasa por ejemplo con las páginas de ingreso, contenido duplicado, etc.
Un archivo robots.txt sirve para que los buscadores no rastreen este grupo de páginas ni las añadan a los resultados indexados. Es fácil crear y editar estos archivos simplemente subiendo un archivo de texto a tu servidor, pero debes tomar algunas precauciones para evitar errores. También es importante tener en cuenta que el malware y los robots de spam probablemente ignoren las instrucciones incluidas en los archivos robots.txt y que, como el archivo es público, cualquiera puede ver tus restricciones.
Recomendaciones: Crear y configurar un archivo robots.txt
El archivo robots.txt debe publicarse en el directorio de primer nivel de tu servidor, donde normalmente está la página index.html.
Puedes subirlo y crompobarlo tanto en Google Webmaster Tools o en la herramienta similar que ofrece Bing para asegurarte de que funciona como esperas. En Google Search Console lo puedes encontrar en Rastreo > URL bloqueadas.
Apunta la hora y la fecha de cualquier cambio y monitoriza los ratios de rastreo e indexación que se detallan en Google Search Console para asegurarte de que afecta a las páginas deseadas.
