Totes les webs tenen pàgines que són necessàries per a l’administrador o per als usuaris, però que no és necessari o ni tan sols recomanable que apareguin en els resultats de cerca. Això passa, per exemple, amb les pàgines d’ingrés, contingut duplicat, etc.
Un fitxer robots.txt serveix perquè els cercadors no rastregin aquest grup de pàgines ni les afegeixin als resultats indexats. És fàcil crear i editar aquests fitxers simplement pujant un fitxer de text al teu servidor, però has de prendre algunes precaucions per evitar errors. També és important tenir en compte que el malware i els robots de spam probablement ignoraran les instruccions incloses en els fitxers robots.txt i que, com que el fitxer és públic, qualsevol pot veure les teves restriccions.
Recomanacions: Crear i configurar un fitxer robots.txt
El fitxer robots.txt s’ha de publicar al directori de primer nivell del teu servidor, on normalment està la pàgina index.html.
Pots pujar-lo i comprovar-lo tant a Google Webmaster Tools com a l’eina similar que ofereix Bing per assegurar-te que funciona com esperes. A Google Search Console el pots trobar a Rastreo > URL bloquejades.
Apunta l’hora i la data de qualsevol canvi i monitoritza els ratios de rastreig i indexació que es detallen a Google Search Console per assegurar-te que afecta a les pàgines desitjades.
