Utilitza les etiquetes meta robots
Les etiquetes meta robots et permeten controlar la indexació i aparença en els resultats de cerca de pàgines individuals. A més d’impedir que els cercadors o un cercador determinat (Google, Bing, Baidu, etc.) indexin una pàgina, també pot servir per indicar que tots els enllaços d’una pàgina han de ser «NoFollow» i no passar popularitat.
Aquestes instruccions s’han d’incloure a la secció de l’HTML de la pàgina de la següent forma:
<!DOCTYPE html> <html><head> <meta name="robots" content="noindex" /> (…) </head> <body>(…)</body> </html>
La metaetiqueta «robots» mostrada a dalt, està indicant als cercadors que no mostrin aquesta pàgina en els resultats de cerca.
Veiem que l’atribut «name» té assignat el valor «robots», així que la directiva s’aplica a tots els rastrejadors de tots els cercadors. Però podem aplicar-ho a un sol rastrejador. Per a això has de substituir el valor de l’atribut «name» pel rastrejador robot en qüestió. Per exemple, per al robot de Google:
<meta name="googlebot" content="noindex" />
Recomanacions: utilitza les etiquetes meta robots en pàgines individuals
Utilitza la instrucció meta robots «NoIndex, Follow» per evitar la indexació d’una pàgina o un conjunt de pàgines però permetre que els seus enllaços siguin seguits pels robots rastrejadors dels cercadors.
NOODP bloquejarà la descripció d’una pàgina en l’Open Directory Project (Dmoz.org) que no es mostrarà encara que hagi estat requerida.
