Il tag meta robots si trova nella sezione head di un documento HTML.
Con il file robots.txt si ha la possibilità di dirigere i bots nel sito, ma se si hanno tante regole per tante pagine diverse questo potrebbe diventare troppo grande. Un metodo più diretto per redirigere i bots si ha introducendo il tag meta robots direttamente nella pagina.
Nel tag meta robots vengono utilizzati due parametri: index / noindex, follow / nofollow e noarchive.
Con index si dice al bot che la pagina può essere indicizzata. Con noindex non si permette l’indicizzazione.
Il parametro follow indica al bot di seguire i link che trova nella pagina html. Con nofollow si dice non seguire i link nella pagina.
I due parametri si lasciano combinare liberamente o si possono usare singolarmente.
Un esempio pratico di un’istruzione che dice al bot di non indicizzare la pagina nel suo indice e di seguire i link che trova nella pagina:
<meta name="robots" content="noindex,follow">
Questa istruzione la si potrebbe introdurre in una pagina che contiene una lista di collegamenti verso singoli articoli in altre pagine del proprio sito.
Al posto di robots potrebbe essere specificato il nome del singolo bot (googlebot o slurp).
Articoli correlati: