Il file robots.txt
Il file robots.txt: istruzioni per l'uso

Il file robots.txt presenta restrizioni ai robot dei motori di ricerca (noti come "bot") che eseguono la scansione del Web. Questi bot sono automatici e, prima di accedere alle pagine di un sito, controllano per verificare la presenza di un file robots.txt che impedisce loro di accedere a determinate pagine. L’uso di questo tipo di file ti servirà nel caso ci siano contenuto che desideri vengano esclusi dall'indicizzazione dei motori di ricerca. Il file robots.txt deve risiedere nella directory principale del dominio e deve avere il nome "robots.txt". Un file robots.txt memorizzato in una sottodirectory non è valido, in quanto i bot verificano la presenza del file solo nella directory principale del dominio. Puoi creare questo file in un qualsiasi editor di testo. Deve essere un file di testo con codifica ASCII e non un file HTML e il nome del file deve essere in minuscolo. Il file robots.txt più semplice utilizza due regole: lo User-Agent (il robot al quale si applica la seguente regola ) e il Disallow (le pagine che desideri bloccare). Queste due righe sono considerate una voce unica nel file. Puoi includere il numero di voci desiderato e puoi includere più righe Disallow e più User-Agent in una sola voce.