¿Para qué se utiliza el robots.txt?

 

Seguro que en más de una ocasión has podido ver el archivo robots.txt rondando por tu servidor pero no te has atrevido a tocarlo. Este fichero puede ser clave a la hora de conseguir que una web se posicione o no.
Tienes que saber que cuando tú lanzas cualquier página a la red, los rastreadores de los buscadores (especialmente de Google) acceden al contenido de la misma con el objetivo de que se indexe y sea visible de cara a los usuarios. Estos rastreadores no son más que robots que lo primero que hacen al entrar en tu página es leer lo que pone en el archivo robots.txt.
Si este presenta algún tipo de restricción, la web no será indexada y los usuarios no podrán encontrarla por los medios habituales.

Algunos ejemplos de los usos del archivo robots.txt

-Imagina que eres diseñador web y estás montando una web en un subdominio dentro del dominio principal. De esta manera, en el momento en el que todo esté listo, sólo tendrás que copiar y pegar todos los archivos y bases de datos aplicadas a la nueva localización.
Ahora bien, lo último que queremos es que el contenido se empiece a posicionar en el subdominio… si eso ocurre, cuando lo pasemos al principal podemos tener problema de contenido duplicado. Por esta razón se puede limitar el robots.txt para que esto pase.
-También puede darse el caso de que tengamos algún tipo de contenido prohibido (por ejemplo, descargas ilegales de series o películas). En este caso también podemos configurar la web para que esta no se indexada.
Ahora ya sabes para qué puede servirte este pequeño amigo en la sombra.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

 

Your browser is out of date. It has security vulnerabilities and may not display all features on this site and other sites.

Please update your browser using one of modern browsers (Google Chrome, Opera, Firefox, IE 10).

X
Paste your AdWords Remarketing code here