¿Qué es el archivo robots.txt?

Uno de los archivos clave para el SEO de nuestra página web es el archivo robots.txt y que tiene varias funcionalidades que veremos a continuación.

El archivo robots.txt contiene información para los robots de los motores de búsqueda y también pueden incluir una serie de órdenes a seguir por estos robots a la hora de indexar nuestra página web.

El archivo robots.txt es un archivo único para todo el contenido de una bajo que está bajo un mismo dominio y se localiza en la carpeta raíz.

Desde este archivo podemos controlar el comportamiento de los robots autorizando o desautorizando el acceso a ciertos recursos. Otra de las funciones es indiciar la localización de nuestro sitemap.

Un ejemplo del contenido básico de un archivo robots.txt en WordPress es:

User-agent: *
Disallow: /wp-admin/

Sitemap: http://www.web.com/sitemap.xml

Comandos del archivo robots.txt:

• Allow: permite el acceso a un subdirectorio cuando se ha bloqueado el directorio principal.
• Disallow: restringe el acceso a un irectorio de nuestra web.
• User-agent: especifica el nombre del robot al que afectan los comandos.
• Sitemap: indica la URL de un mapa del sitio.

La línea User-agent define a que robot afectarán las ordenes indicadas a continuación, como tiene por valor el asterisco (*), quiere decir que afectarán a todos los robots. Si quisiésemos aplicar unas normas a algún robot específico de Google, podemos consultar los diferentes nombres en este enlace (https://support.google.com/webmasters/answer/1061943?hl=es), para luego remplazar el asterisco por el nombre del robot.

Personalmente creo que hay que mantener el contenido de este archivo lo más sencillo posible y desde Google nos han dicho en varias ocasiones que no bloqueemos el acceso a recursos auxiliares, como pueden ser CSS o Javascript, ya que impedirían el correcto renderizado de la página web.