¿Qué es el archivo robots.txt?

Uno de los archivos clave para el SEO de nuestra página web es el archivo robots.txt y que tiene varias funcionalidades que veremos a continuación.

El archivo robots.txt contiene información para los robots de los motores de búsqueda y también pueden incluir una serie de órdenes a seguir por estos robots a la hora de indexar nuestra página web.

El archivo robots.txt es un archivo único para todo el contenido de una bajo que está bajo un mismo dominio y se localiza en la carpeta raíz.

Desde este archivo podemos controlar el comportamiento de los robots autorizando o desautorizando el acceso a ciertos recursos. Otra de las funciones es indiciar la localización de nuestro sitemap.

¿Qué es el archivo robots.txt?

Un ejemplo del contenido básico de un archivo robots.txt en WordPress es:

User-agent: *
Disallow: /wp-admin/

Sitemap: http://www.web.com/sitemap.xml

Comandos del archivo robots.txt:

  • Allow: permite el acceso a un subdirectorio cuando se ha bloqueado el directorio principal.
  • Disallow: restringe el acceso a un irectorio de nuestra web.
  • User-agent: especifica el nombre del robot al que afectan los comandos.
  • Sitemap: indica la URL de un mapa del sitio.

La línea User-agent define a que robot afectarán las ordenes indicadas a continuación, como tiene por valor el asterisco (*), quiere decir que afectarán a todos los robots. Si quisiésemos aplicar unas normas a algún robot específico de Google, podemos consultar los diferentes nombres en este enlace (https://support.google.com/webmasters/answer/1061943?hl=es), para luego remplazar el asterisco por el nombre del robot.

Personalmente creo que hay que mantener el contenido de este archivo lo más sencillo posible y desde Google nos han dicho en varias ocasiones que no bloqueemos el acceso a recursos auxiliares, como pueden ser CSS o Javascript, ya que impedirían el correcto renderizado de la página web.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

 

Your browser is out of date. It has security vulnerabilities and may not display all features on this site and other sites.

Please update your browser using one of modern browsers (Google Chrome, Opera, Firefox, IE 10).

X