¿Qué es el archivo robots.txt?
Uno de los archivos clave para el SEO de nuestra página web es el archivo robots.txt y que tiene varias funcionalidades que veremos a continuación.
El archivo robots.txt contiene información para los robots de los motores de búsqueda y también pueden incluir una serie de órdenes a seguir por estos robots a la hora de indexar nuestra página web.
El archivo robots.txt es un archivo único para todo el contenido de una bajo que está bajo un mismo dominio y se localiza en la carpeta raíz.
Desde este archivo podemos controlar el comportamiento de los robots autorizando o desautorizando el acceso a ciertos recursos. Otra de las funciones es indiciar la localización de nuestro sitemap.
Un ejemplo del contenido básico de un archivo robots.txt en WordPress es:
User-agent: *
Disallow: /wp-admin/
Sitemap: http://www.web.com/sitemap.xml
Comandos del archivo robots.txt:
- Allow: permite el acceso a un subdirectorio cuando se ha bloqueado el directorio principal.
- Disallow: restringe el acceso a un irectorio de nuestra web.
- User-agent: especifica el nombre del robot al que afectan los comandos.
- Sitemap: indica la URL de un mapa del sitio.
La línea User-agent define a que robot afectarán las ordenes indicadas a continuación, como tiene por valor el asterisco (*), quiere decir que afectarán a todos los robots. Si quisiésemos aplicar unas normas a algún robot específico de Google, podemos consultar los diferentes nombres en este enlace (https://support.google.com/webmasters/answer/1061943?hl=es), para luego remplazar el asterisco por el nombre del robot.
Personalmente creo que hay que mantener el contenido de este archivo lo más sencillo posible y desde Google nos han dicho en varias ocasiones que no bloqueemos el acceso a recursos auxiliares, como pueden ser CSS o Javascript, ya que impedirían el correcto renderizado de la página web.