¿Qué es el archivo robots.txt?

SEO
0 comentarios

Uno de los archivos clave para el SEO de nuestra página web es el archivo robots.txt y que tiene varias funcionalidades que veremos a continuación.

El archivo robots.txt contiene información para los robots de los motores de búsqueda y también pueden incluir una serie de órdenes a seguir por estos robots a la hora de indexar nuestra página web.

El archivo robots.txt es un archivo único para todo el contenido de una bajo que está bajo un mismo dominio y se localiza en la carpeta raíz.

Desde este archivo podemos controlar el comportamiento de los robots autorizando o desautorizando el acceso a ciertos recursos. Otra de las funciones es indiciar la localización de nuestro sitemap.

¿Qué es el archivo robots.txt?

Un ejemplo del contenido básico de un archivo robots.txt en WordPress es:

User-agent: *
Disallow: /wp-admin/

Sitemap: http://www.web.com/sitemap.xml

Comandos del archivo robots.txt:

  • Allow: permite el acceso a un subdirectorio cuando se ha bloqueado el directorio principal.
  • Disallow: restringe el acceso a un irectorio de nuestra web.
  • User-agent: especifica el nombre del robot al que afectan los comandos.
  • Sitemap: indica la URL de un mapa del sitio.

La línea User-agent define a que robot afectarán las ordenes indicadas a continuación, como tiene por valor el asterisco (*), quiere decir que afectarán a todos los robots. Si quisiésemos aplicar unas normas a algún robot específico de Google, podemos consultar los diferentes nombres en este enlace (https://support.google.com/webmasters/answer/1061943?hl=es), para luego remplazar el asterisco por el nombre del robot.

Personalmente creo que hay que mantener el contenido de este archivo lo más sencillo posible y desde Google nos han dicho en varias ocasiones que no bloqueemos el acceso a recursos auxiliares, como pueden ser CSS o Javascript, ya que impedirían el correcto renderizado de la página web.

deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

uno × 5 =

    mantente al día

    Recibe en tu bandeja de entrada las últimas noticias sobre desarrollo y diseño web, WordPress, e-commerce y todo lo necesario para tener una salud web excelente.

    habla con nosotros

    info@ondesarrollo.com

    +34 900 809 507

    ¡Llámanos!