Episode Details

En el episodio 114 de Wordpress Semanal te explico qué es el archivo robots.txt, te enseño a crearlo y te doy ejemplos de cómo puedes configurarlo en WordPress.

Plugin de la semana: Instagram Feed

Con el plugin Instagram Feed puedes mostrar fotos de instagram en tu web de forma actualizada. Ya sean de tu cuenta, de otras o de varias a la vez. Siempre que no sean privadas, claro.

Viene con bastantes opciones de personalización y funciona a las mil maravillas (es el que uso para mis clientes).

Si quieres opciones más avanzadas, como efectos en al pasar el ratón por encima, entonces puedes comprar la versión pro.

El archivo robots.txt en WordPress

1. ¿Qué es el archivo robots.txt?

   • Un archivo que da indicaciones a los motores de búsqueda sobre cómo y qué tienen que rastrear en nuestra web
   • Puede ser virtual (el que crea WordPress por defecto) o físico (si lo creas tú o algún plugin como Yoast)
   • El físico se encuentra en la raíz de tu instalación de WordPress
   • Si quieres comprobar si lo tienes o cómo lo tienes teclea en un navegador la dirección de tu web seguida de /robots.txt (por ejemplo https://gonzalonavarro.es/robots.txt)

2. ¿Es el robots.txt importante para el SEO?

   • Sí
   • Sobre todo si haces las cosas mal
   • Es aconsejable estar al día en las mejores prácticas

3. ¿Cómo crear el robots.txt en WordPress?

   • WordPress crear un archivo robots.txt virtual (es decir, no verás el archivo si accedes por FTP a tu web)
   • También puedes crearlo tú mismo. Esto invalida el virtual.
   • Puedes usar el plugin de Yoast para crearlo de forma automática

4. ¿Qué tiene que tener tu robots.txt?

   • A mi me gusta guiarme por los expertos en esto
   • Por ejemplo, el de Yoast está prácticamente vacío
   • Igual que el mío
   • Pero hay que tener en cuenta que cada caso puede ser distinto
   • Por ejemplo, Yoast bloquea una página de su web donde tiene una herramienta de sugerencias
   • Pero en tu caso no tienes por qué hacerlo

5. Olvídate de las antiguas prácticas

   • No bloquees directorios de WordPress como wp-includes o wp-content/plugins
   • Tampoco uses el robots.txt para bloquear urls que no reciben tráfico
   • La forma correcta de hacerlo es con nofollow y noindex (puedes hacerlo con Yoast)
   • No bloquees el wp-admin porque eso ya lo cubre WordPress (gracias a Yoast)
   • Tampoco hace falta que pongas un enlace a tu sitemap (basta con que lo subas a través de Google Search Console)

6. Probador de Robots.txt en Google Search Console y cómo indexarlo

   • Puedes comprobar el estado del archivo robots.txt en Google Search Console
   • Accede a tu cuenta y ve a