Un ejemplo de robots.txt para WordPress

Un ejemplo de robots.txt para WordPress

Para ayudarte a comprender mejor el funcionamiento del archivo robots.txt me gustaría enseñarte un ejemplo real. Se trata del mismo archivo que utilizo en este blog, de ahí que sea un ejemplo orientado a WordPress.
No obstante, debes saber que este archivo quizá NO sea ideal para tí pese a usar WordPress. Según el caso, puede que necesites añadir restricciones, quitarlas, o usar la etiqueta meta robots. No hay un archivo robots.txt universal, tenlo en cuenta.
Recientemente he actualizado mi archivo robots.txt como sigue (sin los números de línea):

User-Agent: *
Disallow: /wp-
Disallow: /ir/
Allow: /wp-content/uploads/
Sitemap: http://ignaciosantiago.com/sitemap.xml

Ahora me gustaría explicarte cada línea:

• Línea 1 – Declaro que las instrucciones que vienen a continuación son para los robots de cualquier buscador.
• Línea 2 – Deniego el acceso a todos directorios y páginas que comienzan por “wp-”, propios de la instalación de WordPress.
• Línea 3 – Deniego el acceso al directorio que utilizo para redirecciones (no tienes por qué tenerlo).
• Línea 4 – Permito el acceso al directorio de archivos adjuntos, puesto que en la línea 2 lo había desautorizado.
• Línea 5 – Indico la ruta donde se encuentra el mapa XML de mi página web.

Te recomiendo que cuando crees tu archivo compruebes que hace lo que esperas de él. Ten en cuenta que un simple error puede impedir el acceso a los buscadores y causar la pérdida de todos tus rankings. La comprobación es facil de hacer con las Herramientas para Webmasters de Google, en Rastreo > URL bloqueadas.