Chuleta para principiantes archivo robot.txt

Chuleta para principiantes

Te voy a enseñar varias opciones, y tu elige la que más te convenga:

• Bloquear todos los rastreadores web de todo el contenido

User-agent: * Disallow: /

• Bloquear un rastreador web específica desde una carpeta específica

User-agent: Googlebot Disallow: /google-no/

• Bloquear un rastreador web específica de una página web específica

User-agent: Googlebot Disallow: /google-no/pagina-bloqueada.html

• Permitir que un rastreador web específica para visitar una página web específica

Disallow: /sin-robots/bloquear-todos-los-robots-excepto-rogerbot.html User-agent: rogerbot Allow: /sin-robots/bloquear-todos-los-robots-excepto-rogerbot.html

• Parámetro del Sitemap

User-agent: * Disallow: Sitemap: http://www.example.com/sitemap.xml