Guía Completa: Cómo Bloquear /cdn-cgi/ en WordPress con Cloudflare (Script Automatizado)

Si usas Cloudflare en tu sitio WordPress, es probable que hayas visto URLs como /cdn-cgi/l/email-protection o /cdn-cgi/challenge-platform en tus informes de Google Search Console. Estas rutas son técnicas y no deben ser indexadas, pero los bots de búsqueda las rastrean, generando «ruido» en tus métricas SEO.

Aquí te explicamos por qué debes bloquearlas y cómo hacerlo automáticamente con un script optimizado para WordPress.

---

¿Por qué bloquear /cdn-cgi/ en robots.txt?

Cloudflare utiliza este directorio para funciones técnicas como:

• Protección de email (evitar spam)
• Gestión de desafíos (CAPTCHAs, WAF)
• Procesos internos del CDN

Problemas si no lo bloqueas:

Google rastrea URLs innecesarias, consumiendo tu presupuesto de crawleo.
Aparecen «errores» falsos en Google Search Console (404, soft 404).
Datos SEO menos precisos (páginas indexadas irrelevantes).

Solución oficial de Cloudflare:

Añadir esta regla en tu robots.txt:

User-agent: *  
Disallow: /cdn-cgi/  

---

Script Automatizado para WordPress

Si administras varios sitios, hacer esto manualmente es tedioso. Por eso hemos creado un script en Bash que:

Busca todas las instalaciones de WordPress en tu servidor.
Añade Disallow: /cdn-cgi/ al robots.txt (o lo crea si no existe).
Evita duplicados (solo modifica si es necesario).
Es compatible con multisitio y servidores compartidos/VPS.

---

Instalación y Uso del Script

1⃣ Descargar el Script

Opción 1: Clonar el repositorio (recomendado para actualizaciones):

git clone https://github.com/dcarrero/WordPress-Cloudflare-robots.txt-Updater.git
cd WordPress-Cloudflare-robots.txt-Updater
chmod +x update_robots_cloudflare.sh

Opción 2: Descarga directa (si no tienes Git):

curl -O https://raw.githubusercontent.com/dcarrero/WordPress-Cloudflare-robots.txt-Updater/main/update_robots_cloudflare.sh
chmod +x update_robots_cloudflare.sh

2⃣ Ejecutar el Script

• Para escanear desde el directorio actual:

  ./update_robots_cloudflare.sh

• Para escanear una ruta específica (ej: /var/www/):

  ./update_robots_cloudflare.sh /var/www/

3⃣ ¿Qué hace el script?

Busca wp-config.php (solo en instalaciones WordPress válidas).
Verifica si robots.txt existe y si ya tiene la regla.
Si no existe, crea uno con:

   User-agent: *  
   Disallow: /wp-admin/  
   Allow: /wp-admin/admin-ajax.php  
   Disallow: /cdn-cgi/  

Si existe, añade Disallow: /cdn-cgi/ con un formato limpio.

---

Verificación de Cambios

Después de ejecutarlo, revisa:

1. El archivo robots.txt en la raíz de tu WordPress.
2. Google Search Console (en unos días) para confirmar que ya no se rastrea /cdn-cgi/.

---

Beneficios de Usar Este Script

• Ahorra tiempo (especialmente si gestionas +10 sitios).
• Previene problemas de rastreo en Google.
• Mantiene robots.txt optimizado para SEO.
• 100% seguro (solo modifica lo necesario).

---

Conclusión

Si usas Cloudflare + WordPress, este script es la forma más rápida de evitar que los motores de búsqueda pierdan tiempo en URLs irrelevantes.

Descárgalo aquí:
GitHub – WordPress Cloudflare robots.txt Updater

(Recomendación oficial de Cloudflare para WordPress vista en Wpdirecto)

¿Tienes dudas? ¡Déjalas en los comentarios!