10.27.2022 Andrea Jiménez Moreno
WordPress anunció un cambio importante en cómo bloqueará los motores de búsqueda para indexar sitios web. Este cambio abandona la solución tradicional Robots.txt a favor del enfoque Robots Meta Tag.
Este cambio está en línea con la intención común de bloquear Google. que es para evitar que las páginas bloqueadas se muestren en los resultados de búsqueda de Google.
Esta es la Metaetiqueta Robots que WordPress usará:
<meta name=’robots’ content=’noindex,nofollow’ />
Bloqueo de Google de la indexación
Durante mucho tiempo ha sido una práctica estándar usar Robots.txt para bloquear la “indexación” de un sitio web.
La palabra “indexación” significaba el rastreo del sitio por parte de GoogleBot. Al usar la función de bloqueo Robots.txt, podría evitar que Google descargue la página web especificada y, se suponía, Google no podría mostrar sus páginas en los Resultados de búsqueda.
Pero esa directiva robots.txt solo impidió que Google rastreara la página. Google todavía era libre de agregarlo a su índice si podía descubrir la URL.
Por lo tanto, para evitar que un sitio aparezca en el índice, un editor evitaría que Google “indexe” las páginas. Lo cual no fue consistentemente efectivo.
WordPress 5.3 realmente evitará la indexación
WordPress adaptó el enfoque Robots.txt. Pero eso está cambiando en la versión 5.3.
Cuando un editor actualmente selecciona “desalentar a los motores de búsqueda de indexar este sitio”, lo que hace es agregar una entrada al archivo robots.txt del sitio que prohíbe a Google rastrear un sitio.
Comenzando con WordPress 5.3, WordPress adoptará el enfoque de Robots Meta Tag más confiable para evitar la indexación de un sitio web.
Este cambio afectará la configuración “desalentar a los motores de búsqueda de indexar este sitio”.
Su cambio es una mejora. Los editores de WordPress pueden estar más seguros al saber que las páginas web bloqueadas no se mostrarán en los resultados de búsqueda de Google.
Relacionado: Los 6 mejores plugins de WordPress para hacer tu sitio Mobile-Friendly
¿Por qué WordPress usó Robots.txt?
WordPress se basó en Robots.txt para bloquear la indexación de un sitio web porque así es como todos evitaban que las páginas se mostraran en los resultados de búsqueda de Google. Esa era la forma estándar de hacerlo.
Sin embargo, a pesar de que todos lo hicieron de esa manera, como se ha explicado, fue un enfoque poco confiable.
La palabra “indexación” tiene dos significados:
- La indexación significa rastrear, como cuando Googlebot visita y descarga páginas web.
- La indexación también puede significar agregar una página web a la base de datos de páginas web de Google (que se llama The Index).
Bloquear a Google para que “indexe” una página web evitará que vea la página web, pero Google aún podría indexar la página web y agregarla al índice de Google. ¿Tiene sentido?
Robots.txt Versus Robots Meta Tag
Mantener una página web fuera del índice de Google no era la intención de la solución Robots.txt. Hacer eso es el trabajo de Robots Meta Tag.
Por lo tanto, es bueno ver que WordPress adopta la Metaetiqueta Robots como la solución para bloquear la visualización de páginas web en los motores de búsqueda.
