Seguimiento de la indexación de una web en Google

Lo que conviene saber antes de montar algo parecido

Google trata por separado dos cosas que es muy fácil confundir:

• Consultar el estado de una dirección. Eso sí tiene vía oficial (la API de inspección de direcciones), con un tope de 2.000 consultas al día por sitio y 600 por minuto. Se automatiza sin problema.
• Pedir que la indexe. No hay vía oficial para el contenido normal: la «Indexing API» solo acepta páginas de ofertas de empleo o retransmisiones. Queda el botón de Search Console, a mano, unas diez o doce al día.

La herramienta hace lo que sí se puede hacer: diagnosticar, preparar la cola de lo que toca pedir hoy y llevar el registro de lo pedido. El clic lo da una persona.

Cómo funciona

1. Lee el mapa del sitio de una web y saca todas sus direcciones. Se interpreta con una biblioteca segura, porque el mapa se descarga de un servidor remoto y no debe fiarse.
2. Pregunta a Google el estado de cada una, con un permiso concedido por la propietaria de la web.
3. Escribe todo en una hoja de Excel por proyecto, con estado, cobertura, último rastreo, fecha de solicitud y fecha de indexación.
4. Prepara la cola del día, ordenada por tipo de página.

El «stack» (las herramientas con las que está hecha) es todo estándar: Python, la librería oficial de Google, una hoja de Excel y un permiso de lectura. Para reenviar mapas del sitio hace falta un permiso de escritura; para consultar, basta el de lectura.

Qué aprendimos

Cuatro tropiezos que ahorran una tarde a quien lo repita:

• La propiedad hay que escribirla exactamente como está dada de alta. Las hay de dominio y de prefijo de dirección. Escrita de la otra forma, Google contesta «no eres el dueño de este sitio» y parece un problema de permisos que no existe.
• Los permisos concedidos se miran en el token guardado, no preguntando a la librería, que repite los que le pasas, te los hayan dado o no. El fallo aparecía después como un error 403 sin explicación.
• «Google no reconoce esta URL» no significa que la página esté mal. Suele significar que Google se quedó con una foto vieja del mapa del sitio. Pedir una por una no arregla nada; sí sirve reenviar el mapa, que es el único empujón masivo que da la API.
• El campo «indexed» de la API de mapas está obsoleto: devuelve 0 en todos los sitios, siempre. No significa nada.

Límites honestos

• Está parado desde finales de septiembre. Se aparcó por decisión propia: funciona, pero no se usa de forma recurrente, así que no lo presentamos como una herramienta en uso.
• La indexación depende de Google y de la calidad de lo publicado; la herramienta mide, no garantiza.
• No se publican capturas: las salidas contienen direcciones de webs de clientes.