¿Qué es el crawl budget?

¿Por qué las clasificaciones siguen siendo las mismas?

Publicó páginas nuevas, realizó actualizaciones y aún no se mueve nada en la búsqueda. Google simplemente no está captando las cosas lo suficientemente rápido. Esto es frustrante y es un problema que he visto en muchos sitios.

La cuestión es que Google no rastrea todo lo que hay en su sitio todos los días. Tiene límites. Y si esos límites son devorados por las páginas equivocadas, su contenido importante se quedará esperando.

Voy a explicarle cómo funciona realmente el presupuesto de rastreo, qué lo elimina y qué puede hacer al respecto.

¿Qué significa realmente el presupuesto de rastreo?

El presupuesto de rastreo es la cantidad de URL que Google rastrea en su sitio dentro de un período determinado. Dos cosas le dan forma. El primero es el límite de velocidad de rastreo, la rapidez con la que Google puede recuperar sus páginas sin estresar su servidor.

Los tiempos de carga lentos, los tiempos de espera y los errores del servidor hacen que esto baje. El segundo es la demanda de rastreo, cuánto quiere Google rastrearte. Los sitios que son populares, novedosos y de alta calidad atraen más atención.

Un servidor rápido por sí solo no obligará a Google a rastrear más si la demanda es baja. Una cosa que vale la pena aclarar: no existe una cuota fija de páginas por día que puedas solicitar o negociar. Y noindex no guarda el rastreo, Google aún tiene que buscar la página para leer la directiva.

Hay una cuota si solicita manualmente un nuevo rastreo o una nueva indexación desde Google Search Console.

Donde se desperdicia el presupuesto de rastreo

Aquí es donde la mayoría de los sitios tienen filtraciones. La raíz del problema es casi siempre la inflación de URL, demasiadas URL rastreables que no añaden ningún valor real. Una navegación facetada es un clásico culpable.

Las combinaciones de filtrado y clasificación en un sitio de comercio electrónico pueden generar miles de URL casi idénticas. Agregue parámetros de seguimiento e ID de sesión a la combinación y verá una pérdida masiva de rastreo en páginas que nunca deberían indexarse. Más allá de los parámetros, el contenido duplicado es otro gran problema.

Páginas aptas para imprimir, versiones HTTP y HTTPS de la misma URL, variantes de barra diagonal, duplicados móviles y de escritorio. Cada uno es un rastreo desperdiciado. Los resultados de búsqueda internos son otra trampa.

Generan URL infinitas, rara vez tienen valor de indexación y pueden expandirse sin límite si se lo permites. Luego está el aspecto técnico: cadenas de redireccionamiento, enlaces internos rotos, 404 suaves (páginas que devuelven un estado 200 pero que están esencialmente vacías) y páginas de productos descontinuados que muestran plantillas en blanco. Google gasta presupuesto de rastreo en todo esto.

Si sus registros muestran que los robots siguen muchos de estos patrones mientras que las páginas clave se rastrean con poca frecuencia, ese es su problema.

Cuando esto realmente importa

El presupuesto de rastreo no suele ser un problema para sitios pequeños y estables. Si tiene unos cientos de páginas que se indexan rápidamente, no pierda tiempo aquí. Empieza a importar en sitios grandes como comercio electrónico, noticias, mercados y plataformas UGC.

Cualquier cosa con miles de URL. También es importante después de una migración, cuando las redirecciones y los cambios de enlaces internos aumentan temporalmente la carga de rastreo. Las señales más claras de que tiene un problema de presupuesto de rastreo: las páginas clave tardan en indexarse ​​o actualizarse, Google Search Console muestra grandes grupos de “Descubridos”.

Actualmente no indexado”, o sus archivos de registro muestran un intenso tráfico de bots en redireccionamientos, errores y URL de parámetros.

como solucionarlo

Empiece por comprender hacia dónde se dirige el rastreo. Puede extraer registros del servidor durante varias semanas y segmentarlos por código de estado, directorio y plantilla de URL. Combínelo con el informe de estadísticas de rastreo de Search Console.

Para ayudar a ver qué porcentaje de rastreo llega a sus páginas prioritarias en comparación con todo lo demás. Podrías comprar Screaming Frog y realizar rastreos y auditorías mensuales en tus sitios para encontrar todos estos errores. Es muy recomendable y merece la pena.

A partir de ahí, las soluciones son sencillas. Limpia tus enlaces internos. Las páginas prioritarias deben ser de fácil acceso sin tener que recorrer primero capas de redireccionamientos o páginas de bajo valor.

Enlácelos desde páginas de alta autoridad en su sitio. Reducir la inflación de URL. Robots.txt es útil para bloquear trampas de rastreo que no tienen valor de indexación, como resultados de búsqueda interna y filtrar u ordenar combinaciones de URL.

No utilice robots.txt como truco para cambiar el presupuesto; Úselo para mantener a los robots fuera de lugares donde no deberían estar. Arregla tu canonicalización. Cada grupo duplicado debe apuntar claramente a una URL preferida.

Las redirecciones deben resolverse en un solo paso, no en cadenas. Devuelve códigos de estado adecuados. El contenido discontinuado debe devolver 410 o 404, no 200.

Los Soft 404s desperdician rastreos y envían señales contradictorias. Mantenga limpio su mapa de sitio XML. Incluya únicamente URL canónicas indexables que devuelvan 200.

Sin redirecciones, sin errores. Mejorar el rendimiento del servidor. Los tiempos de respuesta consistentes y el TTFB bajo respaldan tasas de rastreo más altas.

Reduzca los errores 5xx y las respuestas 429. Después de realizar cambios, supervise sus registros para detectar cambios en la distribución de rastreo por plantilla. Vea las estadísticas de rastreo y los informes de cobertura de Search Console.

Para cambios significativos como robots.txt o reglas de facetado, implementelos en etapas y establezca criterios de reversión claros si las páginas clave comienzan a desaparecer del descubrimiento. El presupuesto de rastreo no es una preocupación diaria para la mayoría de los sitios.

Pero si está ejecutando algo grande, se encuentra en una fase posterior a la migración o sus páginas importantes están en el limbo mientras Google rastrea la basura. Vale la pena dedicar tiempo a solucionarlo. El objetivo es simple: asegurarse de que Google rastree las páginas que importan.

Preguntas frecuentes

Si tengo un enlace sin “nofollow”, ¿eso significa que ahora gasté 100 enlaces en mi presupuesto de rastreo en lugar de solo uno, ya que rastreará ese mismo enlace una vez en cada página?

Tener un enlace “dofollow” (sin nofollow) en 100 páginas no multiplica el uso del presupuesto de rastreo. El presupuesto de rastreo se trata de las URL únicas que visita el robot de Google, no de cuántas veces encuentra un enlace. Si la misma URL aparece como un enlace dofollow en todas las páginas de su sitio, el robot de Google rastrea el destino una vez.

Es lo suficientemente inteligente como para reconocer la misma URL sin importar cuántas veces aparezca.

¿Corregir mis errores 3xx y 4xx da como resultado un aumento inmediato en la clasificación?

No tendrá un efecto inmediato en búsqueda, pero sí a largo plazo. Si dejas los errores 3xx y 4xx que tienes ahora mismo y sigues trabajando en búsqueda le gustará nadar contra corriente. O tus esfuerzos de búsqueda no tendrán ningún efecto o los resultados no serán tan buenos.

Definir el aspecto técnico antes de centrarse en la producción masiva de contenidos es un enfoque más saludable.

Preguntas frecuentes

¿Qué problema de presupuesto de rastreo debería solucionar primero?

Comience con páginas que desperdician rastreos a escala, como URL duplicadas, páginas de parámetros, cadenas de redireccionamiento, archivos ligeros y páginas bloqueadas de enlaces internos útiles.

¿Importa el presupuesto de rastreo para los sitios web pequeños?

Importa menos en sitios pequeños, pero el desperdicio de rastreo aún puede ocultar páginas importantes cuando el sitio tiene duplicaciones técnicas, enlaces internos débiles o señales de indexación confusas.

¿Cómo sé si Google está rastreando las páginas equivocadas?

Compare los datos de rastreo de Search Console, los registros del servidor, las URL de mapas del sitio, las páginas indexadas y las páginas de ingresos importantes para ver si la actividad de rastreo coincide con las prioridades comerciales.

¿Puede un mapa del sitio arreglar el presupuesto de rastreo por sí solo?

No.

Un mapa del sitio ayuda al descubrimiento, pero los enlaces internos limpios, las señales canónicas, las redirecciones, las reglas de los robots y la calidad de la página determinan si la actividad de rastreo resulta útil.