77. Crawl Budget

  Recordad que me podéis encontrar en Seo Profesional el Podcast Podéis descargar  la APP gratuita y sin publicidad en: Que Es Crawl Budget El tiempo que google pasa en tu página web. Dependido de la accesibilidad de la web, autoridad y velocidad Google dará un Crawl budget menor o superior.   Beneficios para el SEO Está estrechamente relacionado que las páginas con más trafico son las páginas que más visita el BOT o el Crawler de Google..   ¿Se puede indicar a Google por dónde tiene que pasar? y debemos hacerlo A través de la arquitectura, la profundidad de los enlaces con etiquetas Follow nofollow. Con index no index   Posibles problemas de rastreo: * DNS * SERVIDOR * Generación de Urls dinámicas * Tiempo de espera agotado * Cabeceras incompletas * Sin respuesta * Robots.txt * Flash, JS   Optimizar el Crawl budeget Tener una arquitectura correcta y clara. Utilizar el enlazado interno de forma correcta Evitar errores 404. Excluir las páginas que no queremos rastrear a través del fichero robots.txt Páginas eliminadas pero no borradas del Sitemap Páginas no index pero no excluidas Paginaciones infinitas por ejemplo el Calendario Detectar el número de páginas que están recibiendo tráfico orgánico. Hacer uso adecuado de los metadatos y los atributos noindex & nofollow. No tener contenido duplicado, el Bot es capaz de  detectar si se está ofreciendo el mismo contenido en otras páginas de nuestro sitio y darnos una frecuencia de rastreo inferior al detectar el mismo contenido en varias páginas dentro de nuestro sitio. El bloquear una página a través del fichero robots.txt puede ser un tiempo muy preciado que la araña del buscador no perderá en entrar en esa página y rastrearla. Es necesario  tener un mapa web en formato XML (Sitemap)  con toda la lista de URL que queremos indexar y las más importantes. El Sitemap tiene un límite de 50.000 urls.   https://www.google.com/webmasters/tools/googlebot-report Desde Search Console podemos limitar la frecuencia de rastreo.