Google вводит консервативный лимит сканирования — как ускорить сайт и не потерять индексацию
Google обновила документ «Optimize Your Crawl Budget»: все сайты начинают с консервативного лимита сканирования
Обновление справочного документа и цель изменений
Компания Google внесла обновления в документ Optimize your crawl budget, указав, что изменения направлены на «повышение ясности, единообразие терминологии и улучшение структуры изложения». Среди обновлений особенно выделяется новый пункт, где Google отмечает: «Каждый сайт начинается с одного и того же стандартного, консервативного лимита пропускной способности сканирования» (crawl capacity limit).
Обновленный материал включает множество изменений, однако они в основном не затрагивают базовые принципы того, как Google осуществляет сканирование сайтов. Основное внимание было уделено уточнению формулировок и улучшению стиля представления информации. В компании пояснили, что цель обновления — «сделать документацию более понятной и обеспечить единообразное использование технических терминов (например, crawl capacity limit) на всех страницах».
Новые формулировки, добавленные в руководство
В документе появились дополнительные абзацы, уточняющие, как Google оценивает спрос на сканирование и регулирует лимиты пропускной способности. Среди новых строк упоминаются следующие утверждения:
«Каждый сайт начинается с одного и того же стандартного, консервативного лимита пропускной способности сканирования. Если возникает потребность в большем объёме сканирования и при этом сайт остаётся стабильным, системы Google автоматически корректируют этот лимит со временем».
Также добавлено пояснение: «Для Googlebot спрос на сканирование варьируется в зависимости от размера сайта, частоты обновлений, качества страниц и релевантности по сравнению с другими сайтами. Основные факторы, на которые вы можете повлиять, следующие».
В числе уточнений отмечено и то, как распределяется нагрузка между разными краулерами: «Хотя у каждого краулера свой спрос на сканирование, лимит пропускной способности общий для всех краулеров. Это означает, что высокий спрос одного краулера может уменьшить доступную пропускную способность для других».
Рекомендации по повышению эффективности сканирования
Google также обновила разделы, касающиеся технических методов, которые помогают улучшить взаимодействие с ботами поисковой системы. Среди рекомендаций в документе теперь присутствуют следующие советы:
«Улучшайте скорость загрузки: оптимизируйте время отклика сервера и используемые ресурсы, чтобы страницы загружались быстрее».
«Используйте HTTP-кеширование: поддерживайте ответ HTTP 304 (Not Modified). Если страница не изменилась с момента последнего сканирования Google, возврат кода 304 сообщает системе, что можно использовать кэшированную версию, экономя пропускную способность и ресурсы вашего сервера».
Объём изменений и источники
В обновлённом документе Google отмечает, что подобных уточнений и корректировок значительно больше. Это не только добавленные формулировки, но и обновления стиля, терминов и пояснений для лучшего понимания принципов оптимизации бюджета сканирования. На странице изменений приведено множество примеров «до и после», демонстрирующих, как улучшилось изложение технической информации.
Обсуждение обновления происходит на платформе X, где пользователи делятся реакциями и анализируют обновлённые разделы документации. Автор иллюстрации к материалу — Лиззи Сассман (Lizzi Sassman).
