Google обновила документацию Googlebot, уточнив лимиты на размер файлов
Изменения в документации Googlebot и перенос информации о лимитах
Компания Google обновила документацию по работе Googlebot, добавив более точные сведения о лимитах размера файлов и разделив общие и специфические ограничения для разных типов инструментов. Изменение заключается в переносе информации о стандартных лимитах файлов из страницы Googlebot в более широкую документацию по всем краулерам компании. Таким образом, теперь эти данные отражают общие правила, применяемые ко всем системам сканирования и загрузки данных Google. На странице Googlebot обновлены конкретные ограничения, действующие именно для этого краулера.
Подробности об обновлениях и уточнении лимитов
Согласно журналу изменений в документации, обновление представляет собой уточнение, состоящее из двух частей. Лимиты размера файлов, которые ранее были указаны на странице Googlebot, теперь размещены в разделах, посвящённых инфраструктуре краулинга. В компании отметили, что прежнее расположение информации было не совсем логичным, так как указанные лимиты относятся не только к Googlebot, но и к остальным краулерам и загрузчикам. После переноса данных Google также обновила страницу Googlebot, добавив точное описание ограничений для конкретных типов контента.
В обновлённых документах по инфраструктуре краулинга указан стандартный лимит в 15 МБ для всех краулеров и загрузчиков Google. При этом страница Googlebot теперь сообщает о лимите в 2 МБ для поддерживаемых текстовых и HTML-файлов и 64 МБ для PDF-документов при сканировании для Google Search. Обзор инфраструктуры краулинга отражает общий лимит для всех инструментов компании, тогда как страница Googlebot детализирует ограничения, действующие исключительно для поиска Google. Каждый ресурс, на который ссылается HTML-страница — включая CSS и JavaScript, — загружается отдельно.
Причины изменений и контекст обновления
Это обновление вписывается в последовательную стратегию Google по переработке и уточнению документации, начатую в конце 2025 года. В ноябре того года компания вынесла основные материалы по инфраструктуре краулинга в отдельный сайт, отделив их от Search Central. Такое решение объяснялось тем, что системы краулинга Google обслуживают не только поиск, но и другие продукты, включая Shopping, News, Gemini и AdSense. В декабре последовало добавление новой документации, включающей рекомендации по фасетной навигации и оптимизации краулингового бюджета.
Текущее обновление продолжает этот процесс систематизации. Лимит в 15 МБ впервые был зафиксирован в документации в 2022 году, когда Google добавила его в справочную страницу Googlebot. Тогда Джон Мюллер подтвердил, что это ограничение не являлось нововведением — оно применялось уже в течение нескольких лет, однако только теперь получило официальное отражение. Нынешние уточнения направлены на то, чтобы разработчики и специалисты по SEO могли чётко понимать, где искать актуальную информацию о различных ограничениях, зависящих от инструмента и типа контента.
Практическое значение обновления для специалистов
Теперь при планировании краулингового бюджета или диагностике проблем с индексацией страниц с насыщенным контентом важно учитывать, что документация Google содержит различные значения лимитов в зависимости от источника. В материалах по инфраструктуре краулинга указано, что общий лимит для всех инструментов составляет 15 МБ, тогда как на странице Googlebot приведены данные о лимите 2 МБ для HTML и поддерживаемых текстовых форматов и 64 МБ для PDF. При этом в журнале изменений не указано, как именно эти показатели соотносятся между собой. Таким образом, общесистемные ограничения теперь размещены в документации по инфраструктуре краулинга, а специфика работы Googlebot отражена на его отдельной странице.
Перспективы дальнейших изменений
Организация документации, предпринятая Google, указывает на то, что в ближайшие месяцы можно ожидать дополнительных обновлений сайта, посвящённого инфраструктуре краулинга. Разделение общих лимитов и продуктово-ориентированных материалов позволит компании оперативнее добавлять сведения о новых краулерах и загрузчиках по мере их внедрения. Такой подход, по мнению Google, обеспечивает большую прозрачность и точность при описании технических характеристик, применимых к различным сервисам компании, независимо от того, используется ли краулер в поиске, рекламе или других продуктах.
