Google обновила документацию Googlebot, уточнив лимиты на размер файлов
Изменения в структуре документации о лимитах размера файлов
Google внесла обновления в свою документацию по Googlebot, чтобы уточнить информацию о лимитах размера файлов. Теперь сведения о стандартных ограничениях перемещены со страницы Googlebot в отдельный раздел общей документации о краулерах Google. Одновременно Google обновила раздел, посвящённый Googlebot, сделав его более конкретным в отношении собственных ограничений этого краулера.
В журнале изменений документации Google указала, что обновление представляет собой двухуровневое уточнение. Лимиты по умолчанию, которые ранее находились на странице Googlebot, теперь размещены в документации по инфраструктуре краулинга. Google отметила, что исходное местоположение было не вполне логичным, поскольку эти ограничения распространяются на все краулеры и fetcher‑модули компании, а не только на Googlebot.
После переноса информации о базовых лимитах в более общий раздел Google обновила страницу Googlebot, чтобы точно описать специфические для него ограничения размера файлов. В документации по инфраструктуре указано, что общий лимит для краулеров и fetcher‑модулей Google составляет 15 МБ. На странице Googlebot отдельно приведены цифры 2 МБ — для HTML и поддерживаемых текстовых форматов, и 64 МБ — для PDF‑файлов, обрабатываемых при обходе для Google Search.
Таким образом, обзор по краулинговой инфраструктуре описывает стандартное значение лимита, действующее для всех систем Google, тогда как страница Googlebot конкретизирует ограничения, применяемые в контексте поиска. При этом каждое встроенное в HTML‑код обращение к ресурсам, таким как CSS или JavaScript, выполняется отдельно.
Предыстория и значение обновления
Обновление логично продолжает тенденцию, которую Google развивает с конца 2025 года. В ноябре компания вынесла основную документацию по краулингу на отдельный сайт, отделив её от сервиса Search Central. Тогда в Google объяснили, что инфраструктура краулинга используется не только для поиска, но также для других продуктов — Shopping, News, Gemini и AdSense.
В декабре последовали дополнительные переносы документации, в том числе разделы о фасетной навигации и оптимизации бюджета краулинга. Текущее обновление является следующей стадией этой реорганизации, направленной на упорядочение технических данных о работе всех краулеров Google.
Отдельно стоит отметить, что лимит размера файла 15 МБ впервые появился в официальных документах Google в 2022 году, когда его добавили на страницу справки по Googlebot. Тогда Джон Мюллер подтвердил, что данное ограничение не является новым и действует уже много лет, просто ранее не было задокументировано публично.
Теперь при планировании бюджета краулинга или устранении проблем с индексированием контентных страниц SEO‑специалисты могут ориентироваться на обновлённые источники информации. Документация по инфраструктуре указывает 15 МБ в качестве лимита по умолчанию для всех краулеров и fetcher‑модулей, а страница Googlebot конкретизирует собственные границы для HTML и PDF. При этом журнал изменений Google не уточняет, каким образом эти значения соотносятся между собой.
Последствия и будущие обновления
Перенос описаний стандартных ограничений в общую документацию по краулинговой инфраструктуре, а специфических данных — на страницу Googlebot отражает общее стремление компании к более чёткой структуризации технических справочных материалов. Теперь базовые значения по умолчанию закреплены в документации о краулерах, а лимиты, касающиеся непосредственно Googlebot, остались в его отдельном разделе.
Обновление также указывает на то, что в ближайшие месяцы на сайте документации по инфраструктуре краулинга, вероятно, появятся новые дополнения. Разделение информации по принципу «общие стандарты» и «продуктовые особенности» позволит Google проще добавлять сведения о новых краулерах и fetcher‑модулях по мере их появления в экосистеме компании.
