Возьмите контроль над Applebot: настройте nosnippet, crawl-delay и X‑Robots‑Tag, чтобы защитить контент и помочь Siri
Apple обновила документацию Applebot, добавив разделы об использовании данных для моделей ИИ и Siri
Изменения в документации Applebot от 8 июня 2026 года
Apple внесла изменения в документацию для своего поискового бота Applebot, чтобы включить в неё сведения о краулинге и использовании данных в рамках инициатив по искусственному интеллекту. Обновление документа от 8 июня 2026 года также добавило новые разделы, касающиеся параметров nosnippet, обработки crawl-delay, заголовков X-Robots-Tag, а также вопросов доступности и ряда других уточнений.
Новый раздел о применении данных Applebot для ИИ
В обновлённом документе About Applebot появился новый раздел, посвящённый искусственному интеллекту. Он гласит: Applebot crawled data may be used to provide additional context and up-to-date content when AI models are used to generate output for display in Apple products and services. For example, answering broad world knowledge questions in Siri and Search that may include links to sources and websites used to help generate the answer. Web publishers can opt out of their content being used in these broad world knowledge answers by applying the nosnippet meta tag to specific content.
Таким образом, Apple уточняет, что собранные Applebot данные могут использоваться для улучшения ответов Siri и Поиска, обеспечивая актуальный контент с указанием источников. Веб-мастера при желании могут запретить использование конкретных материалов, добавив мета-тег nosnippet.
Дополнения, связанные с меткой nosnippet
Помимо обновлений о применении ИИ, компания внесла дополнительные пояснения о контроле с помощью метки nosnippet. В частности, актуализированные разделы документа содержат следующее: Even if you disallow Applebot-Extended and tag website content with the nosnippet meta tag, your website instructions may still allow Applebot to crawl your webpages. Your content will remain discoverable through Spotlight, Siri, and Safari, as well as other system-wide features on Apple devices. Apple will not use data tagged nosnippet as additional context and up-to-date content when AI models are used to generate output for display in Apple products and services.
Это означает, что даже при применении метки nosnippet и запрете расширенного краулинга Applebot-Extended бот продолжит индексировать страницы для обеспечения работы системных функций устройств Apple. Однако данные, отмеченные nosnippet, не будут использоваться для генерации ответов моделей ИИ.
Добавление раздела о crawl-delay
В обновлении также появился новый раздел, касающийся задержки краулинга. Компания отметила, что Applebot does not follow crawl-delay. В документе поясняется, что Applebot разработан с учётом эффективности и способен автоматически регулировать частоту обращения к сайту, чтобы минимизировать нагрузку на серверы владельцев сайтов. При замедлении отклика или возникновении ошибок Applebot снижает частоту запросов. Кроме того, для снижения избыточного сканирования Apple кэширует уже собранный контент. Компания заявляет, что отбор контента, не требующего повторного обхода, помогает сократить инфраструктурные расходы и делает интернет более эффективным.
Поддержка X-Robots-Tag и указание директив на серверном уровне
Apple также внедрила в документ новый раздел о поддержке HTTP-заголовков X-Robots-Tag. В нём указано: Using the X-Robots-Tag HTTP header Applebot also supports indexing directives delivered via the X-Robots-Tag HTTP response header. This is useful for non-HTML resources (such as PDFs or images) where meta tags can’t be used, or when you want to apply directives at the server level. To apply a directive to Applebot: X-Robots-Tag: applebot: nosnippet.
Таким образом, владельцы сайтов могут управлять индексированием не только HTML-страниц, но и других типов файлов, таких как PDF-документы и изображения, задавая необходимые директивы на уровне ответа сервера.
Обозначение закрытого контента и вопросы доступности
В обновлённой версии документа появился и новый раздел, посвящённый работе с платным или ограниченным контентом. В нём указано: Applebot supports the schema.org isAccessibleForFree property to identify pages that are behind a paywall, metered access, or subscription. Add the property to your page-level structured data in JSON-LD.
Дополнительно в документе приведено пояснение: Pages marked isAccessibleForFree: false are eligible to appear in search results, but Applebot will not use that content as additional context when AI models are used to generate output for display in Apple products and services. This signal applies at the page level. Section-level markup using hasPart is not supported. To opt out of having your content used to train Apple’s foundation models, use Applebot-Extended described in the next section.
Таким образом, страницы с параметром isAccessibleForFree: false могут отображаться в поисковой выдаче, однако их материалы не будут использоваться для обогащения ответов ИИ. Разметка применяется на уровне всей страницы, а не отдельных разделов. Для полного отказа от использования контента при обучении базовых моделей Apple предусмотрен механизм Applebot-Extended.
Общие итоги обновления документа и реакция сообщества
Это — основные изменения, внесённые Apple в документацию Applebot. Обновлённое руководство отражает стремление компании яснее обозначить, как краулер взаимодействует с контентом сайтов в контексте развития функций искусственного интеллекта, включая Siri и поиск. Обсуждение обновлений и их последствий для разработчиков и владельцев сайтов активно ведётся на платформе X.
