Cloudflare блокирует Googlebot? Настройте правила, чтобы сохранить контент и поисковую видимость
Правила Cloudflare для ИИ-сканеров могут заблокировать Googlebot
Обновление Cloudflare и его влияние на работу поисковых роботов
Компания Cloudflare обновила систему идентификации и ограничения доступа ИИ-сканеров, что может привести к блокировке Googlebot на сайтах, где запрещено использование контента для обучения моделей искусственного интеллекта. Обновление было представлено в рамках второго Content Independence Day, который компания приурочила к годовщине программы защиты контента.
Теперь владельцы сайтов могут управлять поведением автоматизированных систем не через единый параметр «Block AI bots», а с помощью более детализированных правил, разделённых по функциональности. Новые настройки доступны всем пользователям, включая владельцев бесплатных аккаунтов. Дополнительный набор изменений вступит в силу с 15 сентября.
Три категории ИИ-сканеров
Cloudflare теперь классифицирует ботов на основе того, что именно они делают на сайте, а не по признаку «относятся к ИИ» или нет. Новая схема делит их на три типа:
Search — сканеры, индексирующие сайт для последующего предоставления ответов на запросы пользователей. Поведение этой группы связано с переходами по ссылкам и трафиком из поисковых систем.
Agent — роботы, действующие в реальном времени от имени пользователя, например, ChatGPT-User или браузерные агенты Gemini и Claude, работающие через Chrome.
Training — сканеры, извлекающие контент для обучения или дообучения моделей искусственного интеллекта.
Cloudflare пояснила, что операторы подобных систем должны использовать отдельные сканеры для каждой из описанных задач, чтобы веб‑сайты могли понимать цель посещения и самостоятельно решать, разрешить или заблокировать доступ конкретным ботам.
Изменения, вступающие в силу 15 сентября
Согласно заявлению компании, с 15 сентября вступят в силу два ключевых изменения. Во‑первых, для всех новых клиентов и для новых сайтов существующих пользователей роботы категорий Training и Agent будут по умолчанию блокироваться на страницах, где отображается реклама. Сканеры категории Search при этом останутся разрешёнными. В пресс-релизе Cloudflare также указано, что действующие клиенты бесплатного тарифного плана, не изменившие настройки к 15 сентября, будут автоматически переведены на эти параметры по умолчанию.
Второе изменение делает правила ещё строже. Cloudflare начнёт применять к многофункциональным сканерам самые жёсткие ограничения, которые действуют для любого из типов их поведения. Так, если один бот одновременно выполняет функции поиска и обучения, он будет заблокирован, если сайт запретил Training. В числе таких мультизадачных сканеров Cloudflare привела Googlebot, Applebot и Bingbot, так как они совмещают задачи поисковой индексации и сбора данных для ИИ‑моделей. Если на сайте раньше была включена настройка «Block AI bots», теперь она будет охватываться новыми правилами.
Владельцы сайтов могут просмотреть и при необходимости изменить параметры блокировки в панели управления Cloudflare в любое время до 15 сентября. Компания добавила, что будет заранее уведомлять клиентов об этих обновлениях.
Новые сигналы о том, как боты используют контент
Cloudflare также тестирует механизм передачи сигналов об использовании контента, расширяющий концепцию Content Signals в файле robots.txt. Новый сигнал поддерживает три варианта значений, расположенных по убыванию степени ограничений: immediate — не сохраняет никакие данные, reference — индексирует материал и предоставляет обратную ссылку (это значение теперь используется по умолчанию), и full — допускает суммирование и воспроизведение содержимого. Компания уточняет, что эти сигналы выражают предпочтения владельца сайта, но не действуют как прямой блокировщик.
Кроме того, Cloudflare изменила определение статуса «Verified» для ботов. Теперь наличие верификации не гарантирует автоматического доступа ко всем страницам: разрешение зависит от категории сканера. Боты, которые полностью воспроизводят контент, больше не могут быть верифицированы. Для пользователей корпоративного инструмента Enterprise Bot Management появилась новая функция — каталог BotBase, где отображается классификация каждого отслеживаемого бота и предоставляется идентификатор для копирования в правила безопасности.
Отчёт, сопровождающий обновление
Одновременно с объявлением изменений Cloudflare опубликовала отчёт, приуроченный к годовщине первого Content Independence Day. В нём компания отмечает, что запросы сканеров, связанных с ИИ‑обучением, теперь составляют большую часть трафика на её сети — по сравнению с примерно 20% весной 2025 года. Также ежесуточное количество обращений от ИИ‑агентов выросло более чем на 1700% за год. Эти данные основаны на внутренней статистике Cloudflare и не отражают общую картину по всему интернету.
Значение изменений для сайтов и поисковой индексации
Новое правило, вступающее в силу 15 сентября, связывает блокировку ИИ‑обучения с ограничением поискового сканирования на сети Cloudflare. Если владелец ресурса запрещает Training, чтобы защитить материалы от использования в обучающих моделях, он может непреднамеренно заблокировать и Googlebot. Так как фильтрация Cloudflare происходит на сетевом уровне, обойти её значительно сложнее, чем игнорировать инструкции в robots.txt, который носит рекомендательный характер. Потеря доступа Googlebot может привести к ухудшению индексации сайта и снижению его видимости в поисковой выдаче.
Ранее издатели, стремившиеся ограничить ИИ‑доступ, уже сталкивались с той же дилеммой: блокируя сканеры обучения, они часто параллельно перекрывали канал, обеспечивающий нахождение сайта в поиске. Это указывает на риски для SEO‑видимости при использовании жёстких ограничений.
Что необходимо сделать владельцам сайтов
Cloudflare рекомендует пользователям уточнить и при необходимости скорректировать свои настройки блокировок ИИ‑сканеров до 15 сентября, определившись, нужно ли сохранять разрешение для поисковых ботов. Новые правила затронут прежде всего те ресурсы, где ранее была активирована функция «Block AI bots», но настройки не обновлялись. Клиенты бесплатных планов, не внесшие изменения к указанной дате, будут автоматически переведены на новые параметры по умолчанию.
Компания также ожидает, что в течение следующего года операторы многофункциональных сканеров начнут разделять своих ботов по назначению, чтобы сайты могли применять выборочные разрешения. Насколько быстро крупные компании, такие как Google или Apple, внедрят такую практику, определит, станет ли обновлённая политика Cloudflare реальным инструментом выбора для владельцев сайтов или вынужденным компромиссом между защитой контента и сохранением поисковой видимости.
