Google: директива Cloudflare Content Signals в robots.txt не оказывает никакого эффекта
Заявление Джона Мюллера о Content Signals
Представитель Google Джон Мюллер заявил, что новая директива Content Signals в файле robots.txt, разработанная Cloudflare в прошлом году, «не оказывает никакого эффекта для любых поисковых роботов или LLM». По его словам, её использование «лишь добавляет избыточность и осложняет дальнейшее обслуживание файла robots.txt». Мюллер также отметил, что, насколько ему известно, ни один из существующих поисковых роботов или языковых моделей (LLMs) не использует директиву content-signal.
Контекст обсуждения и заявление на Reddit
Комментарий был опубликован Джоном Мюллером на платформе Reddit в ответ на вопрос: «Проверяю, действительно ли заголовки Content-Signal и файл llms.txt помогают при дезамбигуации сущностей Person». Отвечая в обсуждении, Мюллер написал:
«Полагаю, стоит уточнить несколько вещей. Google не использует файлы llms.txt или llms-author.txt. Мне не известно ни об одном другом поисковом краулере или LLM, который подтвердил бы использование этих файлов (за исключением, возможно, SEO-инструментов). Насколько мне известно, ни один краулер или LLM не применяет директивы „content-signal“ в robots.txt. Это изобретение одной CDN, и, насколько я понимаю, оно не имеет никакого эффекта для любых краулеров или LLM. Использование таких директив лишь загромождает файл robots.txt и создаёт лишние трудности при его поддержке. Вы можете добавить туда и другие произвольные строки — краулеры используют только те директивы, которые им поддерживаются, а остальные игнорируют».
Изменения Cloudflare и их влияние на владельцев сайтов
Как ранее сообщалось, Cloudflare установила крайний срок — 15 сентября 2026 года, после которого начнут действовать новые значения по умолчанию для трёх категорий классификации контента. Для всех новых доменов, подключающихся к Cloudflare, категории Training и Agent будут блокироваться по умолчанию для страниц, на которых показывается реклама, в то время как категория Search останется разрешённой. По состоянию на январь 2026 года Cloudflare используется примерно на 21,3% всех сайтов в интернете. Поэтому владельцам сайтов рекомендуется заранее убедиться, что настройки соответствуют их намерениям. Как отметил автор исходного обсуждения, он лично уже проверил свои параметры в Cloudflare до указанного срока.
Позиция Google и отсутствие поддержки директивы
На основании комментариев Джона Мюллера можно сделать вывод, что Google на данный момент не учитывает директиву Content Signals в robots.txt и, по всей видимости, не планирует внедрять её поддержку в будущем. Таким образом, поисковая система продолжает игнорировать подобные указания, рассматривая их как лишний код без функционального значения.
Обсуждение темы продолжается на Reddit.
