Google 26 октября обновил руководство по борьбе со спамом, добавив рекомендации по индексированию страниц, предназначенных для обмена по ссылке, совместной работы или выполнения утилитарных задач. Владельцам платформ предложено по умолчанию использовать для такого контента директиву noindex либо блокировать его сканирование через robots.txt, а также отслеживать неожиданный рост индексируемых страниц в Search Console.
Новый раздел называется «Индексируйте только контент, предназначенный для поиска». Согласно журналу изменений Google, дополнение касается «блокировки индексирования контента, доступного по ссылкам для общего доступа».
Какие страницы затрагивают рекомендации
Google предлагает сервисам оценивать, должен ли пользовательский контент находиться через поисковые системы или он предназначен только для прямого доступа по ссылке. Речь идёт о страницах для обмена, сгенерированных результатах и интерактивных инструментах.
Если страницы создаются для прямой передачи другим пользователям, совместной работы или использования в качестве инструмента, а не для публичного поиска, Google рекомендует применять noindex через метатег robots или HTTP-заголовок X-Robots-Tag. Альтернативой в руководстве названо закрытие сканирования таких URL в robots.txt по умолчанию.
Одновременно Google расширил вступительную формулировку о рисках злоупотреблений на хостинговых платформах. Теперь в ней отдельно упоминаются инструменты, позволяющие пользователям публиковать общие страницы, сгенерированный контент и веб-приложения. Также в тексте уточнено, что спамеры могут создавать большое число «страниц или сайтов», тогда как раньше речь шла только о сайтах.
Предыдущая версия руководства, обновлённая 10 декабря 2025 года, уже содержала совет закрывать от индексации публикации новых пользователей, пока они не сформируют репутацию на платформе. Эта рекомендация не изменилась.
Ограничения robots.txt и noindex
В документации Google по robots.txt указано, что URL, запрещённый в этом файле, всё равно может попасть в индекс, если на него ссылаются другие сайты. В таком случае Google не сканирует содержимое страницы, но в результатах поиска могут отображаться сам URL и, возможно, текст ссылок на него — без описания страницы.
При этом правило noindex действует только в том случае, если robots.txt не блокирует страницу. Если сканер не может получить доступ к URL, он не увидит и директиву noindex.
На странице Google «Control what you share», обновлённой 21 октября, robots.txt указан как инструмент для изображений и видео, а noindex — как правило, применимое ко всем типам контента.
27 июля было подтверждено, что путь для публикации ссылок Claude был закрыт директивой Disallow в robots.txt. Кроме того, страницы общего доступа возвращали значение none в HTTP-заголовке X-Robots-Tag. Согласно документации Google по метатегам robots, значение none равнозначно одновременному применению noindex и nofollow. При этом неизвестно, что именно Google видел при первоначальном обнаружении этих ссылок.
Мониторинг в Search Console
Обновлённое руководство рекомендует подтвердить права на сайт или поддомен в Search Console, чтобы платформа получала уведомления о ручных мерах или проблемах безопасности.
Google также советует регулярно проверять отчёты «Индексирование страниц» и «Эффективность в поиске» на предмет неожиданного роста числа проиндексированных страниц, показов или запросов, не соответствующих назначению платформы.
В раздел мониторинга добавлен отдельный пункт о контроле создания и индексирования страниц на уровне платформы. В частности, предлагается настроить уведомления о следующих ситуациях:
- резком увеличении количества новых опубликованных публичных страниц;
- ситуациях, когда небольшое число пользователей создаёт значительную долю URL, доступных для индексации.
По данным журнала изменений Google, обновление от 26 октября должно помочь платформам не допускать в индекс пользовательские страницы, не предназначенные для поиска, и раньше обнаруживать спам.
В отчёте «Индексирование страниц», на который ссылается новая рекомендация, предусмотрен статус «Проиндексировано, но заблокировано в robots.txt». В справке Google для этого статуса рекомендуется убрать блокировку и использовать noindex. URL для общего доступа, которые попали в индекс несмотря на запрет в robots.txt, могут отображаться в Search Console с этим статусом.
