Вывести сайт из «discovered» и «crawled – not indexed»: как качество контента и ИИ решают индексацию
Google объяснила разницу между статусами «discovered» и «crawled – not indexed» и влияние качества контента, включая материалы, созданные с помощью ИИ
Обсуждение в подкасте Search Off The Record
Представители Google Джон Мюллер и Мартин Сплитт в последнем выпуске подкаста Search Off The Record обсудили отчёт об индексации страниц в Google Search Console. В ходе беседы они затронули проблему качества контента, включая материалы, созданные нейросетями, и объяснили, как низкое качество таких текстов может привести к тому, что страницы вызывают недоверие у системы и не попадают в индекс. В отдельных случаях это отражается в отчёте как статус «crawled – currently not indexed» — страница была просмотрена, но не проиндексирована.
Позиция Google относительно ИИ-контента
Мюллер отметил, что Google не утверждает, будто весь контент, созданный с помощью ИИ, априори плох. Однако если текст явно выглядит искусственно сгенерированным, не несёт уникальности и не добавляет ценности, это может стать проблемой. По словам Мюллера, если «страница читается так, будто её мог написать кто угодно, и на ней нет ничего нового — зачем Google индексировать её?» Такое восприятие способствует тому, что сайт может столкнуться с общими проблемами качества, что в итоге отражается на индексации. Эксперт подчеркнул, что этот вопрос не новый — команда обсуждает его уже много раз.
Разъяснение различий между статусами индексации
Во время подкаста Мартин Сплитт уточнил у Джона Мюллера: «Если мы не посещали страницу, мы не можем добавить её в индекс. Но статус “crawled – currently not indexed” означает, что страница была просмотрена, но не проиндексирована, и причины могут быть разными. Можно ли сказать, что это часто или хотя бы иногда связано с проблемами качества?». На это Мюллер ответил: «Иногда. Если наши системы всерьёз обеспокоены качеством сайта, они могут сократить количество индексируемых страниц. Когда у нас возникают серьёзные сомнения в общей качественной составляющей ресурса, нет смысла тратить много времени на его обработку. В результате мы реже сканируем и реже индексируем. Тогда вы можете заметить статусы “crawled not indexed” или “discovered not indexed”. Фактически система говорит: мы знаем об этой странице, и когда будем удовлетворены её качеством, вновь рассмотрим возможность индексации».
Когда технические решения не помогают
Мюллер подчеркнул, что подобные ситуации не стоит воспринимать как чисто техническую проблему, требующую исправления. «Это не тот случай, когда вам нужно чинить техническую ошибку, из-за которой страница временно не индексируется. Напротив, если вы замечаете закономерность — Google не индексирует значительное количество страниц без очевидных технических причин, стоит сделать шаг назад и переоценить общее качество контента», — сказал он.
Совет по пересмотру качества сайта
Эксперт признал, что объективно оценить собственный сайт сложно: «Зачастую сайт — как ваше дитя, и, конечно, вы считаете его лучшим. Но если попробовать взглянуть на него глазами человека, который не связан с проектом, это может открыть идеи для улучшений». Мюллер добавил, что если значительная часть сайта состоит из автоматически созданных текстов, которые раньше могли работать, сейчас пользователи (и поисковая система) могут увидеть, что материал не несёт уникальной пользы. «Это не значит, что весь ИИ-контент плох, — отметил он. — Но иногда встречаются сайты, о которых думаешь: “Любой мог бы написать это. Такой контент ничего не даёт.”»
Видео и дискуссия
Полную запись выпуска можно посмотреть в официальном видео, начиная с отметки 20:32. Обсуждение темы продолжается в профессиональных сообществах, в частности на LinkedIn.
