Мартин Сплитт и Джон Мюллер из Google выпустили эпизод подкаста Search Off the Record «PDF-файлы в Поиске: индексация, ИИ и подводные камни». В нём они объяснили, как Google обрабатывает PDF при сканировании и индексации, а также подтвердили, что такие документы могут участвовать в обычной поисковой выдаче, AI Overviews и AI Mode.
PDF представляет собой бинарный контейнер, а не простой текстовый формат, как HTML. В процессе индексации Google применяет конвертер, который создаёт HTML-представление PDF. Это позволяет внутренним системам поиска обрабатывать содержимое документа сходным с обычными веб-страницами образом.
Ссылки, изображения и видимость в поиске
Текстовые ссылки, встроенные в PDF, сохраняются после преобразования и могут сканироваться Google обычным образом. При этом изображения внутри PDF, как правило, не имеют самостоятельных URL, поэтому не обрабатываются для Google Image Search так же, как обычные изображения на веб-страницах.
Преобразованные PDF индексируются и ранжируются на основе тех же фундаментальных систем, что и HTML-документы. Они способны появляться в AI Overviews, а также могут использоваться ИИ-моделями для обучения и формирования ответов.
Лимит сканирования для PDF выше, чем для стандартных HTML-страниц. Точный порог Google не раскрывает: он может меняться по мере того, как меняются обычные размеры файлов в интернете.
Технические ограничения PDF
- Если PDF состоит из отсканированных изображений или растеризованных страниц, а не из текстового слоя, поисковые системы не смогут прочитать его содержимое без OCR. Наличие доступного текста можно проверить, выделив и скопировав фрагмент документа в текстовый редактор.
- На мобильных устройствах PDF необходимо полностью загрузить до отображения. Фиксированная печатная вёрстка не перестраивает текст при масштабировании, что создаёт неудобства при просмотре.
- Документы без доступной структуры могут быть сложны для использования со скринридерами.
- Парольная защита не позволяет поисковым роботам прочитать и проиндексировать содержимое PDF.
Отдельная сложность связана с каноникализацией одинаковых PDF на разных доменах. Такие файлы являются точными бинарными копиями, поэтому междоменная каноникализация затруднена. Для снижения проблем с дублированием можно использовать HTTP-заголовок rel=canonical, заполнять метаданные PDF и размещать заметную ссылку на сайт в шапке документа.
Повторное сканирование и обновление файлов
Google рассматривает PDF как относительно статичные бинарные файлы, подобно изображениям, поэтому переобходит их значительно реже, чем HTML-страницы. Если обновлённый документ нужно быстрее представить для индексации, предпочтительнее опубликовать его по новому URL или под новым именем файла, а не заменять существующий файл.
Автоматическое создание CMS печатных PDF-версий действующих веб-страниц также может привести к конкуренции двух вариантов в поиске. При этом PDF способен оставаться устаревшим дольше, поскольку его повторное сканирование происходит реже.
Когда использовать PDF и HTML
В подкасте отмечено, что HTML проще редактировать, он лучше адаптируется к экранам мобильных устройств и обычно быстрее индексируется. PDF имеет смысл применять для материалов, которым требуется строго фиксированное печатное оформление, скачиваемых офлайн-форм и бумажной документации. Например, меню ресторана в PDF допустимо, если создание HTML-версии непрактично.
Файлы, предназначенные для машинного чтения, включая llms.txt, не следует сохранять в формате PDF. Их назначение состоит в передаче простого и лёгкого текстового содержимого.
