Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Роботы-краулеры - это своего рода автономные программы-браузеры. Они заходят на сайт, сканируют содержимое страниц, делают текстовую копию и отправляют в поисковую базу. От того что увидят краулеры на вашем сайте зависит его индексация в поисковике. Есть также более узкопрофильные программы-пауки.
- «Зеркальщики» - распознают повторяющиеся ресурсы.
- «Дятлы» - определяют доступность сайта.
- « » - роботы для считывания часто обновляемых ресурсов. А также программы для сканирования картинок, иконок, определения частоты визитов и других характеристик.
Что робот видит на сайте
- Текст ресурса.
- Внутренние и внешние ссылки.
- HTML-код страницы.
- Ответ сервера.
- Файл robots. txt - это основной документ для работы с пауком. В нем вы можете задать одни параметры для привлечения внимания робота, а другие наоборот закрыть от просмотра. Также при повторном заходе на сайт, краулер пользуется именно эти файлом.
В какой форме робот видит страницу сайта?
Есть несколько способов посмотреть на ресурс глазами программы. Если вы являетесь владельцем сайта, то для вас Google придумал Search Console.
- Добавляем ресурс на сервис. Как это можно сделать читайте .
- После этого выбираем инструмент «Просмотреть как Googlebot ».
- Нажимаем «Получить и отобразить».После выполнения сканирования будет вот такой результат.
Этот способ отображает самую полную и верную картину того, как робот видит сайт. Если же вы не являетесь владельцем ресурса то, для вас есть другие варианты.
Самый простой - через сохраненную копию в поисковой системе.
Предположим, что ресурс ещё не проиндексирован, и вы не можете найти его в поисковике. В таком случае, чтобы узнать, как робот видит сайт, нужно выполнить следующий алгоритм.
- Устанавливаем Mozila Firefox .
- Добавляем в этот браузер плагин .
- Под полем URL появится бар, в котором мы:
в «Cookies» выбираем «Disable Cookies»;
в «Disable» кликаем на «Disable JavaScript» и «Disable ALL JavaScript». - Обязательно перезагружаем страницу.
- Все в том же инструменте:
в «CSS» жмем на «Disable styles» и «Disable all styles»;
и в «Images» ставим галочку на «Display ALT attributes» и «Disable ALL images». Готово!
Зачем нужно проверять то, как робот видит сайт?
Когда поисковик видит на вашем сайте одну информацию, а пользователь другую - значит, ресурс появляется не в той выдаче. Соответственно, пользователь спешно покинет его, не найдя интересующей его информации. Если так будет делать большое количество посетителей, то ваш сайт опустится на самое дно выдачи.
Проверять нужно минимум 15−20 страниц сайта и стараться охватывать все типы страниц.
Бывает, что некоторые хитрецы специально проворачивают такие аферы. Ну, например, вместо сайта о мягких игрушках пиарят какое-нибудь казино «Кукан». Поисковик со временем это (в любом случае) обнаружит и отправит такой ресурс под фильтры.