С сентября 2017 года резко выросло количество оповещений в панели Вебмастера Яндекс о фатальной ошибке, причём часто под санкции попадают сайты, которым под фильтром по теории поискового заговора делать нечего. Что это за… откуда деньги у атамана и как избавиться от фильтра? Начнём с погружения в глубину проблемы:
Обнаружены нарушения или проблемы с безопасностью
Первопричина санкций
За последние года Платон Щукин и К не раз устраивал веб-мастерам Варфоломеевскую ночь. Начиналось всё с борьбы со ссылками и со временем переросло в нечто больше, требующее погружения в основы бизнеса.
Яндекс компания коммерческая и акционеры желают в лучшем случае получать прибыль, в худшем видеть нововведения со стороны руководства. Лучший случай тесно переплёлся с худшим, и под флагом борьбы за качество поисковой выдачи Yandex начал забирать 80% прибыли от создателей сайтов. Так как коммерческие проекты более богаты, то начали с них, убедительно объяснив без применения насилия, что благо для бизнеса – это Директ.
Ссылки на 90% ушли в небытие, коммерция низко наклонив голову ушла в Директ и наступило время информационных сайтов. Увести их в контекстную рекламу массово не получится, но дырки в бюджете надо закрыть, если не прибылью, то активностью (читать выше). Массовое появление в панели фатальной ошибки говорит о чистке поисковой выдачи. Какая тут прибыль? Всё просто – режутся сайты с небольшой и средней посещаемостью, им на смену приходят ущербные порталы типа fb. ru, которые сами едят со стола Директа и его кормят .
Формальная причина фатальной ошибки
Алгоритмы ранжирования Яши учитывают тысячи различных факторов, поэтому всегда найдётся таракан за дверью, которого владелец сайта не успел пришибить шлёпанцем. Боты снуют по сайтам и, если у ресурса нет крыши в виде большой посещаемости и рекламы Директа, то ресурс получает фатальную ошибку.
Помните «был бы человек, а статья найдётся»? Яндекс использует присказку на 100%, добавив в неё только выверт «чужой человек».
Итак, появляется фатальная ошибка в 90% случае из-за:
- Рекламы Google в первом окне,
- Большого % страниц с малым объёмом информации,
- Жизненной кармы веб-мастера,
- Просто так.
Если увидели в панели:
Позиции сайта в результатах поиска понижены
То грустный клоун пришёл и на вашу улицу.
Признаки санкций – падение трафика на 40-80% и откат позиций на 20-30 мест в глубины выдачи.
Лечимся
Тяжело лечиться, если врач на лету придумал тебе диагноз, но жизнь требует биения сердца, поэтому надо пытаться избавиться от фатальности Яши. Вот перечень действий, которые могут прийти на помощь при санкциях:
- Съём рекламы с первого экрана,
- Удаление или disallow страниц небольшого объёма (малополезных),
- Форматирование больших, но портяночных страниц,
- Здоровый сон.
В 2 случаях из 5 ошибка пропадает при переотправке сайта на проверку без каких-либо телодвижений. Ещё в одном случае помогает съём рекламы. На конец октября 2017 не могу сказать, что поможет в 2 оставшихся случаях, возможно, Яндекс сам поймёт, что если так рубить лес, то жить скоро придётся среди пней и откатит санкции, вернув веб-мастеру надежду.
Также советую не печалиться при фатальной ошибке, ведь жизнь много шире, чем потеря трети трафика и клейма санкционщика на лбу.
Панель Вебмастера Яндекс – что это такое?
Каждый человек, который занимается продвижением сайтов, должен знать, для чего нужен Яндекс Вебмастер.
Яндекс Вебмастер – бесплатный кабинет вебмастера для аналитики, сбора статистики, поиска ошибок и прочих полезных функций. В панели Вебмастера Яндекс можно следить за индексацией страниц в поисковике Яндекса.
История появления Вебмастера
Первая версия панели Вебмастера стала доступна 19 октября 2007 года. О запуске сервиса рассказал Александр Садовский (руководитель отдела веб-поиска, Яндекс) на заседании клуба seo-оптимизаторов. Доступ к сервису для закрытого бета-тестирования предоставлялся по приглашениям. Официальная дата открытия сервиса для широкой аудитории - 21 декабря 2007 года.
Если я ничего не путаю, то выглядел он в то время примерно так:
А в 2015 году вышла бета-версия нового Яндекс Вебмастер:
Сервис Яндекс Webmaster
Отсутствие данных в разделе «Мои сайты» не помешает нам осмотреть функционал сервиса.
Обзор функций
Фатальные ошибки
Фатальные ошибки включают в себя самые серьезные проблемы, которые напрямую влияют на продвижение сайта. Такие как:
- Сайт закрыт к индексации в файле robots.txt;
В вашем файле robots..txt) обнаружен запрет на индексацию всего сайта. Выглядеть эта строчка будет так: «Disallow: /» или «Disallow: *». Возможно, это сделано специально, пока сайт разрабатывается, главное не забыть потом убрать 🙂 - Не удалось подключиться к серверу из-за ошибки DNS;
Упал сервер или сбились настройки DNS. Может вы там где-то ковырялись? 🙂 - Главная страница сайта возвращает ошибку;
Возможна проблема с хостингом или с файлами на сервере. - Обнаружены нарушения или проблемы с безопасностью.
Яндекс отыскал какую-то опасность на сайте, к примеру, поймали какой-то вирус, что является угрозой для посетителя сайта. Не круто, короче.
Критичные ошибки
- Большое количество неработающих внутренних ссылок;
Проверьте работоспособность ссылок на сайте, какие-то из них не работают. Можно их найти с помощью Sreaming Frog SEO Spider . - Долгий ответ сервера.
Посмотрите, нет ли у вас плагинов, которые сильно нагружают ваш хостинг? Возможно, посещаемость вашего ресурса резко выросла и вам стоит задумать о смене тарифа на хостинге. Я, кстати, beget.ru использую 🙂
Возможные проблемы
- Нет используемых роботом ;Создайте файл Sitemap.xml или закиньте в Файлы Sitemap в разделе «Индексирование».
- Обнаружены ошибки в файлах Sitemap;Проверьте свои файлы на ошибки. Возможно, есть 404-страницы или другие проблемы.
- Некорректно настроено отображение несуществующих файлов и страниц;Вероятно, на сайте некорректно настроен возврат HTTP-кода 404 Not Found.
- Ошибки в файле robots.txt;Тут может быть гора ошибок, проверяйте файл с помощью анализа robots.txt в разделе «Инструменты».
- Главная страница перенаправляет на другой сайт;Без комментариев… 🙂
- Большое количество страниц-дублей;Яндекс нашел дубли . Нужно работать над качеством сайта. Найдите технические ошибки или закройте страницы в robots.txt.
- Не найден файл robots.txt;Срочно найдите его и покажете Яндекс Вебмастеру 🙂
- Отсутствуют теги
;Срочно заполните на эти теги. Лучше заполнять на основе запросов. - Отсутствуют
;Тоже заполните. Это важно. - Файлы Sitemap давно не обновлялись;Постов не выкладываете? Тогда пофиг 🙂 Иначе проверьте настройки Sitemap.xml.
- Форматы рекламы не соответствуют рекомендациям IAB Russia.Реклама может мешать пользователям работать с вашим ресурсом.
- Не задана региональная принадлежность сайта;
- Сайт не зарегистрирован в Яндекс. Справочнике;
- Файл favicon не найден;
- Сайт не оптимизирован для мобильных устройств;
- Ошибка счётчика Яндекс.Метрики.
Безопасность и нарушения
Яндекс регулярно проверяет безопасность и нарушения на сайтах.
Таблица фильтров по группам:
Также можно настроить фильтры:
- регион;
- устройство;
- дата;
- показатель.
- общие показатели;
- показы на позициях;
- клики с позиций;
- CTR на позициях;
- средняя позиция показа в ТОПах;
- средняя позиция клика в ТОПах.
Фильтрация по запросам из топ-1:
Все запросы и группы
В разделе представлены поисковые запросы, по которым сайт располагается на первых 50 позициях результатов поиска Яндекса. Показатели являются усредненными за последние 7 дней.
Для каждого запросы можно посмотреть:
- показы;
- клики;
- позиция;
Помимо статистики запросов можно добавлять свои запросы, например, по которым планируете продвигать сайт.
Добавить запросы можно двумя способами:
- ручками;
- файлом.
Яндекс Вебмастер может подбирать поисковые запросы, соответствующие тематике вашего сайта, для привлечения дополнительного трафика.
Предложенные запросы можно использовать в качестве условия таргетирования при ведении рекламы.
Индексирование в Яндекс Вебмастер
Раздел содержит в себе:
- Статистика обхода;
- Страницы в поиске;
- Структура сайта;
- Проверить статус URL;
- Важные страницы;
- Переобход страниц;
-
Страницы в поиске
Раздел отображает страницы сайта, которые участвуют в поиске Яндекса.
Страница может не попасть в результаты поиска, если она дублирует контент другой страницы, содержит спам или вирусы, перенаправляет на другой URL, при ее скачивании произошла ошибка.
Структура сайта
Сервис отображает разделы сайта, которые содержат не меньше 10 страниц и составляют больше 1% от общего числа страниц, загруженных в базу поиска.
При удалении пользовательского раздела из структуры сайта информация о нем в базе поиска сохраняется.
У меня добавлен раздел сайта /yandex-webmaster/ вручную. Самостоятельно можно добавить до 5 разделов.
Проверить статус URL
Вы можете проверить, знает ли робот об определенной странице сайта, права на который вы подтвердили .
В поле URL можно ввести полный URL страницы или путь от корня сайта, начинающийся с «/» .
Как правило, сбор и обработка информации занимают до 2 минут. Иногда это может занять несколько часов. Как только обработка данных завершится, статус проверки изменится на «проверено» .
Моя страница роботом обходится и в поиске появляется.
Мониторинг важных страниц
Вы можете отслеживать индексирование наиболее важных страниц сайта и наиболее популярных - рекомендованных Яндекс.Вебмастером. Для этих страниц можно настроить уведомления .
Статья не завершена. Продолжу дописывать позже 🙂
Поисковая оптимизация - большая работа над множеством различных факторов. Дизайн, техническая составляющая, контент. Даже незначительные на первый взгляд детали очень важны для продвижения. О самых частых ошибках в дизайне сайта мы уже говорили. Сегодня разберем 9 фатальных SEO ошибок, способных «угробить» любой сайт.
- Фильтры и санкции поисковых систем
Как минимум, раз в неделю рекомендую заглядывать в вебмастера Яндекс и Google для проверки наличия санкций. В Яндексе это можно сделать в разделе Диагностика → Безопасность и нарушения . В Google - Поисковый трафик → Меры, принятые вручную .
Как показывает наша практика, чаще всего владельцы сайтов даже не догадываются о наложенных ограничениях. Недавний пример из нашей работы:
Большое количество чужих текстов на сайте и открытые исходящие ссылки. Результат на скриншоте.
До снятия всех ограничений дальнейшего смысла заниматься продвижением нет. Исправляем все ошибки, сообщаем поисковой системе и ждем снятия санкций.
- Контент
Мы постоянно говорим о том, как важны тексты. Контент - это то, зачем пользователи заходят на сайты. Неуникальный и неинтересный контент никому не нужен. Поисковые системы занижают подобные ресурсы в выдаче, а клиенты устали читать одни и те же шаблонные тексты на сотне сайтов. Пруф того, что за контент можно вылететь с хороших позиций, .
Проверяйте уникальность текстов перед размещением на text.ru .
Как писать тексты, на какие страницы и в целом, о контенте, много написано в нашем блоге. Вот хорошая подборка статей от нашего копирайтера Дарьи.
- Теги Title и Description, заголовки H1-H3
Основа SEO-продвижения - правильно подобранные ключевые слова. Это очень важный фактор в оценке релевантности вашего сайта поисковому запросу.
Чаще всего мы сталкиваемся с двумя ошибками. Полное отсутствие ключевых слов в тегах:
Тег Title должен быть заполнен в виде связного предложения с включением ключевых слов.
Либо переспам ключами в заголовках:
Важно найти золотую середину. Теги должны быть полезными не только для поисковых роботов, но и для обычных людей. Не забывайте об информативности. Как правильно писать теги title, description и заголовки H1, хорошо рассказывает наш копирайтер Екатерина в своей статье .
- Переезд на https
C января 2017 года браузер Google Chrome (начиная с 56 версии) начал помечать все HTTP-сайты, содержащие любые формы, передающие личные данные пользователей (email, пароли, данные кредитных карт и т.п.) как «небезопасные». Также наличие SSL сертификата является небольшим импульсом в ранжировании в Google.
Всем интернет-магазинам в первую очередь следует перейти на протокол https. При этом очень важно соблюсти правильный алгоритм действий.
Самая частая ошибка - просто настроить 301-редирект со старой версии http на https после покупки SSL-сертификата. Владельцы сайтов забывают о файле robots.txt, директиве Host, настройке вебмастеров. Сайт с http выпадает из индекса, новый сайт на https еще не проиндексирован. Все позиции моментально улетают в трубу.
В нашем Блоге есть подробная инструкция , как правильно перенести сайт с http на https. Если останутся вопросы, пишите нам , обязательно поможем.
- Файл robots.txt
Текстовый файл, размещенный на сайте и предназначенный для роботов поисковых систем. В этом файле следует указать параметры индексирования своего сайта для поисковых роботов.
Иногда файл robots.txt отсутствует вовсе.
Свежий пример из нашей работы. Интернет-магазин станков, работы проводились в рамках услуги поисковое продвижение сайта . Сайт был полностью открыт для индексации поисковым роботам и вовсе не имел файл robots.txt.
Настроили ему robots, теперь все в порядке:
Что конкретно мы сделали?
Закрыли от индексации админ панель сайта, служебные страницы 404 и 403, страницу поиска, корзину. Указали адрес карты сайта, настроили директиву Host.
Вместе с остальными работами по оптимизации это помогло достичь следующих результатов:
Еще одна серьезная ошибка - сайт полностью закрыт от индексации. За это отвечают директивы Disallow и Allow, которые запрещают или разрешают индексирование разделов, отдельных страниц сайта или файлов соответственно. Для проверки файла у поисковых систем есть специальные инструменты: Яндекс и Google .
Проверьте, что у вашего сайта имеется файл robots.txt и заполнен он корректно. От индексации следует закрывать все служебные страницы, страницы поиска и фильтров. Страницы дублей, регистрации, авторизации. Корзину и страницу оформления заказа для интернет-магазинов. .
- Дублирование контента (дубли страниц)
Дублированный контент или просто дубли - это страницы на вашем сайте, которые полностью (четкие дубли) или частично (нечеткие дубли) совпадают друг с другом, но каждая из них имеет свой URL.
Одна страница может иметь как один, так и несколько дублей:
Поисковые роботы отрицательно относятся к дублированному контенту и могут понизить позиции в выдаче из-за отсутствия уникальности, а следовательно, и полезности для клиента. Нет смысла читать одно и то же на разных страницах сайта.
Может измениться релевантная страница. Робот может выбрать для выдачи дублированную страницу, если посчитает ее содержание более релевантным запросу. Сайт потеряет позиции и просядет в выдаче. В 90% случаев дубли мешают продвижению, и после их устранения позиции сайта улучшаются.
Как найти и убрать дубли на сайте, рассказываем в данной статье .
- Зеркала сайта
Зеркалами считаются сайты, являющиеся полными копиями друг друга, доступные по разным адресам. Все зеркала сайта важно склеить через 301 редирект.
Показатели тИЦ, вес внешних ссылок не должны растекаться, а они будут, т.к. поисковики считают разными ресурсами сайты, расположенные по разным адресам. Возможна подмена релевантной страницы в поисковой выдаче, дублирование контента. 100% мешает росту сайта в выдаче.
Сайт не должен открываться по разным адресам, с www и без www, просто site.ru и site.ru/index.php, по http и https и т.д.:
Чек-лист для проверки:
- Сайт должен быть доступен только по одному протоколу http или https.
- Выбрано главное зеркало сайта, с www или без www, указано в Вебмастере.
- Настроен 301 редирект со всех зеркал.
- Главная страница сайта доступна по одному адресу, без /index.php, /index.html и т.п.
- Адаптивная верстка (версия сайта для мобильных устройств)
100% Must-have для всех сайтов в 2017 году. Сегодня рост мобильного трафика опережает компьютерный. Число пользователей, использующих смартфоны для совершения покупок, в мире растет с каждым днем. Алгоритмы поисковых систем учитывают адаптивность при ранжировании сайта в мобильной выдаче.
Google уже с 2015 года использует алгоритм Google mobile-friendly .
- Скорость загрузки сайта
Тут все просто. Пользователям не нравятся медленные сайты. Поисковые системы так же отдают предпочтение быстрым, оптимизированным сайтам. Проверить скорость загрузки своего сайта можно с помощью инструмента Google . Красный - медленно, важно срочно увеличивать скорость, желтый - нормально, но можно оптимизировать, зеленый - отлично.
Разберем на конкретном примере
Помните, в начале статьи мы упоминали интернет-магазин станков. Что мы исправили из фатальных ошибок:
- Неуникальный контент
Написали хороший продающий, уникальный текст на главную страницу сайта.
- Ошибки оптимизации
Скорректировали теги title и description, заголовки H1.
- Отсутствие файла robots.txt
Создали и настроили файл robots.txt. Сейчас сайт правильно индексируется поисковыми системами. До этого, как писали выше, данного файла не было на сайте вовсе.
- Наличие не склеенных зеркал
Склеили зеркала сайта. Сайт был доступен по двум адресам с www и без.
- Некорректный ответ сервера для несуществующих страниц
Создали отдельную страницу 404 и настроили правильный ответ сервера для несуществующих страниц.
До выполнения работ несуществующие страницы через 302 редирект перенаправляли пользователя на главную страницу сайта.
Результаты:
Положительная динамика роста посещаемости из поисковых систем:
Трафик из Google вырос в два раза:
Результат за 3 месяца:
+8 запросов у Яндекса, +6 у Google в топ-5
+19 запросов у Яндекса, +9 у Google в топ-10
+25 запросов у Яндекса, +11 у Google в топ-20
+14 запросов у Яндекса, +4 у Google в топ-50
Хотите так же? Проверьте, может данные ошибки есть и на вашем сайте. Если нет времени и желания разбираться, заказывайте поисковое продвижение у нас, с радостью поможем.
Сегодня же мы детально разберём раздел фатальных ошибок, которые не просто мешают индексированию сайта в поисковых системах — из-за наличия этих ошибок сайт может просто не показываться в поисковой выдаче.
Итак, список фатальных ошибок в Яндекс Вебмастере состоит из следующих пунктов:
1. Сайт закрыт к индексации в файле robots.txt
Robots.txt это ключевой файл, который объясняет роботам поисковых систем куда на сайте им можно заходить, а куда нет. Если robots.txt полностью блокирует возможность посещения сайта роботами Яндекса, то о дальнейшей работе можно в принципе забыть. Никакие изменения в сайте поисковые системы просто не увидят. Поэтому очень важно, чтобы директивы robots.txt не только разрешали роботам поисковиков посещать сайт, но и вели их по сайту необходимым для правильной оптимизации образом.
2. Не удалось подключиться к серверу из-за ошибки DNS.
Ошибки DNS как правило происходят либо на стороне сервера, либо из-за неверной настройки пользователем согласованной работы домена и хостинга. Из-за ошибок DNS поисковик не понимает — какой домен прилинкован к вашему сайту и просто не показывает домен в выдаче.
3. Главная страница сайта возвращает ошибку
Когда поисковая система посылает на сайт запрос о его существовании она должна получить один из кодов ответов, который соответствует знаниям поисковика. Наиболее частые коды:
200 — страница существует и отображается
301 — страница перенаправляет всех на другую страницу
404 — страница не существует
500 — проблема страницы на стороне сервера
Важно чтобы сайт при запросе отдавал именно код 200. Только таким образом Яндекс поймет что с сайтом все в порядке и предложит его к поисковому ранжированию.
4. Обнаружены нарушения или проблемы с безопасностью
Яндекс тщательно следит за тем, чтобы посещение сайтов из поисковой выдачи было безопасно для компьютеров пользователей. Поэтому при наличии малейших угроз со стороны сайта поисковый робот сначала размещает рядом с сайтом в выдаче предупреждение о возможных проблемах, и если проблема не будет через какое-то время устранена, то просто уберёт ресурс из поисковой выдачи. Поэтому очень важно следить как за состоянием ресурса, так и за его безопасностью. Необходимо вовремя менять пароли и проводить сканирование сайта при помощи антивируса.
Последнее изменение поста: Ноябрь 19, 2019
Вот уже семь месяцев, как я в своем блоге ничего не пишу, потому что с моим ресурсом начались серьезные проблемы. Захожу на Яндекс Вебмастер, «диагностику» , и вижу показывает фатальную ошибку на моем сайте. Написано «нарушения и угрозы на сайте» , а ниже под этим страшным заголовком написано: «малополезный контент, спам, избыток рекламы» . Понятно, что вначале надо исправить эту проблему, и только потом думать о написании новых статей.
Как исправить фатальную ошибку на сайте
В Вебмастер Яндекс, я почитал, что может вызвать эту ошибку, и сделал поспешный вывод - сайт попал под . А то, что на сайте есть технические проблемы, я почему-то проигнорировал, т. к. был уверен, что вся беда именно из-за этого фильтра, который проверить нигде и никак нельзя.
В связи с этим, я начал вначале искать проблемные и , которых нашлось немало. Также написал в Яндекс, Платону Щукину, чтобы мне подсказали, что с моим сайтом не так. Реальных советов мне не дали, поэтому я решил все отложить на потом.
Через несколько месяцев я снова взялся за сайт, но решил уже исправлять технические проблемы. Подключил сертификат, перевел сайт с HTTP на HTTPS, удалил некоторые ошибки со страниц сайта и, казалось бы, все хорошо, да не тут-то было. При переходе на сайт, перестает работать колесико мышки. Теперь чтобы проскролить страницу вверх или вниз, надо двигать ползунок справа, что не очень удобно.
Обратился я за помощью в службу поддержки , где был куплен шаблон. Проблему мне быстро исправили, и блог начал исправно работать. Но позже я заметил, что в старых статьях появились внешние ссылки, которых я никогда не добавлял. Пришлось сайт переустанавливать из резервной копии, потому что неизвестно, сколько было добавлено внешних ссылок на мой сайт, после того, как я обратился в службу поддержки.
И вот прошло приблизительно семь месяцев, я решил еще раз написать Платону Щукину, чтобы мне все-таки подсказали, что реально надо исправлять. Буквально через пару дней мне ответили:
Это письмо я получил 19 января, т. е. в день православного праздника Крещения, и сейчас посещаемость сайта всего 200 чел., но это лучше, чем ничего. До этого шел трафик только с канала YouTube. Дальше, я надеюсь, показатели счетчика улучшатся.
Как оказалось, дело было вовсе не в малополезном контенте, спаме, или избытке рекламы, а в технических проблемах, которые можно было исправить за одну неделю, или чуть больше, но точно не семь месяцев.
Но эти семь месяцев у меня не прошли в пустую. Я прошел обучение по товарке с Китаем, а также изучил Я.Директ. С Китаем я уже начал работать, а вот по Я.Директ нужно еще попрактиковаться.
Обучение по бизнесу с Китаем я проходил у Александра Федяева, о котором уже написал отзыв. На этом все, будьте здоровы.
Поделиться статьей с друзьями