Как отменить индексацию поисковиками. Рекомендации по настройке файла robots txt
Любая страница на сайте может быть открыта или закрыта для индексации поисковыми системами. Если страница открыта, поисковая система добавляет ее в свой индекс, если закрыта, то робот не заходит на нее и не учитывает в поисковой выдаче.
При создании сайта важно на программном уровне закрыть от индексации все страницы, которые по каким-либо причинам не должны видеть пользователи и поисковики.
К таким страницам можно отнести административную часть сайта (админку), страницы с различной служебной информацией (например, с личными данными зарегистрированных пользователей), страницы с многоуровневыми формами (например, сложные формы регистрации), формы обратной связи и т.д.
Пример:
Профиль пользователя на форуме о поисковых системах Searchengines.
Обязательным также является закрытие от индексации страниц, содержимое которых уже используется на других страницах.Такие страницы называются дублирующими. Полные или частичные дубли сильно пессимизируют сайт, поскольку увеличивают количество неуникального контента на сайте.
Как видим, контент на обеих страницах частично совпадает. Поэтому страницы категорий на WordPress-сайтах закрывают от индексации, либо выводят на них только название записей.
То же самое касается и страниц тэгов– такие страницы часто присутствуют в структуре блогов на WordPress. Облако тэгов облегчает навигацию по сайту и позволяет пользователям быстро находить интересующую информацию. Однако они являются частичными дублями других страниц, а значит – подлежат закрытию от индексации.
Еще один пример – магазин на CMS OpenCart.
Страница категории товаров http://www.masternet-instrument.ru/Lampy-energosberegajuschie-c-906_910_947.html .
Страница товаров, на которые распространяется скидка http://www.masternet-instrument.ru/specials.php .
Данные страницы имеют схожее содержание, так как на них размещено много одинаковых товаров.
Особенно критично к дублированию контента на различных страницах сайта относится Google. За большое количество дублей в Google можно заработать определенные санкции вплоть до временного исключения сайта из поисковой выдачи.
Еще один случай, когда содержимое страниц не стоит «показывать» поисковику – страницы с неуникальным контентом. Типичный пример — инструкции к медицинским препаратам в интернет-аптеке. Контент на странице с описанием препарата http://www.piluli.ru/product271593/product_info.html неуникален и опубликован на сотнях других сайтов.
Сделать его уникальным практически невозможно, поскольку переписывание столь специфических текстов – дело неблагодарное и запрещенное. Наилучшим решением в этом случае будет закрытие страницы от индексации, либо написание письма в поисковые системы с просьбой лояльно отнестись к неуникальности контента, который сделать уникальным невозможно по тем или иным причинам.
Как закрывать страницы от индексации
Классическим инструментом для закрытия страниц от индексации является файл robots.txt. Он находится в корневом каталоге вашего сайта и создается специально для того, чтобы показать поисковым роботам, какие страницы им посещать нельзя. Это обычный текстовый файл, который вы в любой момент можете отредактировать. Если файла robots.txt у вас нет или если он пуст, поисковики по умолчанию будут индексировать все страницы, которые найдут.
Структура файла robots.txt довольно проста. Он может состоять из одного или нескольких блоков (инструкций). Каждая инструкция, в свою очередь, состоит из двух строк. Первая строка называется User-agent и определяет, какой поисковик должен следовать этой инструкции. Если вы хотите запретить индексацию для всех поисковиков, первая строка должна выглядеть так:
Если вы хотите запретить индексацию страницы только для одной ПС, например, для Яндекса, первая строка выглядит так:
Вторая строчка инструкции называется Disallow (запретить). Для запрета всех страниц сайта напишите в этой строке следующее:
Чтобы разрешить индексацию всех страниц вторая строка должна иметь вид:
В строке Disallow вы можете указывать конкретные папки и файлы, которые нужно закрыть от индексации.
Например, для запрета индексации папки images и всего ее содержимого пишем:
Чтобы «спрятать» от поисковиков конкретные файлы, перечисляем их:
Это – основные принципы структуры файла robots.txt. Они помогут вам закрыть от индексации отдельные страницы и папки на вашем сайте.
Еще один, менее распространенный способ запрета индексации – мета-тэг Robots. Если вы хотите закрыть от индексации страницу или запретить поисковикам индексировать ссылки, размещенные на ней, в ее HTML-коде необходимо прописать этот тэг. Его надо размещать в области HEAD, перед тэгом
.</p>
<p>Мета-тег Robots состоит из двух параметров. INDEX – параметр, отвечающий за индексацию самой страницы, а FOLLOW – параметр, разрешающий или запрещающий индексацию ссылок, расположенных на этой странице.</p>
<p>Для запрета индексации вместо INDEX и FOLLOW следует писать NOINDEX и NOFOLLOW соответственно.</p>
<p>Таким образом, если вы хотите закрыть страницу от индексации и запретить поисковикам учитывать ссылки на ней, вам надо добавить в код такую строку:</p>
<blockquote><p><meta name=“robots” content=“noindex,nofollow”></p>
</blockquote>
<p>Если вы не хотите скрывать страницу от индексации, но вам необходимо «спрятать» ссылки на ней, мета-тег Robots будет выглядеть так:</p>
<blockquote><p><metaname=“robots” content=“index,nofollow”></p>
</blockquote>
<p>Если же вам наоборот, надо скрыть страницу от ПС, но при этом учитывать ссылки, данный тэг будет иметь такой вид:</p>
<blockquote><p><meta name=“robots” content=“noindex,follow”></p>
</blockquote>
<p>Большинство современных CMS дают возможность закрывать некоторые страницы от индексации прямо из админ.панели сайта. Это позволяет избежать необходимости разбираться в коде и настраивать данные параметры вручную. Однако перечисленные выше способы были и остаются универсальными и самыми надежными инструментами для запрета индексации.</p>
<p>Robots.txt - это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.</p>
<p>Яндекс поддерживает следующие директивы:</p> <table class="\" table frame-all="" doc-c-processedeach135="" doc-c-table__table=""><tr class="\" row doc-c-table__tr=""><th class="\" entry colsep-1="" rowsep-1="" doc-c-table__th="" id="\" recommend__entry__1>Директива
</th> <th class="\" entry colsep-1="" rowsep-1="" doc-c-table__th="" id="\" recommend__entry__2>Что делает
</th>
</tr><tbody class="\" tbody><tr class="\" row doc-c-table__tr=""><td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__1>User-agent *
</td> <td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__2></td>
</tr><tr class="\" row doc-c-table__tr=""><td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__1>Disallow
</td> <td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__2></td>
</tr><tr class="\" row doc-c-table__tr=""><td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__1>Sitemap
</td> <td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__2></td>
</tr><tr class="\" row doc-c-table__tr=""><td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__1>Clean-param
</td> <td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__2></td>
</tr><tr class="\" row doc-c-table__tr=""><td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__1>Allow
</td> <td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__2></td>
</tr><tr class="\" row doc-c-table__tr=""><td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__1>Crawl-delay
</td> <td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__2></td>
</tr></tbody></table><table class="\" table frame-all="" doc-c-processedeach135="" doc-c-table__table=""><tr class="\" row doc-c-table__tr=""><th class="\" entry colsep-1="" rowsep-1="" doc-c-table__th="" id="\" recommend__entry__1_modal>Директива
</th> <th class="\" entry colsep-1="" rowsep-1="" doc-c-table__th="" id="\" recommend__entry__2_modal>Что делает
</th>
</tr><tbody class="\" tbody><tr class="\" row doc-c-table__tr=""><td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__1>User-agent *
</td> <td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__2>Указывает на робота, для которого действуют перечисленные в robots.txt
правила.
</td>
</tr><tr class="\" row doc-c-table__tr=""><td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__1>Disallow
</td> <td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__2>Запрещает индексирование разделов или отдельных страниц сайта.
</td>
</tr><tr class="\" row doc-c-table__tr=""><td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__1>Sitemap
</td> <td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__2>Указывает путь к файлу Sitemap
, который размещен на сайте.
</td>
</tr><tr class="\" row doc-c-table__tr=""><td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__1>Clean-param
</td> <td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__2>Указывает роботу, что URL страницы содержит параметры (например, UTM-метки), которые не нужно учитывать при индексировании.
</td>
</tr><tr class="\" row doc-c-table__tr=""><td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__1>Allow
</td> <td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__2>Разрешает индексирование разделов или отдельных страниц сайта.
</td>
</tr><tr class="\" row doc-c-table__tr=""><td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__1>Crawl-delay
</td> <td class="\" entry colsep-1="" rowsep-1="" doc-c-table__td="" headers="\" recommend__entry__2>Задает роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей.
</td>
</tr></tbody></table><p>* Обязательная директива.</p> <p>Наиболее часто вам могут понадобиться директивы Disallow, Sitemap и Clean-param. Например:</p><p>User-agent: * #указываем, для каких роботов установлены директивы\nDisallow: /bin/ # запрещает ссылки из \"Корзины с товарами\".\nDisallow: /search/ # запрещает ссылки страниц встроенного на сайте поиска\nDisallow: /admin/ # запрещает ссылки из панели администратора\nSitemap: http://example.com/sitemap # указываем роботу на файл sitemap для сайта\nClean-param: ref /some_dir/get_book.pl
</p><p>Роботы других поисковых систем и сервисов могут иначе интерпретировать эти директивы.</p> <p>Примечание.
Робот учитывает регистр в написании подстрок (имя или путь до файла, имя робота) и не учитывает регистр в названиях директив.</p>
<h2>Использование кириллицы</h2> <p>Использование кириллицы запрещено в файле robots.txt
и HTTP-заголовках сервера.</p> <p>Для указания имен доменов используйте Punycode . Адреса страниц указывайте в кодировке, соответствующей кодировке текущей структуры сайта.</p> <p>Пример файла robots.txt
:</p><p> #Неверно:\nUser-agent: Yandex\nDisallow: /корзина\n\n#Верно:\nUser-agent: Yandex\nDisallow: /%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0</p>
<h2>Как создать robots.txt</h2>
<h2>Вопросы и ответы</h2> <p>В Яндекс.Вебмастере на странице «Диагностика сайта» возникает ошибка «Сервер отвечает редиректом на запрос /robots.txt»
</p><p>Чтобы файл robots.txt
учитывался роботом, он должен находиться в корневом каталоге сайта и отвечать кодом HTTP 200. Индексирующий робот не поддерживает использование файлов, расположенных на других сайтах.</p> <p>Проверить ответ сервера и доступность файла robots.txt
для робота можно с помощью инструмента <span>Проверка ответа сервера
</span> .</p> <p>Если ваш robots.txt выполняет перенаправление на другой файл robots.txt
(например, при переезде сайта), добавьте сайт, который является целью перенаправления, в Яндекс.Вебмастер и подтвердите права на управление сайтом.</p>
<p>Технические аспекты созданного сайта играют не менее важную роль для продвижения сайта в поисковых системах, чем его наполнение. Одним из наиболее важных технических аспектов является индексирование сайта, т. е. определение областей сайта (файлов и директорий), которые могут или не могут быть проиндексированы роботами поисковых систем. Для этих целей используется robots.txt – это специальный файл, который содержит команды для роботов поисковиков. Правильный файл robots.txt для Яндекса и Google поможет избежать многих неприятных последствий, связанных с индексацией сайта.</p><h3><b> 2. Понятие файла robots.txt и требования, предъявляемые к нему
</b></h3><p>Файл /robots.txt предназначен для указания всем поисковым роботам (spiders) индексировать информационные сервера так, как определено в этом файле, т.е. только те директории и файлы сервера, которые не описаны в /robots.txt. Этот файл должен содержать 0 или более записей, которые связаны с тем или иным роботом (что определяется значением поля agent_id) и указывают для каждого робота или для всех сразу, что именно им не надо индексировать.</p><p>Синтаксис файла позволяет задавать запретные области индексирования, как для всех, так и для определенных, роботов.</p><p>К файлу robots.txt предъявляются специальные требования, не выполнение которых может привести к неправильному считыванию роботом поисковой системы или вообще к недееспособности данного файла.</p><p>Основные требования:</p><ul><li>все буквы в названии файла должны быть прописными, т. е. должны иметь нижний регистр:</li><li>robots.txt – правильно,</li><li>Robots.txt или ROBOTS.TXT – неправильно;</li><li>файл robots.txt должен создаваться в текстовом формате Unix. При копировании данного файла на сайт ftp-клиент должен быть настроен на текстовый режим обмена файлами;</li><li>файл robots.txt должен быть размещен в корневом каталоге сайта.</li>
</ul><h3><b>
3. Содержимое файла robots.txt
</b></h3><p>Файл robots.txt включает в себя две записи: «User-agent» и «Disallow». Названия данных записей не чувствительны к регистру букв.</p><p>Некоторые поисковые системы поддерживают еще и дополнительные записи. Так, например, поисковая система «Yandex» использует запись «Host» для определения основного зеркала сайта (основное зеркало сайта – это сайт, находящийся в индексе поисковых систем).</p><p>Каждая запись имеет свое предназначение и может встречаться несколько раз, в зависимости от количества закрываемых от индексации страниц или (и) директорий и количества роботов, к которым Вы обращаетесь.</p><p>Предполагается следующий формат строк файла robots.txt:</p><p><b>имя_записи
</b>[необязательные</p><p>пробелы]<b>:
</b>[необязательные</p><p>пробелы]<b>значение
</b>[необязательные пробелы]</p><p>Чтобы файл robots.txt считался верным, необходимо, чтобы, как минимум, одна директива «Disallow» присутствовала после каждой записи «User-agent».</p><p>Полностью пустой файл robots.txt эквивалентен его отсутствию, что предполагает разрешение на индексирование всего сайта.</p><h4><b>Запись «User-agent»
</b></h4><p>Запись «User-agent» должна содержать название поискового робота. В данной записи можно указать каждому конкретному роботу, какие страницы сайта индексировать, а какие нет.</p><p>Пример записи «User-agent», где обращение происходит ко всем поисковым системам без исключений и используется символ «*»:</p><p>Пример записи «User-agent», где обращение происходит только к роботу поисковой системы Rambler:</p><p>User-agent: StackRambler</p><p>Робот каждой поисковой системы имеет свое название. Существует два основных способа узнать его (название):</p><p>на сайтах многих поисковых систем присутствует специализированный§ раздел «помощь веб-мастеру», в котором часто указывается название поискового робота;</p><p>при просмотре логов веб-сервера, а именно при просмотре обращений к§ файлу robots.txt, можно увидеть множество имен, в которых присутствуют названия поисковых систем или их часть. Поэтому Вам остается лишь выбрать нужное имя и вписать его в файл robots.txt.</p><h4><b>Запись «Disallow»
</b></h4><p>Запись «Disallow» должна содержать предписания, которые указывают поисковому роботу из записи «User-agent», какие файлы или (и) каталоги индексировать запрещено.</p><p>Рассмотрим различные примеры записи «Disallow».</p><p>Пример записи в robots.txt (разрешить все для индексации):</p><p><b>Disallow:
</b></p><p>Пример (сайт полностью запрещен к . Для этого используется символ «/»):Disallow: /</p><p>Пример (для индексирования запрещен файл «page.htm», находящийся в корневом каталоге и файл «page2.htm», располагающийся в директории «dir»):</p><p><b>Disallow: /page.htm
</b></p><p><b>Disallow: /dir/page2.htm
</b></p><p>Пример (для индексирования запрещены директории «cgi-bin» и «forum» и, следовательно, все содержимое данной директории):</p><p><b>Disallow: /cgi-bin/
</b></p><p><b>Disallow: /forum/
</b></p><p>Возможно закрытие от индексирования ряда документов и (или) директорий, начинающихся с одних и тех же символов, используя только одну запись «Disallow». Для этого необходимо прописать начальные одинаковые символы без закрывающей наклонной черты.</p><p>Пример (для индексирования запрещены директория «dir», а так же все файлы и директории, начинающиеся буквами «dir», т. е. файлы: «dir.htm», «direct.htm», директории: «dir», «directory1», «directory2» и т. д.):</p><h4><b>Запись «Allow»
</b></h4><p>Опция «Allow» используется для обозначения исключений из неиндексируемых директорий и страниц, которые заданы записью «Disallow».</p><p>Например, есть запись следующего вида:</p><p>Disallow: /forum/</p><p>Но при этом нужно, чтобы в директории /forum/ индексировалась страница page1. Тогда в файле robots.txt потребуются следующие строки:</p><p>Disallow: /forum/</p><p>Allow: /forum/page1</p><h4><b>Запись «Sitemap»
</b></h4><p>Эта запись указывает на расположение карты сайта в формате xml, которая используется поисковыми роботами. Эта запись указывает путь к данному файлу.</p><p>Sitemap: http://site.ru/sitemap.xml</p><h4><b>Запись «Host»
</b></h4><p>Запись «host» используется поисковой системой «Yandex». Она необходима для определения основного зеркала сайта, т. е. если сайт имеет зеркала (зеркало – это частичная или полная копия сайта. Наличие дубликатов ресурса бывает необходимо владельцам высокопосещаемых сайтов для повышения надежности и доступности их сервиса), то с помощью директивы «Host» можно выбрать то имя, под которым Вы хотите быть проиндексированы. В противном случае «Yandex» выберет главное зеркало самостоятельно, а остальные имена будут запрещены к индексации.</p><p>В целях совместимости с поисковыми роботами, которые при обработке файла robots.txt не воспринимают директиву Host, необходимо добавлять запись «Host» непосредственно после записей Disallow.</p><p>Пример: www.site.ru – основное зеркало:</p><p><b>Host: www.site.ru
</b></p><h4><b>Запись «Crawl-delay»
</b></h4><p>Эту запись воспринимает Яндекс. Она является командой для робота делать промежутки заданного времени (в секундах) между индексацией страниц. Иногда это бывает нужно для защиты сайта от перегрузок.</p><p>Так, запись следующего вида обозначает, что роботу Яндекса нужно переходить с одной страницы на другую не раньше чем через 3 секунды:</p><h4><b>Комментарии
</b></h4><p>Любая строка в robots.txt, начинающаяся с символа «#», считается комментарием. Разрешено использовать комментарии в конце строк с директивами, но некоторые роботы могут неправильно распознать данную строку.</p><p>Пример (комментарий находится на одной строке вместе с директивой):</p><p><b>Disallow: /cgi-bin/ #комментарий
</b></p><p>Желательно размещать комментарий на отдельной строке. Пробел в начале строки разрешается, но не рекомендуется.</p><h3><b>
4. Примеры файлов robots.txt
</b></h3><p>Пример (комментарий находится на отдельной строке):
<br><b>Disallow: /cgi-bin/#комментарий
</b></p><p>Пример файла robots.txt, разрешающего всем роботам индексирование всего сайта:</p><p>Host: www.site.ru</p><p>Пример файла robots.txt, запрещающего всем роботам индексирование сайта:</p><p>Host: www.site.ru</p><p>Пример файла robots.txt, запрещающего всем роботам индексирование директории «abc», а так же всех директорий и файлов, начинающихся с символов «abc».</p><p>Host: www.site.ru</p><p>Пример файла robots.txt, запрещающего индексирование страницы «page.htm», находящейся в корневом каталоге сайта, поисковым роботом «googlebot»:</p><p>User-agent: googlebot</p><p>Disallow: /page.htm</p><p>Host: www.site.ru</p><p>Пример файла robots.txt, запрещающего индексирование:</p><p>– роботу «googlebot» – страницы «page1.htm», находящейся в директории «directory»;</p><p>– роботу «Yandex» – все директории и страницы, начинающиеся символами «dir» (/dir/, /direct/, dir.htm, direction.htm, и т. д.) и находящиеся в корневом каталоге сайта.</p><p>User-agent: googlebot</p><p>Disallow: /directory/page1.htm</p><p>User-agent: Yandex</p><h3>5. Ошибки, связанные с файлом robots.txt</h3><p>Одна из самых распространенных ошибок – перевернутый синтаксис.</p><p><b>Неправильно:
</b></p><p>Disallow: Yandex</p><p><b>Правильно:
</b></p><p>User-agent: Yandex</p><p><b>Неправильно:
</b></p><p>Disallow: /dir/ /cgi-bin/ /forum/</p><p><b>Правильно:
</b></p><p>Disallow: /cgi-bin/</p><p>Disallow: /forum/</p><p>Если при обработке ошибки 404 (документ не найден), веб-сервер выдает специальную страницу, и при этом файл robots.txt отсутствует, то возможна ситуация, когда поисковому роботу при запросе файла robots.txt выдается та самая специальная страница, никак не являющаяся файлом управления индексирования.</p><p>Ошибка, связанная с неправильным использованием регистра в файле robots.txt. Например, если необходимо закрыть директорию «cgi-bin», то в записе «Disallow» нельзя писать название директории в верхнем регистре «cgi-bin».</p><p><b>Неправильно:
</b></p><p>Disallow: /CGI-BIN/</p><p><b>Правильно:
</b></p><p>Disallow: /cgi-bin/</p><p>Ошибка, связанная с отсутствием открывающей наклонной черты при закрытии директории от индексирования.</p><p><b>Неправильно:
</b></p><p>Disallow: page.HTML</p><p><b>Правильно:
</b></p><p>Disallow: /page.HTML</p><p>Чтобы избежать наиболее распространенных ошибок, файл robots.txt можно проверить средствами Яндекс.Вебмастера или Инструментами для вебмастеров Google. Проверка осуществляется после загрузки файла.</p><h3>6. Заключение</h3><p>Таким образом, наличие файла robots.txt, а так же его составление, может повлиять на продвижение сайта в поисковых системах. Не зная синтаксиса файла robots.txt, можно запретить к индексированию возможные продвигаемые страницы, а так же весь сайт. И, наоборот, грамотное составление данного файла может очень помочь в продвижении ресурса, например, можно закрыть от индексирования документы, которые мешают продвижению нужных страниц.</p>
<p>Присамостоятельном продвижении и раскрутке сайтаважно не только создание уникального контента или подборзапросов в статистике Яндекса (чтобы составитьсемантическое ядро), но и так же следует уделять должное внимание такому показателю, как<b>индексация сайта вЯндексеиГугле
</b>. Именно эти две поисковые системы доминируют в рунете и то, насколько полной и быстрой будет индексация вашего сайта в Яндексе и Гугле зависит весь дальнейший успех продвижения.</p> <br><br><p>У нас с вами имеются в распоряжении два основных инструмента, с помощью которых мы можем управлять индексацией сайта в Гугле и Яндексе. Во-первых, это, конечно же, файл<b>robots.txt
</b>, который позволит нам настроить запрет индексации всего того на сайте, что не содержит основного контента (файлы движка и дубли контента) и именно о robots.txt и пойдет речь в этой статье, но кроме robots.txt существует еще один важный инструмент для управления индексацией —карта сайта (Sitemap xml), о которой я уже довольно подробно писал в приведенной по ссылке статье.<br></p><h3>Robots.txt — почему так важно управлять индексацией сайта в Яндексе и Гугле</h3><p>Robots.txt и Sitemap xml (файлы позволяющие управлять индексацией сайта) очень важны для успешного развития вашего проект и это вовсе не голословное утверждение. В статье по Sitemap xml (см. ссылку выше) я приводил в пример результаты очень важного исследования по наиболее частым техническим ошибкам начинающих вебмастеров и там на втором и третьем месте (после не уникального контента) находятся как раз<b>robots.txt и Sitemap xml
</b>, а точнее либо отсутствие этих файлов, либо их неправильное составление и использование.</p><p>Надо очень четко понимать, что не все содержимое сайта (файлы и директории), созданного на каком-либо движке (CMS Joomla,SMFилиВордпресс), должно быть доступно для индексации Яндексом и Гугле (другие поисковые системы я не рассматриваю, в силу их малой доли в поиске рунета).</p><p>Если не прописать определенные правила поведения в robots.txt дляботов поисковых систем, то при индексации в поисковые системы попадет множество страниц, не имеющих отношения к содержимому сайта, а также может произойти многократное дублирование контента информации (по разным ссылкам будет доступен один и тот же материал сайта), что поисковики не любят. Хорошим решением будет запрет индексации в robots.txt.</p><p>Для того, чтобы задать правила поведения для поисковых ботов используется<b> файл robots.txt
</b>. С его помощью мы сможем влиять на процесс индексации сайта Яндексом и Google. Robot.txt представляет из себя обычный текстовый файл, который вы сможете создать, и в дальнейшем редактировать, в любом текстовом редакторе (например,Notepad++). Поисковый робот будет искать этот файл в корневом каталогевашего сайта и если не найдет, то будет индексировать все до чего сможет дотянуться.</p><p>Поэтому после написания требуемого файла robots.txt (все буквы в названии должны быть в нижнем регистре — без заглавных букв) его нужно сохранить в корневую папку сайта, например, с помощьюFtp клиента Filezilla, так чтобы он был доступен по такому адресу: http://vash_site.ru/robots.txt.</p><p>Кстати, если вы хотите узнать как выглядит файл robots.txt того или иного сайта, то достаточно будет дописать к адресу главной страницы этого сайта /robots.txt . Это может быть полезно для определения наилучшего варианта для вашего файла robots.txt, но при этом надо учитывать, что для разных сайтовых движков оптимальный файл robots.txt будет выглядеть по разному (<b>запрет индексации в robots.txt
</b>нужно будет делать для разных папок и файлов движка). Поэтому если вы хотите определиться с лучшим вариантом файла robots.txt>, допустим для форума на SMF, то и изучать файлы robots.txt нужно для форумов, построенных на этом движке.</p><h3>Директивы и правила написания файла robots.txt (disallow, user-agent, host)</h3><p>Файл robots.txt имеет совсем не сложный синтаксис, который очень подробно описан, например, в Я
ндексе. Обычно, в файле robots.txt указывается для какого поискового робота предназначены описанные ниже директивы (директива<b>"User-agent"
</b>), сами разрешающие ("<b>Allow
</b>") и запрещающие директивы ("<b>Disallow
</b>"), а также еще активно используется директива "<b>Sitemap
</b>" для указания поисковикам, где именно находится файл карты сайта.</p><p>Еще полезно указать в файле robots.txt какое из зеркал вашего сайта является главным<b>в директиве "Host
</b>". Если даже у вашего сайта нет зеркал, то полезно будет указать в этой директиве, какой из вариантов написания вашего сайта является главным с www или без него. Т.к. это тоже является своего рода зеркалированием. Об этом я подробно рассказывал в этой статье:Домены с www и без www — история появления, использование 301 редиректа для их склеивания.</p><p>Теперь поговорим немного о<b>правилах написания файла robots.txt
</b>. Директивы в файле robots.txt имеют следующий вид:</p><p><b>Правильный файл robots.txt
</b>должен содержать хотя бы одну директиву «Disallow» после каждой записи «User-agent». Пустой файл robots.txt предполагает разрешение на индексирование всего сайта.</p><p><b>Директива «User-agent»
</b>должна содержать название поискового робота. При помощи этой директивы в robots.txt можно настроить индексацию сайта для каждого конкретного поискового робота (например, создать запрет индексации отдельной папки только для Яндекса). Пример написания директивы «User-agent», адресованной всем поисковым роботам зашедшим на ваш ресурс, выглядит так:</p><p>Приведу несколько простых примеров<b>управления индексацией сайта в Яндексе
</b>, Гугле и других поисковиках с помощью директив файла robots.txt с объяснением его действий.</p><ol><b>1
</b>. Приведенный ниже код для файла robots.txt разрешает всем поисковым роботам проводить индексацию всего сайта без каких-либо исключений. Это задается пустой директивой Disallow.<p><b>3
</b>. Такой файл robots.txt будет запрещать всем поисковикам проводить индексацию содержимого каталога /image/ (http://mysite.ru/image/ — путь к этому каталогу)</p><p><b>5
</b>. При описании путей для директив Allow-Disallow можно использовать<b>символы "*" и "$"
</b>, задавая, таким образом, определенные логические выражения. Символ "*" означает любую (в том числе пустую) последовательность символов. Следующий пример запрещает всем поисковикам индексацию файлов на сайте с расширение «.aspx»:</p><table border="0" cellpadding="0" cellspacing="0" style="margin: 0px; padding: 0px;"><tbody style="margin: 0px; padding: 0px;"><tr style="margin: 0px; padding: 0px;"><td class="gutter" style="color: rgb(175, 175, 175) !important; margin: 0px; padding: 0px;">
</td><td class="code" style="margin: 0px; padding: 0px;"><p>Disallow: *.aspx</p>
</td>
</tr></tbody></table></ol><p>Во избежания возникновения неприятных проблем с зеркалами сайта (Домены с www и без www — история появления, использование 301 редиректа для их склеивания) , рекомендуется добавлять в файл<b>robots.txt директиву Host
</b>, которая указывает роботу Яндекса на главное зеркало вашего сайта (Директива Host, позволяющая задать главное зеркало сайта для Яндекса). По правилам написания robots.txt в записи для User-agent должна быть хотя бы одна директива Disallow (обычно ставят пустую, ничего не запрещающую):</p><table border="0" cellpadding="0" cellspacing="0" style="margin: 0px; padding: 0px;"><tbody style="margin: 0px; padding: 0px;"><tr style="margin: 0px; padding: 0px;"><td class="gutter" style="color: rgb(175, 175, 175) !important; margin: 0px; padding: 0px;">
</td><td class="code" style="margin: 0px; padding: 0px;"><p>User-agent: Yandex</p><p>Host: www.site.ru</p>
</td>
</tr></tbody></table><h3>Robots и Robots.txt — запрет индексации поисковыми системами дубликатов на сайте</h3><table cellpadding="0" cellspacing="0" class="ya-partner__list ya-context__list_item_1" style="border-collapse: separate !important; border-spacing: 0px !important; border: none !important; display: table !important; font-size: inherit !important; line-height: normal !important; margin: 0px !important; padding: 0px !important; width: 562px;"><tbody style="font-size: inherit !important; margin: 0px; padding: 0px;"><tr class="ya-partner__tr" style="font-size: inherit !important; margin: 0px; padding: 0px;"><td class="ya-partner__item ya-partner__item_pos_first ya-partner__item_pos_last" style="border-bottom-left-radius: 0px !important; border-bottom-right-radius: 0px !important; border-collapse: separate !important; border-spacing: 0px !important; border-top-left-radius: 0px !important; border-top-right-radius: 0px !important; font-size: inherit !important; line-height: normal !important; margin-bottom: 0px !important; margin-left: 0px; margin-right: 0px !important; margin-top: 0px; padding: 0.5em !important; position: static !important; vertical-align: top !important;"><br></td>
</tr></tbody></table><p>Существует еще один способ<b>настроить индексацию отдельных страниц сайта
</b> для Яндекса и Гугле. Для этого внутри тега «HEAD» нужной страницы, прописывается МЕТА-тег Robots и так повторяется для всех страниц, к которым нужно применить то или иное правило индексации (запрет или разрешение). Пример применения мета-тега:</p><table border="0" cellpadding="0" cellspacing="0" style="margin: 0px; padding: 0px;"><tbody style="margin: 0px; padding: 0px;"><tr style="margin: 0px; padding: 0px;"><td class="gutter" style="color: rgb(175, 175, 175) !important; margin: 0px; padding: 0px;">
</td><td class="code" style="margin: 0px; padding: 0px;"><p><meta name= "robots" content= "noindex,nofollow" ></p><p><meta name= "description" content= "Эта страница...." ></p><p><title>...
В этом случае роботы всех поисковых систем должны будут забыть об индексации этой страницы (об это говорит noindex в мета-теге) и анализе размещенных на ней ссылок (об этом говорит nofollow) .
Существуют только две парыдиректив мета тега Robots
: index и follow:
Index — указывают, может ли робот проводить индексацию данной страницы
Follow — может ли он следовать по ссылкам со страницы
Значения по умолчанию – «index» и «follow». Есть также укороченный вариант написания с использованием «all» и «none», которые обозначают активность всех директив или, соответственно, наоборот: all=index,follow и none=noindex,nofollow .
Для блога на WordPress вы сможете настроить мета-тег Robots, например, с помощью плагинаAll in One SEO Pack . Ну все, с теорией покончено и пора переходить к практике, а именно, к составлению оптимальных файлов robots.txt для Joomla, SMF и WordPress.
Как известно, у проектов, созданных на основе какого-либо движка (Joomla, WordPress, SMF и др), имеется множество вспомогательных файлов не несущих никакой информативной нагрузки.
Если не запретить индексацию всего этого мусора вrobots.txt
, то время, отведенное поисковыми системами Яндекс и Гугл на индексацию вашего сайта, будет тратиться на перебор поисковыми роботами файлов движка на предмет поиска в них информационной составляющей, т.е. контента, который, кстати, в большинстве CMS хранится в базе данных, к которой поисковым роботам никак не добраться (вы можете работать с базами черезPhpMyAdmin). В этом случае, времени на полноценнуюиндексацию сайта
у роботов Яндекса и Гугла может не остаться.
Кроме того, следует стремиться к уникальности контента на своем проекте и не следует допускать дублирования контента (информационного содержимого) вашего сайта при индексировании. Дублирование может возникнуть в том случае, если один и тот же материал будет доступен по разным адресам (URL). Поисковые системы Яндекс и Гугл, проводя индексацию сайта, обнаружат дубли и, возможно, примут меры к некоторой пессимизации вашего ресурса при их большом количестве.
Если ваш проект создан на основе какого-либо движка (Joomla, SMF, WordPress), то дублирование контента будет иметь место возможно с высокой вероятностью, а значит нужно с ним бороться, в том числе ис помощью запрета индексации в robots.txt
.
Например, в WordPress, страницы с очень похожим содержимым, могут попасть в индекс Яндекса и Гугле если разрешена индексация содержимого рубрик, содержимого архива тегов и содержимого временных архивов. Но если с помощью мета-тега Robots создать запрет на индексацию архива тегов и временного архива (можно теги оставить, а запретить индексацию содержимого рубрик), то дублирования контента не возникнет. Для этой цели в WordPress лучше всего будет воспользоваться возможностямиплагина All in One SEO Pack.
Еще сложнее с дублированием контента обстоит дело в форумном движке SMF. Если не производить тонкую настройку (запрет) индексации сайта в Яндексе и Гугле через robots.txt, то в индекс поисковых систем попадут многократные дубли одних и тех же постов. В Joomla иногда возникает проблема с индексацией и дублированием контента обычных страниц и их копий, предназначенных для печати.
Robots.txt предназначен для задания глобальных правил запрета индексации в целых директориях сайта, либо в файлах и директориях, в названии которых присутствуют заданные символы (по маске). Примеры задания таких запретов индексации вы можете посмотреть в первой статье этой статьи.
Для запрета индексации в Яндексе и Гугле
одной единственной страницы, удобно использовать мета-тег Robots, который прописывается в шапке (между тегами HEAD) нужной страницы. Подробно о синтаксисе мета-тега Robots чуть выше по тексту. Для запрета индексации внутри страницы можно использовать тег NOINDEX , но он, правда, поддерживается только поисковой системой Яндекс.
Директива Host в robots.txt для Яндекса
Теперь давайте рассмотрим конкретные примеры robots.txt, предназначенного для разных движков — Joomla, WordPress и SMF. Естественно, что все три файла robots.txt, созданные для разных движков, будут существенно (если не сказать кардинально) отличаться друг от друга. Правда, будет во всех этих robots.txt один общий момент и момент этот связан с поисковой системой Яндекс.
Т.к. в рунете поисковик Яндекс имеет достаточно большой вес, то нужно учитывать все нюансы его работы, то для корректнойиндексации сайта в Яндексе нужна директива Host в robots.txt
. Эта директива, в явной форме, укажет Яндексу главное зеркало вашего сайта. Более подробно почитать об этом вы можете здесь:Директива Host, позволяющая задать главное зеркало сайта для Яндекса.
Для указания директивы Host советуют использовать отдельный блог User-agent в файле robots.txt, предназначенный только для Яндекса (User-agent: Yandex). Это связано с тем, что остальные поисковые системы могут не понимать директиву Host и, соответственно, ее включение в директиву User-agent, предназначенную для всех поисковиков (User-agent: *), может привести к негативным последствиям и неправильной индексации вашего сайта.
Как обстоит дело на самом деле — сказать трудно, ибоалгоритмы работы поисковиков — это вещь в себе, поэтому лучше сделать в robots.txt все так, как советуют. Но в этом случае в файле robots.txt вам придется дублировать в директиве User-agent: Yandex все те правила, что вы задали в директиве User-agent: * . Если вы оставите директиву User-agent: Yandex с пустой директивой Disallow: , то таким образом выв robots.txt разрешите Яндексу индексацию всего сайта
.
Прежде чем перейти к рассмотрению конкретных вариантов файла robots.txt, хочу вам напомнить, что проверить работу своего файла robots.txt вы можете в Яндекс ВебмастериГугл Вебмастер.
Правильный robots.txt для форума SMF
Allow: /forum/*sitemap
Allow: /forum/*arcade
Allow: /forum/*rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*. new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
User-agent: Slurp
Crawl-delay: 100
Обратите внимание, что этот robots.txt приведен для того случая, когда ваш форум SMF установлен в директории forum основного сайта. Если форум не стоит в директории, то просто удалите из всех правил /forum . Авторы данного варианта файла robots.txt для форума на движке SMF говорят, что он даст максимальный эффект для правильной индексации в Яндексе и Гугле, если вы не будете активировать на своем форуме дружественные URL (ЧПУ).
Дружественные URL в SMF можно активировать или дезактивировать в админке форума, пройдя по следующему пути: в левой колонке админки выбираете пункт «Характеристики и настройки», в нижней части открывшегося окна находите пункт "Разрешить дружественные URL ", где можете поставить или снять галочку.
Еще одинправильный файл robots.txt для форума SMF
(но, наверное, еще не окончательно оттестированный):
Allow: /forum/*sitemap
Allow: /forum/*arcade # если не стоит мод игр, удалить без пропуска строки
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*. new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /forum/*go.php # либо тот редирект что стоит у вас
Как вы можете видеть в этом robots.txt, директива Host , предназначенная только для Яндекса, включена в директиву User-agent для всех поисковиков. Я бы, наверное, все-таки добавил отдельную директиву User-agent в robots.txt только для Яндекса, с повтором всех правил. Но решайте сами.
User-agent: Slurp
Crawl-delay: 100
связано с тем, что поисковая система Yahoo (Slurp — это имя его поискового бота) производит индексацию сайта в много потоков, что может негативно сказаться на его производительности. В этом правиле robots.txt, директива Crawl-delay, позволяет задать поисковому роботу Yahoo минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. Это позволит снять нагрузку на серверпри индексации сайта поисковой системой Yahoo
.
Для запрета индексации в Яндексе и Гугле версий для печати страниц форума SMF рекомендуют проделать, описанные ниже операции (для их осуществления понадобится открыть некоторые файлы SMF на редактирование с помощью программы FileZilla). В файле Sources/Printpage.php находите (например, с помощью встроенного поиска вNotepad++) строку:
В файле Themes/название_вашей_темы_оформления/Printpage.template.php находите строку:
Если вы так же хотите, чтобы в версии для печати была ссылка для перехода на полную версию форума (в случае, если часть страниц для печати уже прошла индексацию в Яндексе и Гугле), то в том же файле Printpage.template.php вы находите строку с открывающим тегом HEAD:
Получить больше информации по этому варианту файлаrobots.txt для форума SMF
вы можете, почитавэту ветку русскоязычного форума поддержки SMF.
Правильный robots.txt для сайта на Joomla
Как запретить индексацию определенных страниц?
Разрешения и запрещения на индексацию берутся всеми поисковыми системами из файла robots.txt
, находящегося в корневом каталоге сервера. Запрет на индексацию ряда страниц может появиться, например, из соображений секретности или из желания не индексировать одинаковые документы в разных кодировках. Чем меньше ваш сервер, тем быстрее робот его обойдет. Поэтому запретите в файле robots.txt все документы, которые не имеет смысла индексировать (например, файлы статистики или списки файлов в директориях). Обратите особое внимание на CGI или ISAPI скрипты - наш робот индексирует их наравне с другими документами.
В простейшем виде (разрешено все, кроме директории скриптов) файл robots.txt выглядит следующим образом:
User-Agent: * Disallow: /cgi-bin/
Детальное описание спецификации файла можно прочитать на странице: « ».
При написании robots.txt обратите внимание на следующие часто встречающиеся ошибки:
1. Строка с полем User-Agent
является обязательной и должна предшествовать строкам с полем Disallow
. Так, приведенный ниже файл robots.txt не запрещает ничего:
Disallow: /cgi-bin Disallow: /forum
2. Пустые строки в файле robots.txt являются значимыми, они разделяют записи, относящиеся к разным роботам. Например, в следующем фрагменте файла robots.txt строка Disallow: /forum
игнорируется, поскольку перед ней нет строки с полем User-Agent.
User-Agent: * Disallow: /cgi-bin Disallow: /forum
3. Строка с полем Disallow
может запретить индексирование документов только с одним префиксом. Для запрета нескольких префиксов нужно написать несколько строк. Например, нижеприведенный файл запрещает индексирование документов, начинающихся с “/cgi-bin /forum
”, которых, скорее всего, не существует (а не документов с префиксами /cgi-bin
и /forum
).
User-Agent: * Disallow: /cgi-bin /forum
4. В строках с полем Disallow
записываются не абсолютные, а относительные префиксы. То есть файл
User-Agent: * Disallow: www.myhost.ru/cgi-bin
запрещает, например, индексирование документа http://www.myhost.ru/www.myhost.ru/cgi-bin/counter.cgi
, но НЕ запрещает индексирование документа http://www.myhost.ru/cgi-bin/counter.cgi
.
5. В строках с полем Disallow
указываются именно префиксы, а не что-нибудь еще. Так, файл:
User-Agent: * Disallow: *
запрещает индексирование документов, начинающихся с символа «*
» (которых в природе не существует), и сильно отличается от файла:
User-Agent: * Disallow: /
который запрещает индексирование всего сайта.
Если вы не можете создать/изменить файл robots.txt
, то еще не все потеряно — достаточно добавить дополнительный тег в HTML-код вашей страницы (внутри тега ):
Тогда данный документ также не будет проиндексирован.
Вы также можете использовать тэг
Он означает, что робот поисковой машины не должен идти по ссылкам с данной страницы.
Для одновременного запрета индексирования страницы и обхода ссылок с нее используется тэг
Как запретить индексацию определенных частей текста?
Чтобы запретить индексирование определенных фрагментов текста в документе, пометьте их тегами
Внимание! Тег NOINDEX не должен нарушать вложенность других тегов. Если указать следующую ошибочную конструкцию:
запрет на индексирование будет включать не только «код1» и «код2», но и «код3».
Как выбрать главный виртуальный хост из нескольких зеркал?
Если ваш сайт находится на одном сервере (одном IP), но виден во внешнем мире под разными именами (зеркала, разные виртуальные хосты), Яндекс рекомендует вам выбрать то имя, под которым вы хотите быть проиндексированы. В противном случае Яндекс выберет главное зеркало самостоятельно, а остальные имена будут запрещены к индексации.
Для того, чтобы индексировалось выбранное вами зеркало, достаточно запретить индексацию всех остальных зеркал при помощи . Это можно сделать, используя нестандартное расширение robots.txt — директиву Host
, в качестве ее параметра указав имя основного зеркала. Если www.glavnoye-zerkalo.ru
— основное зеркало, то robots.txt должен выглядеть примерно так:
В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву Host необходимо добавлять в группе, начинающейся с записи User-Agent, непосредственно после записей Disallow.
Аргументом директивы Host
является доменное имя с номером порта (80
по умолчанию), отделенным двоеточием. Если какой-либо сайт не указан в качестве аргумента для Host
, для него подразумевается наличие директивы Disallow: /
, т.е. полный запрет индексации (при наличии в группе хотя бы одной корректной директивы Host
). Таким образом, файлы robots.txt
вида
User-Agent: * Host: www.myhost.ru
User-Agent: * Host: www.myhost.ru:80
эквивалентны и запрещают индексирование как www.otherhost.ru
, так и www.myhost.ru:8080
.
Параметр директивы Host обязан состоять из одного корректного имени хоста (т.е. соответствующего RFC 952
и не являющегося IP-адресом) и допустимого номера порта. Некорректно составленные строчки Host
игнорируются
.
Если у вас сервер Apache, то можно вместо использования директивы Host задать robots.txt с использованием директив SSI:
User-Agent: * Disallow: /
В этом файле роботу запрещен обход всех хостов, кроме www.главное_имя.ru
Как включать SSI, можно прочесть в документации по вашему серверу или обратиться к вашему системному администратору. Проверить результат можно, просто запросив страницы:
Http://www.главное_имя.ru/robots.txt http://www.другое_имя.ru/robots.txt
и т.д. Результаты должны быть разные.
Рекомендации для веб-сервера Русский Apache
В robots.txt на сайтах с русским апачем должны быть запрещены для роботов все кодировки, кроме основной.
Если кодировки разложены по портам (или серверам), то надо выдавать на разных портах (серверах) РАЗНЫЙ robots.txt. А именно, во всех файлах robots.txt для всех портов/серверов, кроме «основного», должно быть написано:
User-Agent: * Disallow: /
Для этого можно использовать механизм SSI, .
Если кодировки в вашем Apache выделяются по именам «виртуальных» директорий, то надо написать один robots.txt, в котором должны быть примерно такие строчки (в зависимости от названий директорий):
