Стаття для тих, кому ліньки читати довідку по GoogleWebmaster та ЯндексВебмайстер
| Закриття непотрібних сторінок веб-ресурсу від пошукової індексації є дуже важливим для його SEO-оптимізації, особливо на початковому етапі становлення сайту або блогу «на ноги». Така дія сприяє просуванню та рекомендована до застосування для службових сторінок. До службових сторінок відносяться технічні та сервісні сторінки, призначені виключно для зручності та обслуговування клієнтів, що вже відбулися. Ці сторінки з незручним або дублюючим контентом, який не є абсолютно ніякою пошуковою цінністю. Сюди входять - листування користувача, розсилка, статистика, оголошення, коментарі, особисті дані, налаштування користувача і т.д. А також - сторінки для сортування матеріалу (пагінація), зворотного зв'язку, правила та інструкції тощо. |
- Метатег robots
Метатег robots
Для управління поведінкою пошукових роботів на веб-сторінці, існує метатег robots і його атрибут content.закриття веб-сторінки від пошукової індексації,
- Метатег robots
- Чому метатег robots кращий за файл robots.txt
Секрети оптимізації сайтів полягають не тільки в їх просуванні за ключовими запитами, турботою про юзабіліті та збільшення трафіку, а й у правильному використанні html-коду. Правильне застосування тегів та його атрибутів часто допомагає уникнути багатоденної роботи. Є популярні та ефективні прийоми. Напевно, у SEO-оптимізації не можна відокремити один від одного атрибути rel nofollow і тег noindex. Тому в цій статті йтиметься і про те, і про інше, а також про те, для чого вони потрібні, чи варто їх ставити поряд і в яких випадках ними користуватися, а коли цього робити не варто.
Індексування сторінок та їх вага
Один із найважливіших параметрів влучення сайту в ТОП 10 пошукових систем - вага його сторінок. Саме вони потрапляють у першу видачу Яндекса та Google, а за ними й інтернет-портали. Вага кожної з них підвищується за рахунок посилань як зовнішніх, так і внутрішніх. Розуміти, як відбувається процес розподілу цього параметра між сторінками свого сайту та інтернет-проектами, посилання яких розміщені на власному ресурсі, важливо для кожного веб-майстра.
Куди йде вага
Розглянемо елементарний приклад. Припустимо, що у головному тексті розташовані два посилання, які ведуть інші публікації. Спочатку надамо кожній сторінці вагу рівну 1. При індексації пошуковий робот врахує обидві посилання. При цьому вага головної сторінки зменшиться на коефіцієнт, що дорівнює 0,85. Неважко підрахувати, скільки отримають публікації, куди ведуть посилання: 0,85/2=0,425.
Алгоритм цей не є точним та офіційним розрахунком пошукових систем. Він викладений у тому, щоб читачеві загалом було зрозуміло розподіл такого параметра, як вага сторінки. Коли його значення зрозуміло, легше сприймати інформацію про те,
Приховати посилання від пошукових роботів
Звичайно, будь-який сайт створюється з метою отримати будь-який прибуток з нього. І вага кожної сторінки цінується веб-майстром. Але не розміщувати у своїх публікаціях неможливо. На це є причини, і ось кілька із них:
Купівля та продаж посилань приносить прибуток;
Підвищується відвідуваність інтернет-проекту.
Існує думка, що атрибут тега a-rel nofollow допоможе приховати анкори від пошукових роботів і при цьому вага сторінки збережеться. Але це твердження можливе лише за правильного написання коду. Точне написання цього атрибуту виглядає так:
>анкор.
Правильна перелінковка тільки надає сайту ваги і підвищує його ранжування. Зайве говорити, що для внутрішніх посилань немає потреби використовувати a href rel nofollow.
Приклад використання
Пояснення загалом який завжди відкриває повну картину важливості застосування тих чи інших тегів та його атрибутів. Приховати посилання не віддати вагу сторінки свого сайту іншому. Що це? Просто жадібність? Ні, це не так. Наприклад, на багатьох сайтах є кнопки соціальних мереж. Погодьтеся, що їхній траст і так великий. Коди соціальних кнопок із збереженням ваги власних сторінок прописуються з використанням атрибутів target blank, rel nofollow. Перший із них після кліку приведе відвідувача на сторонні інтернет-ресурси, відкривши ще одну вкладку браузера. Другий – не дозволить зменшити вагу сторінки. Наприклад, для кнопки соціальної мережі Twitter це виглядатиме так:
a rel=”nofollow”target=”_blank”href=”URL/home/.
Варто обмовитися про валідність коду – дотримання всіх технічних вимог html-розмітки. Тег rel external nofollow не тільки не гірше замінює атрибут target_blank, а й краще сприймається роботами пошукових систем.
A rel href nofollow, або Коли він ще потрібен
Приховування від пошукових систем посилань на «погані» або нетематичні сайти;
Того, щоб сховати велику кількість адрес на сторонні ресурси;
Приховування посилань, якщо веб-майстер ними торгує;
Непередача ваги мегапопулярним порталам, таким як Яндекс або Google;
Приховування посилань у коментарях.
Nofollow рятує сайти, а особливо блоги від спаму. Неперевірені посилання, закриті таким атрибутом, все рідше і рідше з'являтимуться у коментарях.
Noindex, і чому про нього варто говорити
Заборону індексування можна задати не тільки на посилання зовнішніх і внутрішніх, але й на окремі елементи текстів, а також сторінки цілком. Для цього веб-майстри використовують тег noindex. Приховує він лише тексти. До картинок і фотографій не можна застосувати. Посилання ж, які успішно ховає rel nofollow, noindex приховати від пошукових систем не може. Анкори робот не побачить, а адреси проіндексує. Noindex зазвичай використовують для приховання частини контенту:
З нецензурними виразами;
З неунікальним текстом;
Тег, безумовно, потрібно використовувати. Але працює він не на кожному движку. Справа в тому, що noindex не валідний, тобто не відповідає стандартам. Саме тому одна з найпопулярніших платформ для ведення блогів WordPress "викидає" тег зі свого коду. Секрет валідності полягає у застосуванні кількох знаків.. Написавши код у такому вигляді, можна бути впевненим, що сторінки блогу на WordPress Яндекс не проіндексують.
Спільне використання
Чи варто прописувати тег і атрибут у коді сторінки? Нічого не заважає використовувати noindex і a rel nofollow у парі. Тег не заважає атрибуту, і навпаки. Ставлять їх поруч, тому що пошукові системи по-різному бачать код сайту. Наприклад, при використанні і тег, і атрибуту веб-майстер може бути впевнений, що анкор робот Яндекса не розпізнає, як і не побачить і посилання. Google побачить текст, але вага не передасть стороннім сторінкам інших сайтів.
Спеціально для новачків
Оптимізація сайтів – нова на ринку праці та цікава робота. Відсутність системно спланованих інформаційних ресурсів для новачків значно ускладнює їхню діяльність. І природно, молоді веб-майстри роблять помилки. Хтось наповнює контент шаленою кількістю посилань, хтось залишає сторінки взагалі без однієї. Та ж картина у випадку з розстановкою тега noindex і атрибута rel nofollow.
Прагнення вивести сайт у ТОП пошукових систем є причиною скоєння критичної помилки. Справа в тому, що новачки часто закривають зовнішні посилання і тегом, і атрибутом. Це певною мірою дійсно зберігає вагу кожної сторінки сайту. Але правда й у тому, що ті самі зовнішні посилання підвищують довіру з боку пошукових систем. Компенсувати втрату ваги можна просуванням за низько- та середньочастотними запитами.
Будь-якому оптимізатору варто пам'ятати, що будь-яка інформація сприйматиметься читачами з великою довірою у разі можливості перейти за посиланням до її джерела. Напевно, самі веб-майстри навряд чи візьмуть на озброєння книгу або брошуру, в якій відсутній список використаної літератури.
Дедалі більше користувачів Інтернету орієнтується на авторитетні джерела. І якщо молодий сайт не посилатиметься на їхню думку, то йому буде складніше утримати читачів, залучити передплатників. Само собою це негативно вплине на оптимізацію ресурсу. Чи варто сліпо використовувати атрибути rel nofollow?
Хороший веб-майстер піклується про свого читача. Пам'ятає, що однією з основ Інтернету є посилання на авторитетні ресурси, що надають достовірну інформацію. Сайти, зроблені для людей, пошукові системи «люблять». І вага сторінок не єдиний параметр, яким сторінки з контентом потрапляють у ТОП. За 800 параметрами Яндекс оцінює інтернет-проекти.
І, зрештою, вага сторінок має значення лише для публікацій, які отримали його від посилань зі сторонніх сайтів. Як показує досвід, донори, залишивши цей параметр ранжирування собі, не піднімаються ним вище в «очах» пошукових систем.
Почнемо з того, що позначимо різні способи використання noindex і nofollow:
- Тег
- Метатеги і
Тег
Тег
Помилка №1.Основна помилка людей, які використовують цей тег, полягає в переконанні, що якщо частина будь-якого тексту вміщена між тегом, що відкривається і закривається.
Єдине, що цей тег забороняє – це поміщення вмісту в індексну базу, але цей вміст у будь-якому випадку буде прочитаний та проаналізований роботом.
Приклад: На сторінці вашого сайту розміщено певний текст, який використовує прямі входження пропозицій з інших джерел. Отже, ці пропозиції знижують унікальність тексту, а вам необхідно, щоб унікальність була 100%. Ви вирішуєте закрити ці пропозиції тегом
Абсолютно весь текст вашої сторінки буде прочитаний та оброблений роботом, і йому буде відомо, що текст вашої сторінки не є унікальним.
Сама суть тега
Припустимо, пошуковий робот зайшов на вашу сторінку і почав сканувати вміст. Якийсь момент робот знаходить відкриття тега
Для чого тоді потрібен тег
Він потрібний безпосередньо для того, щоб заборонити роботу видавати у видачі своєї пошукової системи будь-яку інформацію. Це можуть бути, наприклад, контакти, які з будь-яких причин не повинні відображатися у видачі.
Помилка №2.Ще одна помилка, яка часто зустрічається серед власників сайтів, - це думка, що посилання, поміщене в тег
На допомогу вебмайстрам, яким необхідно, щоб робот все ж таки не враховував посилання зі сторінок, приходить атрибут, який працює як для Яндекса, так і для Google. При використанні цього атрибуту посилання все одно буде вивчено роботом і по ньому буде проведено перехід, але без nofollow за посиланням буде передана вага адресату, а з nofollow вага згорятиме.
Приклад 1:
Яндекс не індексує анкор, але враховує посилання на сайт і передає по ньому вагу
Приклад 2:
Яндекс не індексує анкор і не передає вагу за посиланням на сайт
Існує два способи написання тега
1.
2. Текст, заборонений до індексування
Другий варіант більш правильний. Оскільки тег
Метатеги і
Використання метатегу noindex у коді сторінки забороняє Яндексу (Google, знову ж таки, в даному випадку не бере участі) індексувати весь текстовий вміст сторінки, посилання будуть проаналізовані повною мірою. Тобто наявність у коді сторінки цього метатегу не є рівнозначною закриттю сторінки від індексу в robots.txt.
Наявність у коді сторінки метатегу nofollow забороняє пошуковим системам індексувати посилання на сторінках. Перейти за посиланнями зі сторінки за наявності цього метатегу роботи також не будуть. Але ось що написано за допомогою Яндекса:
«Робот не відвідає документи, якщо посилання на них стоять зі сторінки, що містить метатег зі значенням nofollow, проте вони можуть бути проіндексовані, якщо в інших джерелах на них вказані посилання без nofollow»
Підведемо підсумки
Тег
Якщо хочемо, щоб вага посилання не передавався адресату, то використовуємо атрибут nofollow. При цьому не забуваємо, що робот все одно може пройти за посиланням (якщо інформація про неї отримана з інших джерел: карта сайту, посилання) та проаналізує сторінку, на яку вона посилається. Метод працює як Яндекс, так Google.
Насамперед давайте почнемо з того, що існує кілька принципово різних понять: тег
Що таке тег
– тег, який запропонували використовувати пошукові системи для заборони індексації укладеного в нього контенту. Цей тег не входить до офіційної специфікації гіпертекстової розмітки веб-сторінок формату html.
Важливо: він розпізнається лише пошуковими системами Яндекс і Рамблер. Google не належить до пошукових систем, що розуміють даний html тег.
Що таке атрибут
rel=”nofollow”– значення, яке забороняє пошуковим системам переходити за посиланням, у якому використовується цей атрибут.
Нижче буде розглянуто всі приклади використання тега
Тег noindex та атрибут rel=“nofollow”
Тег
Цей тег можна використовувати для закриття посилань від індексації. Ось так це виглядатиме в коді сторінки:
для посилань
Тег
Цей тег можна використовувати для закриття контенту від індексації. Існує два способи. У коді сторінки це виглядатиме так:
для контенту - варіант 1
< noindex >< / noindex > |
для контенту - варіант 2
Текст, заборонений до індексування
< ! -- noindex -- >Текст, заборонений індексуванню< ! -- / noindex -- > |
Але варто пам'ятати, що цей тег розуміють лише пошукові системи Яндекс та Рамблер. Його властивості не розповсюджуються на Google. Тому, якщо на вашому сайті є неякісний контент, закрити його у такий спосіб можна лише від роботів Яндекса та Рамблера.
для посилань
Даний атрибут, найчастіше, використовується оптимізаторами в тому випадку, якщо вони хочуть, щоб пошукові системи не враховували наявність вихідного посилання як фактор передачі ваги, але посилання все одно буде вивчене роботом. Ось як це виглядає у коді:
rel=”nofollow”
текст посилання
Зазвичай це доречно тоді, коли посилання проставляються автоматично, наприклад, у коментарях. Якщо ви не можете або не бажаєте поручитися за зміст сторінок, на які ведуть посилання з вашого сайту, слід вставляти в теги таких посилань. Такий атрибут розуміють і Google-боти та Яндекс-боти, а у своїх довідках пошукові системи пишуть таке:
Якщо ви уважно прочитали інформацію за вказаними вище посиланнями, тепер ви знаєте, що вага за nofollow-посиланням не передається. Але з практики, ми можемо сміливо сказати, що наявність таких посилань у профілі – дуже корисний і досить природний фактор в очах пошукових систем. Але мати багато вихідних посилань на своєму сайті може бути негативним фактором, навіть якщо вони закриті через цей атрибут.
Чи потрібно використовувати rel=”nofollow” для внутрішніх посилань
Як використовувати спільно тег
Ось приклад коду, коли оптимізатори використовують тег
"спільно
Але цей метод повноцінно працює лише для роботів Яндекса. Google розуміє лише >.
Мета-тег
Цей мета-тег встановлюється у секцію
на тій сторінці, яка не повинна індексуватися і виглядає так:Мета-тег
… ...< head > < meta name = "robots" content = "noindex, nofollow" / > . . . < / head > |
Суть значень noindex і nofollow в мета-тезі залишається такою ж:
Noindex– забороняє індексацію на рівні сторінки (весь контент, який на ній є), але не забороняє пошуковим роботам відвідувати її та переходити за посиланнями, що використовуються у контенті.
– забороняє пошуковим роботам переходити за посиланнями на рівні сторінки (і за зовнішніми, і за внутрішніми).
Комбінації
Є кілька випадків, коли використовують цей мета-тег на практиці. Під ці випадки є різні рішення:
- потрібно використовувати у випадку, якщо ви не хочете, щоб сторінку було проіндексовано пошуковими системами, але роботи змогли б перейти за посиланнями з цієї сторінки на інші. Наприклад, це може бути друга сторінка пагінації на сайті типу site.com/category/?page=2, на якій є посилання на наступні товари і ви не хочете, щоб ця сторінка була проіндексована пошуковою системою.
- виконує те саме. У цьому випадку ви забороните пошуковій системі індексувати сторінку, але переглядати її та ходити за посиланнями роботи зможуть.
- – забороняє індексувати контент на відповідній сторінці, а також забороняє роботам переходити за посиланнями.
- – дозволяє роботам індексувати сторінку та ходити за посиланнями. Такий мета-тег немає сенсу використовувати, оскільки за умовчанням, і без нього пошукачам дозволено виконувати самі дії. Але якщо на вашому сайті він встановлений і ви не збираєтеся обмежувати роботу робота, спеціально видаляти його немає сенсу.
- - Дозволяє індексувати сторінку, але за посиланнями, які в ній містяться, робот переходити не буде.
- - робить те саме - дозволяє індексувати сторінку, але за посиланнями, які в ній містяться, робот переходити не буде.
Цей мета-тег можна використовувати як для Google, так і для Яндекс окремо
Якщо вам потрібно закрити від індексації сторінки лише для Google, можна використовувати . Так говорить довідка Google.
Якщо закрити від індексації лише для Яндекса – . Про це також дуже докладно написано у довідці Яндекс.
Як поєднувати meta name="robots" з robots.txt і в чому важлива різниця
Деякі оптимізатори не розуміють різницю між мета-тегом та закриттям відповідної сторінки у файлі robots.txt. Обидва способи забороняють пошуковим роботам індексувати сторінку сайту, але відмінність все-таки є:
Перший дозволяє роботам зайти на цю сторінку, побачити мета-тег і виключити її з індексу або не індексувати.
Друга – забороняє зайти на сторінку, і якщо раптом вона раніше вже була проіндексована, вона може довго перебувати в індексі пошукових систем, навіть якщо ви її закриєте у файлі robots.txt, без права на переіндексацію, згодом ви можете бачити її у пошуку так:
Тому для непроіндексованих сторінок можна використовувати будь-який варіант.
Якщо сторінка вже була проіндексована, рекомендується встановити в секцію
мета-тег . Це виключить її з індексу і запобігатиме подальшому попаданню в нього.Якщо ваш сайт створений на WordPress, правильно налаштувати дані мета-теги допоможе безкоштовний плагін Yoast SEO. Приблизно так це виглядає:
Допомогти проаналізувати наявність всіх цих елементів (і мета-тегів та тегів та атрибутів) у коді сторінок сайту може розширення для браузера RDS-бар:
Правильно налаштувавши його, ви зможете бачити контент, загорнутий у тег
І використання мета-тегу :
Тепер ви знаєте як за допомогою даних методів налаштувати правильну індексацію сайту, що може вплинути на краще на його просування в цілому.
Ми випустили нову книгу «Контент-маркетинг у соціальних мережах: Як засісти в голову передплатників та закохати їх у свій бренд».
Noindex - тег-покажчик для пошукових систем (Яндекс і Rambler), який застерігає, що частину веб-сторінки не потрібно індексувати.
Більше відео на нашому каналі - вивчайте інтернет-маркетинг із SEMANTICA
У чому різниця між noindex і nofollow
Перша суттєва відмінність їх у тому, що перший був видно раніше для Google, а другий - тільки для Яндекса та Rambler. В даний час Яндекс також навчився розпізнавати Ноуфоллоу, який працює тільки для посилань, а Ноуіндекс – для будь-якого коду сайту.
Застосування Nofollow не перетворює посилання на невидиме, а лише вказує, що нею не потрібно йти і індексувати документ, на який вона веде. Пошуковий робот індексує це гіперпосилання, але вага з сайту не передається, якщо вона веде на чужий ресурс. Працює цей атрибут для всіх пошукових систем.
Що стосується тега Noindex, то з ним працює лише Яндекс. Гугл просто проігнорує його. Використовувати його потрібно в тих випадках, коли ви хочете закрити якусь ділянку сторінки – текст, картинку чи посилання – від індексації. Пошуковик контент розпізнає, але згодом викидає з індексу. Цей захід встановлений для повного аналізу сторінки та процедури накладання можливих санкцій за порушення.
Для чого потрібний Noindex
- Закривається непотрібна/неунікальна інформація, що покращує релевантність сторінки, тому що збільшується щільність ключових фраз, відповідність до тематики, унікальність.
- Ховаються наскрізні блоки та гіперпосилання, наявність яких може призводити до песимізації.
- Приховується особиста та службова інформація, якщо ви не бажаєте, щоб вона легко знаходилася через пошук.
Для чого потрібний Nofollow
- Закриття зайвих веб-посилань.
- Збереження ваги сторінки постійним.
- Розподіл певної ваги за посиланнями.
Як використовувати noindex і nofollow
Тег Noindex для будь-якого контенту застосовується так:
текст, який треба приховати , і щетекст.
Працюючи з Ноиндекс існує можливість, що знизиться валідність коду, оскільки цей тег знає лише російський поисковик. Тому рекомендується наступний варіант написання:
.
Весь текст, який треба приховати.
При цьому інші пошукові системи просто його пропустять, і валідність коду залишиться незмінною.
Атрибут Nofollow для посилань застосовується
При цьому анкор потрапляє в індекс, але пошуковик за веб-посиланням не йде, вага на сторінці залишається.
Якщо на сторінці занадто багато Нофоллоу, це може негативно позначитися на лояльності пошукових систем.
Спільне використання
Для того, щоб закрити і текстову частину, і гіперпосилання, слід дотримуватися такого написання:
Весь текст, який треба приховати анкор, та ще текст
Варіанти правильного використання Noindex та Nofollow для заборони індексації документа в цілому
Тег і атрибут, весь час ходять за ручку, і часто їх застосовують разом. Вони можуть застосовуватися в meta name=robots документа для вказівки рекомендацій щодо його індексації та переходу за веб-посиланнями. Вказівка на заборону індексації потрібна, якщо виявлено дублі сторінок, Або в мережі з'явилася конфіденційна або застаріла інформація, а іншим способом сторінки прибрати не можна.
У випадку, якщо ви хочете закрити всю сторінку від індексації та заборонити облік посилань, що розміщуються на ній, необхідно вказати в метаданих сторінки - наступне:
Ноуіндекс створює команду Яндексу не індексувати контент на сторінці, але робот ходить її веб-посиланнями. Тому додатковий Ноуфоллоу вказує на них не ходити. Цю вказівку сприймають як Яндекс, так і Google.
Щодо видалення документа з індексу Google, то пошукачем передбачено альтернативний метод: запис X-Robots-Tag: noindex, nofollow. Ця вказівка закріплюється в http-заголовках, які не видно в коді сторінки.
Розповідаємо про різницю між Nofollow та Noindex, як їх правильно використовувати для посилань та приховання контенту на сайті.
Завжди слідкуйте за наявністю розглянутих у статті тегів та атрибутів у потрібних місцях, щоб отримувати саме той результат, на який ви очікуєте.
