Мета-тег robots — це маленький фрагмент HTML-коду, який допомагає вебмайстрам домовлятися з пошуковими роботами. Звучить технічно, але його суть дуже людська: уявіть, що ви залишаєте нотатку біля дверей для гостя — що можна робити у квартирі, а що ні. Так само мета-тег robots підказує Google, Bing чи іншим ботам, що дозволено індексувати на сторінці, а що краще оминути. Це особливо важливо, коли на сайті є дублі контенту, службові сторінки або окремі посилання, які не мають передавати SEO-вагу.
Для чого потрібен мета-тег robots
З першого погляду здається, що роботам достатньо файлу robots.txt. І справді, цей файл дає базові вказівки про те, куди заходити не можна. Але от в чому нюанс: мета-тег robots дозволяє діяти набагато тонше. Він працює на рівні кожної окремої сторінки, дозволяючи вибудовувати складну SEO-архітектуру. Наприклад, ви можете заборонити індексацію самої сторінки, але залишити відкритими посилання на ній — і навпаки.
Це стає незамінним інструментом, коли доступу до кореневого каталогу (щоб змінити robots.txt) немає — наприклад, у випадку з CMS, де контроль обмежений.
Як виглядає мета-тег robots у коді
Його структура досить проста. У розділі <head> HTML-документа ви вставляєте такий рядок:
Усі важливі вказівки передаються через атрибут content. Саме в ньому йдуть директиви, які боти сприймають як інструкцію.
Які директиви бувають і що вони значать
Можливості цього тегу досить широкі. Ось основні директиви, які можна використовувати:
- index / noindex — дозволити або заборонити індексацію вмісту сторінки
- follow / nofollow — дозволити або заборонити аналіз посилань на сторінці
- all / none — повний дозвіл або повна заборона на індексацію і сканування (еквівалентно index, follow / noindex, nofollow)
- noimageindex — заборона на індексацію зображень
- noarchive — блокування функції “збережена копія” в Google
- nosnippet — не показувати фрагмент тексту під заголовком сторінки у видачі
- noodp — не використовувати опис із каталогу DMOZ (Open Directory Project)
Коли який варіант застосовувати
У різних SEO-сценаріях правильне використання мета-тега robots може кардинально вплинути на ранжування сайту. Наприклад:
- сторінки-фільтри в інтернет-магазинах, які створюють дублікати
- сторінки зі службовою інформацією (кошик, профіль, історія замовлень)
- архіви або пагінація, які не несуть окремої цінності для індексації
Використання директив можна варіювати. Якщо, скажімо, вам потрібно, щоб сторінку не індексували, але посилання на ній передавали вагу — використовуйте noindex, follow. Якщо ж потрібно заблокувати і те, й інше — підійде none.
Один тег — багато сценаріїв
Що цікаво: якщо ви хочете повністю дозволити індексацію, навіть не обов’язково додавати тег у код. Відсутність мета-тега robots за замовчуванням означає index, follow. Проте, щоб уникнути непорозумінь, краще все ж явно прописати свою позицію.
Крім того, тег можна адаптувати під конкретні пошукові системи. Наприклад, якщо потрібно дати окремі вказівки лише для Google-бота, то замість robots можна написати googlebot.
Це дозволяє будувати складні сценарії, коли одна сторінка в Google індексується інакше, ніж у Bing.
Важливі поради щодо використання
Хоча мета-тег robots — інструмент простий, є кілька моментів, які слід враховувати:
- Не змішуйте суперечливі директиви — наприклад,
index, noindexодночасно. Це заплутує бота, і він може проігнорувати весь тег. - Не повторюйте директиви — це зайве і не дає жодного бонусу.
- Тег не чутливий до регістру — можна писати як
NOINDEX, так іnoindex. - Не плутайте з robots.txt — ці інструменти доповнюють один одного, але працюють на різних рівнях. У robots.txt ви блокуєте доступ до розділів сайту, а в мета-тезі — даєте інструкції вже на рівні конкретної сторінки.
Робота в парі з robots.txt
У деяких випадках мета-тег і robots.txt можуть використовуватися одночасно. Наприклад, у файлі ви закриваєте цілий каталог, а всередині нього деякі сторінки залишаєте відкритими — саме на них і варто використовувати мета-тег robots.
Проте якщо директиви в файлі і в тегі суперечать одна одній — переможе суворіше обмеження. Сторінка, яка в одному з джерел має “заборону”, не буде проіндексована.
Мета-тег robots — це не просто технічна деталь, а стратегічний інструмент для SEO. З його допомогою ви можете тонко керувати тим, як і що бачать пошукові системи на вашому сайті. У світі, де контенту дедалі більше, а конкуренція за місце в топі зростає, можливість дати точні інструкції ботам — це вже не розкіш, а необхідність. Навчіться правильно його використовувати — і ваш сайт скаже вам дякую у вигляді кращої видимості в Google.