Как да предотвратите индексирането с помощта на robots txt

Как използвате файла robots.txt, за да предотвратите индексирането на страници в сайта?

Добър ден!

Тази задача се решава с помощта на командата Disallow.

Ще дам конкретни примери:

1. Ако трябва да затворите конкретни страници (например адреса на RSS емисия):

Потребителски агент: * Забрана: /page1.html Забрана: /posts/page2.html

2. Ако трябва да затворите секцията на сайта — като използвате секцията с публикации като пример, затворете страницата site.ru/posts + всички страници от типа site.ru/posts/page1.html, site.ru/posts/page2 .html и др.:

Потребителски агент: * Disallow: /постове/

3. Ако искате да затворите всички страници или секции (папки), в името на които фигурира думата 'posts':

Потребителски агент: * Disallow: публикации

4. Ако трябва да затворите динамично генерирани страници, които имат адрес site.ru/?page=xxx:

Потребителски агент: * Забрана: /*?страница*

5. Ако трябва да използвате robots txt, за да забраните изцяло индексирането на сайта (да, понякога това също се изисква):

Потребителски агент: * Забрана: /

Можете също да прочетете по-подробно за robots txt файла в моята статия на дадения линк.

Като допълнителна мярка можете също да използвате мета таг, ако двигателят позволява поставянето му на отделни страници (по-специално за WordPress плъгинът All in Seo Pack прави това):

Като цяло забраната за индексиране е много важно нещо при оптимизирането на търсачките, тъй като повечето машини вече създават страници, които дублират едно и също съдържание и е много важно тези дубликати да бъдат затворени чрез горните методи.