Как закрыть сайт от индексации? (запретить в robots.txt)

Заметка на тему: SEO

Иногда требуется создать сайты, которые нужны лишь для внутреннего пользования и их обязательно частично или полностью закрыть от индексации в поисковых системах. Так же это полезно и на время разработки будущего публичного сайта, ведь во время тестирования создаётся большое количество ненужной информации, разделов и прочего, что может попасть в поисковые системы. Лучше на это время запретить индексацию сайта в robots.txt.

Как полностью закрыть сайт от индексации в robots.txt?

Полностью закрытый файл robots.txt - это самый быстрый и надежный вариант, который используется, когда необходимо полностью запретить индексацию сайта. Для этого необходимо в корне сайта создать файл robots.txt и прописать в нём всего две строчки:

где User-agent: * - дает установку, что правила запрета или разрешения индексирования действуют для всех поисковых ботов (Яндекс, Google и так далее),
Disallow: / - говорит от том, что нужно запретить переход по всем ссылкам относительно корня сайта /. То есть, фактически, данное правило позволяет полностью закрыть сайт от индексации.

Как запретить индексацию страницы или папки в robots.txt?

Для того, что бы закрыть от индексации только лишь одну страницу или какой-то раздел (папку) сайта, нужно немного доработать написанное выше правило.

Предположим, что я захотел запретить индексацию некого раздела или папки /testing/ на своём сайте https://vitalik.ws/. Остальные же разделы сайта, включая главную, должны индексироваться.

Стандартное правило для индексации сайта всеми поисковыми системами в robots.txt выглядит так:

где Disallow: с пустым назначением говорит нам "на данном сайте ничего не запрещено к индексации". То есть можно индексировать всё.

Но Вы же помните, что нам нужно добавить папку /testing/ в запрет к индексированию. Для этого мы просто пишем после Disallow: с новой строки дополнительное правило:

где знак * - это любые значения. То есть дословно звучит как "запретить переходы по любым страницам, файлам, подкатегориям и пр. в папке /testing/"
В итоге robots.txt будет выглядеть вот так:


Если Вы хотите добавить в запрет какой-то файл или запрос, то сделать это можно тем же способом, используя параметр Disallow и звездочку (*). Например, я хочу запретить к индексации на всём сайте GET запрос ?source=test и файл index.php в корне сайта. Я делаю это следующим образом:

Да, я просто добавил ещё две новые строки:

В первой Disallow: /?source=* - я запретил любой GET source запрос, о чем говорит звёздочка. Указано это от корня сайта (/), поэтому правило распространится на весь сайт.

Как лучше всего проверять, закрыт ли сайт от индексации и что именно запрещено к индексированию?

Для того, что бы быть уверенным, что запрет индексации на определенные страницы или на весь сайт действует именно так, как Вы задумали, я рекомендую воспользоваться инструментами от поисковых систем. Например, это панель вебмастера от Яндекс (инструмент называется анализ robots.txt).

В данном инструменте проверки robots.txt Вы можете загрузить вписанные вами правила с работающего сайта и проверить, попадают ли определенные страницы сайт под эти правила запрета. Это нужно и полезно, что бы быть точно уверенным, что Вы закрыли от индексации именно те разделы сайта, которые и планировали.

Теперь у Вас есть все необходимые знания и инструменты для того, что бы закрыть сайт от индексации или запретить какие-то разделы сайта в robots.txt. Удачного создания новых web-проектов!