Закрываем сайт от поисковых роботов

Приветствую вас, уважаемые читатели блога AFlife.ru! В этой статье я хочу поговорить о том, как закрыть сайт от индексации. Я расскажу, как можно скрыть весь сайт целиком, а также его отдельные элементы. Мы разберёмся с существующими способами закрытия, а также часто встречающимися ошибками.

Сперва отмечу, что боты поисковых систем просматривают все имеющиеся в интернете данные. В определённых случаях у владельца сайта может возникнуть необходимость в закрытии доступа к имеющимся на ресурсе сведениям. Как правило, это выполняется при помощи файла «robots.txt».

Посетители не должны видеть в поисковиках служебные вкладки, ссылки на личные кабинеты, устаревшие материалы и т.п. Также рекомендуется закрывать индексацию скриптов, баннеров, особенно больших файлов, а также всплывающих уведомлений. Благодаря этому можно значительно сократить время индексации и понизить загруженность сервиса.

Полное закрытие от индексации

Как правило, подобная необходимость возникает в процессе создания или изменения дизайна ресурса. Также имеют место ситуации, когда вебмастеры всячески экспериментируют или изучают механики работы с сайтом. Закрыть ресурс от индексации можно для конкретного поискового бота, для всех существующих, а также для всех, за исключением одного. Соответствующие команды показаны на изображении снизу.

Закрытие отдельно взятых элементов

Небольшие одностраничники, как правило, не нуждаются в сокрытии конкретных элементов. Однако крупные площадки, в которых содержится много служебных сведений, часто подвергаются процедуре сокрытия некоторых страниц и даже разделов. В качестве примера можно выделить панель администратора, кабинет пользователя, регистрационные формы, разделы «Избранное», «Корзина» и т.п.

Также рекомендую вам отключать индексацию «мусорного» содержания. К таковому можно отнести старые и неактуальные публикации, различные акции и специальные предложения, заметки в календаре. Сокрытие устаревших данных позволит сохранить актуальность всего ресурса. Также можно регулярно обновлять контент ресурса для того, чтобы не заниматься его сокрытием. Непосредственно запрет в рассматриваемом случае осуществляется при помощи команд, показанных на изображении снизу.

Сокрытие прочей информации

Под «прочей» информацией я подразумеваю различные папки, документы, скрипты, метки и тому подобные элементы, которые можно скрыть при помощи файла robots.txt. Они также могут быть сокрыты целиком, либо частично, для всех существующих поисковых ботов, или же для каких-либо конкретных. На картинке снизу показаны использующиеся для этого команды.

Как выглядит robots.txt на AFlife.ru

Если у вас свой информационный сайт, можете скачать правильный robots.txt по этой ссылке и добавить в корневой каталог своего сайта, предварительно изменив в двух последних строках доменное имя на свое.

Сокрытие информации при помощи мета-тегов

В качестве замены вышеописанного robots.txt можно воспользоваться похожим мета-тегом под названием «robots». Его необходимо вставить в изначальный код страницы, содержащийся в файле «index.html». Помещать его необходимо в контейнер. Также потребуется ввести краулеров, для которых индексация сайта будет недоступна. Если ресурс будет скрыт полностью, необходимо вставить «robots», если для конкретного поисковика – наименование его бота (Googlebot для Гугла и Yandex, соответственно, – для Яндекса). Мета-тег можно указать сразу в двух вариантах (они показаны на картинке снизу).

В обоих вариантах следует уделить особое внимание переменной «content», так как она обладает сразу несколькими значениями:

1. «none» – полный запрет индексации;
2. «noindex» – запрет только на индексацию контента;
3. «nofollow» – запрет на индексацию различных адресов и ссылок;
4. «follow» – разрешение на индексацию различных адресов и ссылок;
5. «all» – разрешение на полную индексацию;
6. «index» – разрешение только на индексацию контента.

То есть, вы можете наложить запрет на индексацию контента, но всё же оставить различные ссылки. В таком случае потребуется просто вести следующую строку: content= «noindex, follow». В итоге будет происходить индексация ссылок, в то время как текст обрабатываться не будет.

Также стоит отметить, что при использовании подобного метода вам не потребуется отдельно создавать файл robots.txt.

Ошибки, на которые следует обратить внимание

Если после выполнения вышеописанных манипуляций у вас не получилось отключить индексацию, рекомендую обратить внимание на несколько моментов. В первую очередь проверьте логичность команд. Очень часто они противоречат друг другу, из-за чего не работают. Найти подобные ошибки можно посредством проверки robots.txt при помощи соответствующих инструментов в кабинете вебмастера.

Другой пласт распространённых ошибок – синтаксические. В данном случае подразумевается неправильная запись команд в файле. Рекомендую проверять файл сразу же после внесения нужных команд: так можно будет заранее найти ошибки и не тратить время на их поиск в будущем. На этом тему закрытия от индексации можно закончить. Вы можете подписаться на информационную рассылку для того, чтобы постоянно быть в курсе выхода новых полезных публикаций. Благодарю за внимание, всего хорошего!