Как закрыть сайт от индексации поисковыми роботами
  • Услуги
    • Яндекс Директ
      • Контекстная реклама
      • Медийная реклама
      • Смарт-баннеры
      • Реклама приложений
    • Google Реклама
      • Поисковые кампании
      • Видеореклама
      • Торговые кампании
      • Кампании Discovery
    • SEO-продвижение
    • Аудит
      • Аудит рекламных кампаний
      • SEO аудит сайта
  • О нас
  • Кейсы
  • Блог
  • Контакты

+7 (812) 985-55-53

  • Главная
  • Блог
  • SEO-продвижение
  • Как закрыть от индексации сайт / страницу

Как закрыть от индексации сайт / страницу

Как закрыть сайт от индексации

Необходимость закрытия контента сайта или сайта целиком от индексации может возникнуть в следующих случаях:

  • при изменении структуры URL страниц сайта;
  • при изменении дизайна и структуры сайта;
  • когда станица еще не оптимизирована под seo-продвижение;
  • когда происходит тестирование глобальных изменений на сайте.

Закрыть от индексации можно как весь сайт, так и отдельную страницу. Рассмотрим два основных варианта закрытия от индексации контента – это при помощи метатега robots и директив в файле robots.txt.

Закрыть индексацию с помощью метатега robots

Влиять на индексацию контента сайта поисковыми роботами можно прописывая метатег robots либо в http-заголовке, либо в коде страницы.

Ниже приведен пример запрета на индексацию страницы сайта при помощи добавления метатега в http-заголовок в head-раздел страницы. Если метатег robots прописать в http-заголовке главного шаблона (для сайтов с динамическом формированием контента), то он запретит индексацию всего сайта.

<!DOCTYPE html>

<html>

<head>

........

<meta name="robots" content="noindex" /> 

........

</head>

<body>

</body>

</html>

Чтобы запретить сканирование определенному поисковому роботу, то необходимо указать его user-agent. Пример с роботом Google:

<meta name="googlebot" content="noindex" />

В случае, если нет технической возможности добавить метатег в код http-заголовка, то этот же метатег можно добавить в код страницы, он запретит индексирование страницы всем поисковым роботам:

<meta name="robots" content="noindex, nofollow">

Также можно запретить индексацию всех изображений, размещенных на странице:

<meta name="robots" content="noimageindex">

Закрыть индексацию с помощью robots.txt

При помощи директив в файле robots.txt можно ограничить индексацию не только всего сайта, но и отдельных страниц, разделов, папок и файлов сайта. Несмотря на то, что директивы файла robots.txt носят рекомендательный характер и многие краулеры могут их не исполнять, роботы Google и Яндекс работают с файлом достаточно корректно.

Запрет на индексацию при помощи директив файла robots.txt:

  • User-agent: *Disallow: / - всего сайта всеми поисковыми роботами;
  • User-agent: YandexDisallow: / - всего сайта поисковым роботом Яндекса;
  • Disallow: /papka/ - отдельной папки всеми поисковыми роботами;
  • User-agent: YandexDisallow: /papka/file - отдельного файла поисковым роботом Яндекс.

Андрей
13 Февраля 22
1615
Поделиться

Категории

  • SEO-продвижение
  • Контекстная реклама
  • Интернет-маркетинг

Популярные посты

Как закрыть от индексации сайт / страницу
1615
13.02.22
Новый принцип работы типов соответствия ключевых слов в Google Рекламе
1971
09.02.21
Чек-лист перевода сайта с HTTP на HTTPS
2968
07.03.20
Как настроить коллтрекинг за 190 рублей в месяц
2428
06.03.20
© A2 Marketing, 2014-2021

Услуги интернет-маркетинга. Комплексное продвижение сайтов: реклама + поисковая оптимизация.

Услуги
  • Контекстная реклама
  • Медийная реклама
  • Мобильная реклама
  • Таргетированная реклама
  • Продвижение сайтов
  • Аудит
Компания
  • О компании
  • Блог о маркетинге
  • Наши кейсы
  • Контакты
  • Политика конфиденциальности
  • Обработка персональных данных
СВЯЗАТЬСЯ С НАМИ

+7 (812) 985-55-53

sale@a2marketing.ru