Как закрыть сайт от индексации поисковыми роботами
  • Решения
    • Контекстная реклама
      • Яндекс Директ
      • Google Реклама
    • SEO-продвижение
    • Создание сайтов
    • Аудит
      • Аудит рекламных кампаний
      • SEO аудит сайта
  • О нас
  • Кейсы
  • Блог
  • Контакты

+7 (812) 985-55-53

  • Главная
  • Блог
  • SEO-продвижение
  • Как закрыть от индексации сайт / страницу

Как закрыть от индексации сайт / страницу

Как закрыть сайт от индексации

Необходимость закрытия контента сайта или сайта целиком от индексации может возникнуть в следующих случаях:

  • при изменении структуры URL страниц сайта;
  • при изменении дизайна и структуры сайта;
  • когда станица еще не оптимизирована под seo-продвижение;
  • когда происходит тестирование глобальных изменений на сайте.

Закрыть от индексации можно как весь сайт, так и отдельную страницу. Рассмотрим два основных варианта закрытия от индексации контента – это при помощи метатега robots и директив в файле robots.txt.

Закрыть индексацию с помощью метатега robots

Влиять на индексацию контента сайта поисковыми роботами можно прописывая метатег robots либо в http-заголовке, либо в коде страницы.

Ниже приведен пример запрета на индексацию страницы сайта при помощи добавления метатега в http-заголовок в head-раздел страницы. Если метатег robots прописать в http-заголовке главного шаблона (для сайтов с динамическом формированием контента), то он запретит индексацию всего сайта.

<!DOCTYPE html>

<html>

<head>

........

<meta name="robots" content="noindex" /> 

........

</head>

<body>

</body>

</html>

Чтобы запретить сканирование определенному поисковому роботу, то необходимо указать его user-agent. Пример с роботом Google:

<meta name="googlebot" content="noindex" />

В случае, если нет технической возможности добавить метатег в код http-заголовка, то этот же метатег можно добавить в код страницы, он запретит индексирование страницы всем поисковым роботам:

<meta name="robots" content="noindex, nofollow">

Также можно запретить индексацию всех изображений, размещенных на странице:

<meta name="robots" content="noimageindex">

Закрыть индексацию с помощью robots.txt

При помощи директив в файле robots.txt можно ограничить индексацию не только всего сайта, но и отдельных страниц, разделов, папок и файлов сайта. Несмотря на то, что директивы файла robots.txt носят рекомендательный характер и многие краулеры могут их не исполнять, роботы Google и Яндекс работают с файлом достаточно корректно.

Запрет на индексацию при помощи директив файла robots.txt:

  • User-agent: *Disallow: / - всего сайта всеми поисковыми роботами;
  • User-agent: YandexDisallow: / - всего сайта поисковым роботом Яндекса;
  • Disallow: /papka/ - отдельной папки всеми поисковыми роботами;
  • User-agent: YandexDisallow: /papka/file - отдельного файла поисковым роботом Яндекс.

Андрей
13 Февраля 22
2829
Поделиться

Категории

  • Контекстная реклама
  • SEO-продвижение
  • Интернет-маркетинг

Популярные посты

Преимущества и недостатки контекстной рекламы: обзор основных плюсов и минусов
4135
10.04.25
Контекстная реклама: суть, преимущества и эффективность
4193
08.04.25
Поисковая оптимизация: что такое SEO и как это работает
3103
04.04.25
Словарь интернет маркетинга
4902
07.11.24
КОМПАНИЯ
  • О компании
  • Связаться с нами
  • Конфиденциальность
  • Персональные данные
РЕКЛАМА
  • Контекстная реклама
  • Яндекс Директ
  • Google Реклама
  • Аудит рекламы
САЙТЫ
  • Создание сайтов
  • SEO-продвижение
  • SEO аудит сайта
ИНФОРМАЦИЯ
  • Блог о маркетинге
  • Кейсы
© A2Marketing, 2014-2025

Агентство маркетинга и продвижения мобильных приложений.

8 (812) 985-55-53

Санкт-Петербург

sale@a2marketing.ru

Отдел маркетинга