Файл robots.txt в 2026: полное руководство по закрытию сайта от индексации без ошибок

Что нужно знать сразу: полное закрытие сайта от индексации в robots.txt — это две строки:

User-agent: *
Disallow: /

Шаблон работает для любой CMS и для обоих основных поисковиков. Но в 2026 году этого мало: помимо Яндекс и Google ваш сайт сканируют AI-краулеры, и без отдельного запрета они продолжают забирать контент, даже когда сайт формально закрыт от поиска.

Что вы узнаете из этого руководства:

• как закрыть сайт от индексации одной директивой и почему это работает не всегда;
• каких AI-краулеров нужно блокировать в 2026 году;
• какие ошибки в robots.txt обнуляют трафик и как их исправить;
• как закрыть только часть сайта — админ-панель, тестовую среду, служебные разделы;
• как проверить результат в Яндекс.Вебмастере и Google Search Console.

Robots.txt в 2026: почему простой запрет уже не работает

Файл robots.txt остается основным инструментом для полного закрытия сайта от индексации. Для этого используется классическая комбинация директив: User-agent: * и Disallow: /. Эти две строки дают команду всем поисковым роботам не сканировать и не индексировать ваш сайт.

Но в 2026 году задача стала сложнее. Просто заблокировать Яндекс и Google недостаточно. На поле появились новые игроки — AI-краулеры. Они сканируют контент для обучения крупных языковых моделей. Если вы игнорируете их в своем robots.txt, ваш уникальный контент становится открытым для сторонних ИИ-систем. Это прямая угроза вашему контентному капиталу.

Неправильная настройка приводит к тому, что сайт формально закрыт для поиска, но остается доступным для этих новых ботов. Это не просто техническая деталь, это вопрос защиты ваших интеллектуальных ресурсов. Сценарии полного и частичного закрытия сайта подробно разобраны в отдельном материале — полный гайд по закрытию сайта от индексации в 2026 году.

AI-краулеры: новые игроки на поле индексации

В 2026 году вам нужно управлять доступом для следующих основных AI-краулеров:

• GPTBot (OpenAI)
• Google-Extended (Google AI)
• ClaudeBot (Anthropic)
• PerplexityBot
• OAI-SearchBot
• и другие

Цель этих ботов — сбор данных для обучения и улучшения крупных языковых моделей. Они сканируют веб-контент, как обычные поисковые роботы. Их игнорирование в файле robots.txt равносильно добровольному открытию вашего сайта для их анализа. Если ваш контент — это результат инвестиций в SEO и копирайтинг, его защита становится критически важной.

Безошибочный код: как полностью закрыть сайт одной командой

Как закрыть сайт от индексации в Яндекс и Google в 2026 году?

Классический и актуальный код для полного запрета индексации всего сайта выглядит так:

User-agent: *
Disallow: /

Разбор синтаксиса прост:

• User-agent: * — эта директива адресована всем роботам. Символ * означает «любой».
• Disallow: / — это запрет. Символ / указывает на корневую директорию сайта, то есть на весь проект.

Эта комбинация работает для всех основных поисковых роботов, включая Яндекс и Google. Она дает чёткую команду: не сканировать, не индексировать.

Disallow: / — ваша главная команда на остановку

Директива Disallow — это ваш запрет. Когда вы указываете / после нее, вы запрещаете доступ ко всему сайту. Это эффективный и простой способ остановить индексацию.

Пример корректного файла robots.txt для полного закрытия:

User-agent: *
Disallow: /

Sitemap: https://example.com/sitemap.xml

Вы можете добавить директиву Sitemap, но при полном запрете она становится неактуальной для роботов. Основной принцип остается неизменным: две строки дают полный контроль.

Типичные ошибки, которые отправят ваш SEO в нокаут

Ошибки в robots.txt могут мгновенно обнулить ваши SEO-усилия. Вот самые критичные:

1. Файл robots.txt не в корне сайта. Роботы ожидают найти этот файл по адресу https://yourdomain.com/robots.txt. Если он расположен в другой директории, например /assets/, инструкции будут игнорироваться.
2. Неправильный синтаксис. Ошибка в написании директив, например Disallow без двоеточия или User-agent с ошибкой, делает файл некорректным. Роботы не понимают такие команды. Пример некорректного кода:

   User-agent: *
   Disallow /private/
   

   Директива без двоеточия не распознается: правило просто игнорируется, а раздел /private/ остается открытым для сканирования.
3. Использование Allow вместо Disallow для закрытия. Директива Allow разрешает доступ. Если вы хотите закрыть сайт, используйте только Disallow. Опасная комбинация — запрет и разрешение на один и тот же путь:

   User-agent: *
   Disallow: /
   Allow: /
   

   Правила конфликтуют, и поисковая система отдает приоритет разрешающей директиве: сайт остается в индексе, хотя формально вы его закрывали.
4. Забыть обновить файл после изменений на сайте. Если вы добавляете новые разделы или меняете структуру, нужно проверить, что запреты в robots.txt остаются актуальными.

Каждую ошибку можно проверить и исправить через инструменты для веб-мастеров, такие как Яндекс.Вебмастер и Google Search Console. После создания или изменения robots.txt всегда проводите эту проверку.

Одна ошибка в robots.txt может мгновенно обнулить трафик из поиска. Разбор реальных ситуаций, когда закрытие срабатывает против владельца сайта, и порядок исправления — в статье «Критические ошибки robots.txt в 2026 году».

Автоматическая защита от AI-краулеров: решение для Magento 2 и других платформ

Для владельцев сайтов на Magento 2 существует эффективное автоматизированное решение — модуль angeo/module-robots-txt-aeo. Этот инструмент автоматически добавляет правила для управления AI-краулерами в ваш файл robots.txt.

Принцип его работы называется Inject mode. Модуль не перезаписывает ваш существующий файл. Он добавляет специальный блок с правилами для AI-ботов в начало robots.txt. Все ваши пользовательские правила остаются ниже этого блока и полностью сохраняются.

Модуль управляет доступом для ключевых AI-краулеров: GPTBot, Google-Extended, ClaudeBot, PerplexityBot, OAI-SearchBot и других. Это практический пример новой концепции — AI Engine Optimization (AEO), оптимизации для управления доступом ИИ-ботов.

Модуль совместим с PHP 8.2+ и Magento 2.4+ (Open Source и Adobe Commerce Cloud). Для других CMS принцип остается тем же: нужно вручную добавить соответствующие директивы User-agent и Disallow для каждого AI-бота в ваш файл robots.txt. Логика простая: не перезаписывать конфигурацию целиком, а аккуратно дополнять ее — так меньше шансов случайно сломать уже работающие правила.

Модуль robots-txt-aeo: как настроить «умный» запрет в три шага

Вот конкретный пошаговый кейс применения этого автоматизированного инструмента для Magento 2:

1. Установка модуля через Composer. Выполните команду установки в вашем проекте. Модуль интегрируется с системой.
2. Проверка настроек модуля. После установки вы можете отключить модуль полностью или выборочно запретить доступ для конкретных AI-ботов через его настройки. Это дает гибкость.
3. Проверка итогового файла robots.txt. После активации модуля проверьте ваш файл robots.txt. Вы увидите новый блок с правилами для AI-краулеров в его начале.

Результат: ваш сайт автоматически закрывается не только для традиционных поисковых роботов, но и для современных ИИ-сканеров. Вы получаете защиту без ручного редактирования сложного кода.

Сегментированная блокировка: когда нужно закрыть только часть сайта

Robots.txt — это не только инструмент для полного запрета. Он дает точный контроль для сегментированного закрытия отдельных разделов сайта. Это полезно в нескольких сценариях:

• Закрытие админ-панели. Например, Disallow: /admin/.
• Запрет индексации тестовой среды. Например, Disallow: /test/ или Disallow: /staging/.
• Блокировка директории с логинами или конфиденциальными данными. Например, Disallow: /logs/ или Disallow: /private/.

Пример синтаксиса для таких случаев:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /

В этом примере запрещен доступ к папкам /admin/ и /private/, но разрешен доступ к остальному сайту (Allow: /). Вы можете комбинировать правила для разных User-agent, например, давая разные инструкции для Яндекс и Google.

Сегментированное закрытие помогает защитить конфиденциальные данные и служебные разделы без негативного влияния на индексацию основного, полезного контента. Это важный инструмент для управления техническим SEO.

Если задача обратная — не закрыть сайт, а быстрее вернуть важные страницы в индекс, механика будет другой: корректные Allow-правила, чистый Sitemap и переобход в Яндекс.Вебмастере. Практические настройки для SEO-специалистов и владельцев B2B-сайтов разобраны в статье об ускоренной индексации в Яндексе.

Финальная проверка: убедитесь, что ваш запрет работает на 100%

После создания или изменения файла robots.txt необходима финальная проверка. Инструменты для веб-мастеров — ваш главный помощник.

Яндекс.Вебмастер и Google Search Console имеют специальные инструменты для тестирования файла robots.txt. Они покажут, как поисковые роботы интерпретируют ваши директивы, и выявят возможные ошибки синтаксиса или логики.

Как интерпретировать результаты:

• Успешная проверка означает, что файл корректный и доступен.
• Ошибки или предупреждения указывают на проблемы, которые нужно исправить перед применением изменений.

Если после внедрения правил роботы все еще посещают сайт, проверьте логи сервера. Иногда боты могут игнорировать robots.txt, особенно нестандартные. Как дополнительную меру можно использовать meta-тег noindex на конкретных страницах, но это менее масштабное решение.

Итоговый чек-лист перед запуском:

1. Файл robots.txt расположен в корне сайта (например, https://yourdomain.com/robots.txt).
2. Синтаксис проверен через Яндекс.Вебмастер и Google Search Console.
3. Директивы Disallow и User-agent написаны корректно.
4. Если используется автоматический модуль (например, для Magento 2), его работа подтверждена.
5. Для полного закрытия убедитесь, что директива Disallow: / присутствует и адресована всем роботам (User-agent: *).

Если сайт не индексируется, несмотря на корректный robots.txt, причины могут быть глубже: meta-теги noindex, htaccess, nginx.conf, рендеринг на JavaScript. Пошаговый разбор таких ситуаций — в чек-листе «Сайт не индексируется в Яндексе: срочная диагностика и исправление».

Закрытие сайта — это не конец, а стратегическая пауза

Полное закрытие сайта от индексации через robots.txt — это временное удаление сайта из поиска. Но это не означает уничтожение вашего контентного капитала. Ваш контент, структура сайта и все данные сохраняются на сервере.

Для будущего возвращения в индекс вам нужно просто удалить или изменить файл robots.txt. Убрать директиву Disallow: / или настроить правила для частичного открытия. После этого роботы смогут начать сканирование, и сайт постепенно вернется в результаты поиска.

Это тот же принцип, что и в контент-стратегии: сохранить базу и вернуться к ней позже. Контент, который поддерживают и регулярно обновляют, продолжает работать в поиске, а техническая пауза не обнуляет накопленный результат.

Резюме: управление файлом robots.txt в 2026 году — это вопрос контроля, а не потери. Вы контролируете, кто сканирует ваш сайт: традиционные поисковые системы, новые AI-краулеры или никто. Правильная настройка дает вам эту власть и сохраняет потенциал для любого будущего сценария продвижения.

Автоматизация сложных технических задач, таких как управление индексацией или масштабирование контента, становится стандартом. Инструменты вроде модуля robots-txt-aeo для Magento 2 или SerpJet для генерации SEO-статей решают эти задачи в один клик. Они превращают рутину в контролируемый процесс, экономят время и защищают ваши инвестиции в цифровые активы.