Владелец фирмы услуг слышал, что ИИ «ворует контент», и хочет закрыть сайт от ботов, но боится исчезнуть из ответов ChatGPT, Gemini и Perplexity. Однако robots.txt не прячет страницу из Google — он управляет тем, какие боты могут её посещать и с какой целью. У каждой компании есть два типа ботов: одни нужны для поиска (показывают фирму в ответах ассистентов), другие — для обучения (используют контент сайта для обучения ИИ). Блокировка всех ботов одной строкой означает пропажу из поиска ассистентов.
На этой странице ты узнаешь, боты каких компаний посещают твой сайт, что происходит после их блокировки и как настроить robots.txt, чтобы сохранить видимость в поиске и при этом защититься от нежелательного обучения.
Что делает robots.txt и какие у него ограничения
Файл robots.txt используется в первую очередь для управления трафиком ботов на сайте, а не для сокрытия контента из результатов Google. Как объясняет документация Google Search Central, robots.txt сообщает ботам, к каким адресам они могут обращаться, и служит главным образом для контроля нагрузки на сервер. Даже если заблокировать всех ботов, сайт всё равно может быть виден в Google — если кто-то ссылается на него с другого ресурса, Google может проиндексировать страницу на основе этой ссылки, несмотря на запрет в robots.txt.
robots.txt работает на уровне сервера — это рекомендация для роботов, а не гарантия. Большинство добросовестных ботов (включая описанные ниже) уважают эти правила, но некоторые могут их игнорировать. Поэтому robots.txt — это инструмент управления, а не полной защиты.
OpenAI: два независимых бота
OpenAI использует двух отдельных роботов, которыми владелец сайта управляет независимо в robots.txt. OAI-SearchBot служит для отображения страниц в результатах поиска ChatGPT — компания может заблокировать его, если не хочет появляться в ответах ассистента. GPTBot собирает контент для обучения генеративных моделей OpenAI. Как следует из документации OpenAI, оба параметра независимы — можно, например, заблокировать GPTBot, чтобы контент не использовался для обучения, но при этом разрешить OAI-SearchBot, чтобы сайт был виден в поиске.
Изменение в robots.txt может занять около 24 часов, прежде чем системы OpenAI его учтут.
Почему стоит разрешить OAI-SearchBot
OAI-SearchBot — один из немногих ботов, который буквально показывает страницу твоей фирмы пользователям ChatGPT. Когда кто-то спрашивает ассистента об услугах вроде «салон красоты в Варшаве», фирмы, разрешившие этого бота, могут появиться в ответе со ссылкой. Разрешение не гарантирует место в ответе, но блокировка практически его исключает.
Google: токен, который не влияет на поисковик
Google-Extended — это специальный токен в robots.txt, который позволяет ограничить использование контента для обучения Gemini и Vertex AI. Ключевое то, что Google-Extended не влияет на обычный поиск Google — он касается только продуктов искусственного интеллекта Google. Как объясняют документы Google Search Central, этот токен независим от стандартных ботов Google и не влияет на индексацию или позиции в результатах поиска.
Для владельца фирмы услуг это означает, что он может заблокировать Google-Extended, если не хочет, чтобы контент с его сайта использовался для обучения моделей Gemini, но при этом сайт будет оставаться видимым в Google Maps, Search и других стандартных сервисах Google.
Что такое Vertex AI
Vertex AI — это платформа Google для создания и внедрения приложений на основе генеративных моделей. Компании, которые строят своих собственных чат-ботов или ассистентов на инфраструктуре Google, могут использовать Vertex AI. Google-Extended позволяет владельцам сайтов исключить свой контент из этого процесса, если они того желают.
Apple: боты для поиска и для обучения
Applebot посещает сайты для функций поиска Apple — Spotlight, Siri и Safari. Applebot-Extended — это отдельный токен, которым владелец сайта может исключить свой контент из обучения генеративных базовых моделей Apple. Как следует из документации Apple, директива disallow для Applebot-Extended исключает контент из обучения, но Applebot может продолжать посещать сайт для нужд поиска.
Это важное различие: блокировка Applebot-Extended не влияет на то, появится ли фирма в результатах поиска Apple. Владелец может защитить контент от обучения ИИ, сохранив видимость в экосистеме Apple.
Почему Spotlight и Siri важны для бизнеса
Когда пользователь iPhone спрашивает Siri о «ближайшем салоне красоты в Варшаве», Siri может опираться и на содержимое страниц, которые раньше посетил Applebot. Если заблокировать Applebot, содержимое твоего сайта не попадёт в поиск Apple — Siri и Spotlight не смогут его использовать.
Anthropic: три бота с разными ролями
Anthropic управляет тремя отдельными ботами, каждый с разным назначением. ClaudeBot собирает контент, который может использоваться для обучения моделей — блокировка этого бота исключает будущий контент из обучающих наборов данных. Claude-User загружает страницы в ответ на вопросы пользователей. Claude-SearchBot анализирует контент в интернете, чтобы улучшить качество результатов поиска.
Как объясняет Центр помощи Anthropic, блокировка Claude-SearchBot может снизить видимость сайта в результатах поиска по запросам пользователей. Все три бота уважают правила robots.txt, но каждый выполняет разную функцию — владелец сайта может точно контролировать доступ.
Что значит «сбор для обучения»
Когда бот собирает контент для обучения, он не публикует его и не показывает пользователям. Контент становится частью огромного набора данных, на котором модель учится распознавать паттерны, формулировать ответы и обобщать знания. Для владельца фирмы это вопрос этики и предпочтений — одни не хотят, чтобы их контент обучал конкурирующие модели, другим это не мешает.
Perplexity: бот для результатов, который не обучает модели
PerplexityBot служит для отображения и связывания сайтов в результатах поиска Perplexity и, согласно документации Perplexity, не используется для обучения базовых моделей ИИ. Компания рекомендует разрешить PerplexityBot, чтобы сайт появлялся в результатах.
Perplexity-User — это бот, который загружает страницы по запросу пользователя — в отличие от PerplexityBot, этот бот, как правило, игнорирует правила robots.txt, поскольку действует по явному запросу пользователя. Ты не можешь заблокировать его через robots.txt, если пользователь попросит конкретную страницу.
Perplexity как поисковик нового поколения
Perplexity работает иначе, чем традиционные поисковики — вместо списка ссылок он показывает сокращённые ответы с цитатами из источников. Для фирмы услуг присутствие в Perplexity означает, что потенциальный клиент может увидеть название фирмы и описание услуги без клика по ссылке. Это новый канал, который стоит учитывать при построении видимости.
Таблица решений: какой бот за что отвечает
В этой таблице показано, какие боты каких компаний, их назначение и что происходит при блокировке.
| Бот | Компания | Назначение | Эффект блокировки | Рекомендация для фирмы услуг |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | Отображение в ChatGPT | Сайт пропадает из результатов ChatGPT | Разрешить — сохраняет видимость |
| GPTBot | OpenAI | Обучение моделей | Контент не используется для обучения | Решение владельца |
| Google-Extended | Обучение Gemini/Vertex AI | Контент не используется для обучения ИИ | Решение владельца | |
| Applebot | Apple | Поиск (Spotlight, Siri, Safari) | Сайт пропадает из поиска Apple | Разрешить — сохраняет видимость |
| Applebot-Extended | Apple | Обучение базовых моделей ИИ | Контент не используется для обучения | Решение владельца |
| ClaudeBot | Anthropic | Обучение моделей | Контент не используется для обучения | Решение владельца |
| Claude-SearchBot | Anthropic | Качество поиска | Может снизить видимость в поиске | Разрешить — сохраняет видимость |
| PerplexityBot | Perplexity | Результаты поиска | Сайт пропадает из Perplexity | Разрешить — сохраняет видимость |
Как самому проверить и изменить robots.txt
Открой в браузере адрес твойдомен.ru/robots.txt (замени на свой домен). Найди в нём имена ботов, перечисленных выше. Если файл не существует или не содержит правил, по умолчанию все боты могут посещать сайт.
Пример правильной конфигурации, которая разрешает ботов поиска и блокирует боты обучения:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot
Allow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Disallow:Эта конфигурация разрешает ботов, отвечающих за видимость в поиске (OAI-SearchBot, Applebot, Claude-SearchBot, PerplexityBot), и блокирует боты обучения (GPTBot, Google-Extended, Applebot-Extended, ClaudeBot). Порядок групп в файле не важен — бот применяет группу, которая точнее всего совпадает с его именем (имена ботов к регистру нечувствительны), а вот пути после Allow и Disallow к регистру чувствительны.
После внесения изменений подожди около 24 часов, прежде чем системы ботов их учтут. Можно также проверить правильность файла с помощью тестовых инструментов в Google Search Console.
Видимость в ИИ под контролем системы
Когда видимость в ассистентах ИИ становится частью стратегии фирмы, стоит иметь процесс, который делает управление ботами не разовым действием, а постоянным мониторингом. Система может регулярно проверять файл robots.txt на предмет присутствия ботов поиска и обучения, регулярно повторять протокол запросов в основных ассистентах и превращать результаты в задачи для выполнения.
Такой подход позволяет владельцу фирмы услуг сохранять контроль над тем, кто и с какой целью посещает его сайт, без необходимости вручную отслеживать изменения в политиках отдельных компаний ИИ. Система не обещает места в ответах ассистентов — она даёт инструмент для осознанного управления видимостью.
Узнай, как это работает на практике — посмотри услугу видимость в ассистентах ИИ, которая отвечает за видимость в ChatGPT и других ассистентах, перейди к SEO-анализу, чтобы увидеть полную картину видимости фирмы в интернете, закажи индивидуальный сайт, оптимизированный для читаемости ботами, или добавь AI-отчёты для мониторинга видимости.
Если тебе интересно узнать, какие звонки и заявки теряет твой бизнес, пройди оценку на портале.
Узнай больше о том, какие данные о фирме читают ИИ-ассистенты, почему клиенты не оставляют запросов, чем агент AI отличается от чат-бота и как выглядят данные фирмы в Google — это поможет понять, как видимость в ИИ влияет на привлечение клиентов.
Частые вопросы
Блокировка всех ботов ИИ удалит мой сайт из Google?
Не полностью. robots.txt не прячет страницу из Google в том смысле, что если другие сайты ссылаются на тебя, Google может её проиндексировать несмотря на запрет. Блокировка в robots.txt касается посещений бота, а не индексации на основе входящих ссылок. Если ты действительно хочешь спрятать страницу, нужны другие методы — мета-теги или пароли.
Нужно ли разрешать все боты поиска?
Не обязательно, но если заблокировать боты поиска (OAI-SearchBot, PerplexityBot, Applebot, Claude-SearchBot), твоя фирма не будет появляться в ответах соответствующих ассистентов. Для фирмы услуг присутствие в ChatGPT, Perplexity или Spotlight может быть источником новых запросов от клиентов — стоит разрешить эти боты.
Могу ли я заблокировать боты обучения, но оставить боты поиска?
Да. Известные компании ИИ предлагают отдельных ботов для поиска и обучения. У OpenAI есть OAI-SearchBot (поиск) и GPTBot (обучение), у Anthropic — Claude-SearchBot и ClaudeBot. Можно разрешить первые и заблокировать вторые в той же конфигурации robots.txt. В таблице выше указано точное соответствие.
Perplexity-User уважает robots.txt?
Нет. Perplexity-User действует по явному запросу пользователя и, как правило, игнорирует правила robots.txt. Ты не можешь заблокировать его на уровне этого файла — если пользователь попросит конкретную страницу, Perplexity её загрузит. Это отличает его от PerplexityBot, который уважает robots.txt.
Как быстро работают изменения в robots.txt?
Большинству систем ботов нужно около 24 часов, чтобы распознать изменения в robots.txt. OpenAI и Perplexity указывают в документации около 24 часов. На практике это может занять немного дольше, в зависимости от того, как часто боты посещают твой сайт.