Власник фірми послуг чув, що ШІ «краде контент», і хоче закрити сайт від ботів, але боїться зникнути з відповідей ChatGPT, Gemini та Perplexity. Однак robots.txt не ховає сторінку з Google — він керує тим, які боти можуть її відвідувати і з якою метою. У кожної компанії є два типи ботів: одні потрібні для пошуку (показують фірму у відповідях асистентів), інші — для навчання (використовують контент сайту для навчання ШІ). Блокування всіх ботів одним рядком означає зникнення з пошуку асистентів.
На цій сторінці ти дізнаєшся, боти яких компаній відвідують твій сайт, що відбувається після їх блокування та як налаштувати robots.txt, щоб зберегти видимість у пошуку й при цьому захиститися від небажаного навчання.
Що робить robots.txt та які у нього обмеження
Файл robots.txt використовується переважно для керування трафіком ботів на сайті, а не для приховування контенту з результатів Google. Як пояснює документація Google Search Central, robots.txt повідомляє ботам, до яких адрес вони можуть звертатися, і служить головним чином для контролю навантаження на сервер. Навіть якщо заблокувати всіх ботів, сайт все одно може бути видимим у Google — якщо хтось посилається на нього з іншого ресурсу, Google може проіндексувати сторінку на основі цього посилання, незважаючи на заборону в robots.txt.
robots.txt працює на рівні сервера — це рекомендація для роботів, а не гарантія. Більшість добросовісних ботів (включаючи описані нижче) поважають ці правила, але деякі можуть їх ігнорувати. Тому robots.txt — це інструмент керування, а не повного захисту.
OpenAI: два незалежні боти
OpenAI використовує двох окремих роботів, якими власник сайту керує незалежно в robots.txt. OAI-SearchBot служить для відображення сторінок у результатах пошуку ChatGPT — компанія може заблокувати його, якщо не хоче з'являтися у відповідях асистента. GPTBot збирає контент для навчання генеративних моделей OpenAI. Як зазначено в документації OpenAI, обидва параметри незалежні — можна, наприклад, заблокувати GPTBot, щоб контент не використовувався для навчання, але при цьому дозволити OAI-SearchBot, щоб сайт був видимий у пошуку.
Зміна в robots.txt може зайняти близько 24 годин, перш ніж системи OpenAI її врахують.
Чому варто дозволити OAI-SearchBot
OAI-SearchBot — один із небагатьох ботів, який буквально показує сторінку твоєї фірми користувачам ChatGPT. Коли хтось запитує асистента про послуги, наприклад «салон краси у Варшаві», фірми, що дозволили цього бота, можуть з'явитися у відповіді з посиланням. Дозвіл не гарантує місця у відповіді, але блокування практично його виключає.
Google: токен, який не впливає на пошукову систему
Google-Extended — це спеціальний токен у robots.txt, який дозволяє обмежити використання контенту для навчання Gemini та Vertex AI. Ключове те, що Google-Extended не впливає на звичайний пошук Google — він стосується лише продуктів штучного інтелекту Google. Як пояснюють документи Google Search Central, цей токен незалежний від стандартних ботів Google і не впливає на індексацію чи позиції у результатах пошуку.
Для власника фірми послуг це означає, що він може заблокувати Google-Extended, якщо не хоче, щоб контент з його сайту використовувався для навчання моделей Gemini, але при цьому сайт залишатиметься видимим у Google Maps, Search та інших стандартних сервісах Google.
Що таке Vertex AI
Vertex AI — це платформа Google для створення та розгортання програм на основі генеративних моделей. Компанії, які будують власних чат-ботів або асистентів на інфраструктурі Google, можуть використовувати Vertex AI. Google-Extended дозволяє власникам сайтів виключити свій контент із цього процесу, якщо вони того бажають.
Apple: боти для пошуку та для навчання
Applebot відвідує сайти для функцій пошуку Apple — Spotlight, Siri та Safari. Applebot-Extended — це окремий токен, яким власник сайту може виключити свій контент з навчання генеративних базових моделей Apple. Як зазначено в документації Apple, директива disallow для Applebot-Extended виключає контент з навчання, але Applebot може продовжувати відвідувати сайт для потреб пошуку.
Це важливе розрізнення: блокування Applebot-Extended не впливає на те, чи з'явиться фірма в результатах пошуку Apple. Власник може захистити контент від навчання ШІ, зберігаючи видимість в екосистемі Apple.
Чому Spotlight і Siri важливі для бізнесу
Коли користувач iPhone запитує Siri про «найближчий салон краси у Варшаві», Siri може спиратися й на вміст сторінок, які раніше відвідав Applebot. Якщо заблокувати Applebot, вміст твого сайту не потрапить у пошук Apple — Siri і Spotlight не зможуть його використати.
Anthropic: три боти з різними ролями
Anthropic керує трьома окремими ботами, кожен із різним призначенням. ClaudeBot збирає контент, який може використовуватися для навчання моделей — блокування цього бота виключає майбутній контент із навчальних наборів даних. Claude-User завантажує сторінки у відповідь на питання користувачів. Claude-SearchBot аналізує контент в інтернеті, щоб покращити якість результатів пошуку.
Як пояснює Центр допомоги Anthropic, блокування Claude-SearchBot може знизити видимість сайту в результатах пошуку за запитами користувачів. Усі три боти поважають правила robots.txt, але кожен виконує різну функцію — власник сайту може точно контролювати доступ.
Що означає «збір для навчання»
Коли бот збирає контент для навчання, він не публікує його і не показує користувачам. Контент стає частиною величезного набору даних, на якому модель вчиться розпізнавати патерни, формулювати відповіді та узагальнювати знання. Для власника фірми це питання етики та вподобань — одні не хочуть, щоб їх контент навчав конкуруючі моделі, іншим це не заважає.
Perplexity: бот для результатів, який не навчає моделі
PerplexityBot служить для відображення та зв'язування сайтів у результатах пошуку Perplexity і, згідно з документацією Perplexity, не використовується для навчання базових моделей ШІ. Компанія рекомендує дозволити PerplexityBot, щоб сайт з'являвся в результатах.
Perplexity-User — це бот, який завантажує сторінки на запит користувача — на відміну від PerplexityBot, цей бот, як правило, ігнорує правила robots.txt, оскільки діє за явним запитом користувача. Ти не можеш заблокувати його через robots.txt, якщо користувач попросить конкретну сторінку.
Perplexity як пошук нового покоління
Perplexity працює інакше, ніж традиційні пошукові системи — замість списку посилань він показує скорочені відповіді з цитатами із джерел. Для фірми послуг присутність у Perplexity означає, що потенційний клієнт може побачити назву фірми та опис послуги без кліка по посиланню. Це новий канал, який варто враховувати при побудові видимості.
Таблиця рішень: який бот за що відповідає
У цій таблиці показано, боти яких компаній, їхнє призначення та що відбувається при блокуванні.
| Бот | Компанія | Призначення | Ефект блокування | Рекомендація для фірми послуг |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | Відображення в ChatGPT | Сайт зникає з результатів ChatGPT | Дозволити — зберігає видимість |
| GPTBot | OpenAI | Навчання моделей | Контент не використовується для навчання | Рішення власника |
| Google-Extended | Навчання Gemini/Vertex AI | Контент не використовується для навчання ШІ | Рішення власника | |
| Applebot | Apple | Пошук (Spotlight, Siri, Safari) | Сайт зникає з пошуку Apple | Дозволити — зберігає видимість |
| Applebot-Extended | Apple | Навчання базових моделей ШІ | Контент не використовується для навчання | Рішення власника |
| ClaudeBot | Anthropic | Навчання моделей | Контент не використовується для навчання | Рішення власника |
| Claude-SearchBot | Anthropic | Якість пошуку | Може знизити видимість у пошуку | Дозволити — зберігає видимість |
| PerplexityBot | Perplexity | Результати пошуку | Сайт зникає з Perplexity | Дозволити — зберігає видимість |
Як самостійно перевірити та змінити robots.txt
Відкрий у браузері адресу твойдомен.ua/robots.txt (заміни на свій домен). Знайди в ньому імена ботів, перелічених вище. Якщо файл не існує або не містить правил, за замовчуванням усі боти можуть відвідувати сайт.
Приклад правильної конфігурації, яка дозволяє ботів пошуку та блокує ботів навчання:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot
Allow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Disallow:Ця конфігурація дозволяє ботів, відповідальних за видимість у пошуку (OAI-SearchBot, Applebot, Claude-SearchBot, PerplexityBot), і блокує ботів навчання (GPTBot, Google-Extended, Applebot-Extended, ClaudeBot). Порядок груп у файлі не має значення — бот застосовує групу, що найточніше збігається з його назвою (назви ботів нечутливі до регістру), а от шляхи після Allow і Disallow чутливі до регістру.
Після внесення змін зачекай близько 24 годин, перш ніж системи ботів їх врахують. Можна також перевірити правильність файлу за допомогою тестових інструментів у Google Search Console.
Видимість у ШІ під контролем системи
Коли видимість у асистентах ШІ стає частиною стратегії фірми, варто мати процес, який робить керування ботами не разовою дією, а постійним моніторингом. Система може регулярно перевіряти файл robots.txt на предмет присутності ботів пошуку та навчання, регулярно повторювати протокол запитів в основних асистентах і перетворювати результати на завдання для виконання.
Такий підхід дозволяє власнику фірми послуг зберігати контроль над тим, хто і з якою метою відвідує його сайт, без необхідності вручну відстежувати зміни в політиках окремих компаній ШІ. Система не обіцяє місця у відповідях асистентів — вона дає інструмент для свідомого керування видимістю.
Дізнайся, як це працює на практиці — переглянь послугу видимість в асистентах ШІ, яка відповідає за видимість в ChatGPT та інших асистентах, перейди до SEO-аналізу, щоб побачити повну картину видимості фірми в інтернеті, замови індивідуальний сайт, оптимізований для читання ботами, або додай AI-звіти для моніторингу видимості.
Дізнайся більше про які дані про фірму читають ШІ-асистенти, чому клієнти не залишають запитів, чим агент AI відрізняється від чат-бота та як виглядають дані фірми в Google — це допоможе зрозуміти, як видимість у ШІ впливає на залучення клієнтів.
Часті питання
Блокування всіх ботів ШІ видалить мій сайт з Google?
Не повністю. robots.txt не ховає сторінку з Google в тому сенсі, що якщо інші сайти посилаються на тебе, Google може її проіндексувати незважаючи на заборону. Блокування в robots.txt стосується відвідувань бота, а не індексації на основі вхідних посилань. Якщо ти справді хочеш сховати сторінку, потрібні інші методи — мета-теги чи паролі.
Чи потрібно дозволяти всіх ботів пошуку?
Не обов'язково, але якщо заблокувати ботів пошуку (OAI-SearchBot, PerplexityBot, Applebot, Claude-SearchBot), твоя фірма не з'являтиметься у відповідях відповідних асистентів. Для фірми послуг присутність у ChatGPT, Perplexity чи Spotlight може бути джерелом нових запитів від клієнтів — варто дозволити ці боти.
Чи можу я заблокувати ботів навчання, але залишити ботів пошуку?
Так. Відомі компанії ШІ пропонують окремих ботів для пошуку та навчання. У OpenAI є OAI-SearchBot (пошук) і GPTBot (навчання), у Anthropic — Claude-SearchBot і ClaudeBot. Можна дозволити перші й заблокувати другі в тій самій конфігурації robots.txt. У таблиці вище вказано точний збіг.
Perplexity-User поважає robots.txt?
Ні. Perplexity-User діє за явним запитом користувача і, як правило, ігнорує правила robots.txt. Ти не можеш заблокувати його на рівні цього файлу — якщо користувач попросить конкретну сторінку, Perplexity її завантажить. Це відрізняє його від PerplexityBot, який поважає robots.txt.
Як швидко працюють зміни в robots.txt?
Більшості систем ботів потрібно близько 24 годин, щоб розпізнати зміни в robots.txt. OpenAI і Perplexity вказують у документації близько 24 годин. На практиці це може зайняти трохи довше, залежно від того, як часто боти відвідують твій сайт.