Cloudflare теперь разделяет доступ ИИ-ботов: что это значит для сайта
Cloudflare изменил настройки доступа ИИ-ботов к сайтам — теперь можно отдельно управлять, кто может индексировать контент, а кто — обучать нейросети. Это влияет на видимость в поиске и в ответах ИИ, и важно проверить, как это работает на вашем сайте.
15 сентября Cloudflare обновил правила для ИИ-ботов, разделив трафик на три категории: Search (поиск), Agent (действия от имени пользователя) и Training (обучение моделей). Для каждой теперь можно выбрать режим: блокировать везде, на рекламных страницах, не блокировать или — с 15 сентября — Disallow AI Training. Старый переключатель Block AI Bots объявлен устаревшим, настройки переносятся автоматически. Это доступно даже на бесплатном тарифе, и новое поведение уже вступило в силу.
На мой взгляд, ключевое здесь — не просто изменение, а то, что Cloudflare теперь разделяет задачи, которые раньше считались едиными. Раньше блокировка ботов для обучения могла случайно закрыть доступ поисковым системам. Теперь это можно избежать. Особенно важно для сайтов, где контент используется в ИИ-ответах: если вы хотите, чтобы ваш сайт появлялся в ответах ChatGPT, нужно явно разрешить Search, не блокируя Training.
Я бы на месте владельца магазина или блога смотрел прежде всего на настройки в разделе AI Crawl Control. Проверьте, не блокируется ли Search, если вы хотите быть в поиске ИИ. И не забывайте: robots.txt сам по себе не гарантирует доступ — Cloudflare игнорирует его, если не настроена политика явно. Убедитесь, что в вашем сервере и в robots.txt учтены новые имена ботов, включая Claude-SearchBot и Perplexity-User. Сдвиг в логах после 15 сентября может быть не только из-за реальных краулеров, но и из-за проверок, которые не учитывают реальные IP.
Это не срочный переход, но стоит включить проверку в план технического аудита. Если вы используете Cloudflare, особенно если ваш сайт входит в категории, где контент ценен для ИИ (например, статьи, описания, отзывы), то настройка должна быть прозрачной. Никаких спешек — но и никакого промедления. Всё, что можно проверить сейчас, лучше проверить до того, как ИИ начнёт отвечать на вопросы с вашим контентом, а вы не сможете это контролировать.
Это часть нашей работы — Администрирование. Поддерживаем сайты всех типов на CMS и фреймворках: Cetera CMS, Laravel, Yii2, InSales, «1С-Битрикс», Bitrix24, WordPress, WooCommerce, Ecwid, OpenCart, Drupal, Joomla, Magento2, Shopify и самописные системы на PHP и Python. Инфраструктура, развитие и продвижение включены. Администрирование
Автор: Святослав Семенов из Cetera Labs