Brave продаёт свой индекс ИИ-компаниям — и вы не можете его заблокировать
В блоге Search Engine Journal вышел разбор о том, что Brave продаёт свой поисковый индекс AI-компаниям, включая Cohere, Mistral и Perplexity. По данным, индекс содержит более 30 миллиардов страниц, обновляется ежедневно. Компания New York Times подала в суд на Brave, утверждая, что тот скопировал контент без согласия и не позволял заблокировать свой краулер через robots.txt.
Brave не называет имя своего краулера, поэтому сайты не могут его отдельно заблокировать — только через общие правила, которые включают Google. Это означает, что если вы разрешаете Google, вы автоматически разрешаете и Brave. А если хотите убрать себя из индекса, нужно использовать noindex — и тогда ваша страница исчезнет и из поиска Google, и из индекса Brave.
Самое важное здесь — не то, что ваш сайт в индексе, а то, что его используют для обучения ИИ. Источник не отправляет трафик, не привлекает клиентов. Он просто поставляет данные. И если вы не контролируете, кто и как использует ваш контент, вы теряете контроль над его использованием. Контент, который не был в поиске, но стал частью индекса, теперь может быть встроен в ответы ИИ — и вы не узнаете, где он появился.
Проверьте, есть ли ваш сайт в индексе Brave: введите site:ваш-домен.com в поиске brave.com. Если результаты есть — ваш контент уже в индексе. Даже если вы не хотите, чтобы его использовали ИИ. Управление доступом к вашему контенту теперь требует нового подхода: не только для трафика, но и для его использования в искусственном интеллекте.
Это часть нашей работы — Интеграция данных. Организация обмена информацией с сервисом-поставщиком данных. Интеграция данных
Автор: Святослав Семенов из Cetera Labs