Cloudflare представила новые инструменты, которые позволяют владельцам сайтов гораздо точнее контролировать доступ систем искусственного интеллекта к своему контенту. Обновление затрагивает работу AI-краулеров - специальных ботов, собирающих тексты, изображения и другие материалы для обучения нейросетей и работы ИИ-поисковиков.
Теперь администраторы могут самостоятельно определить, какие именно ИИ-компании смогут индексировать их страницы, а каким сервисам доступ будет полностью закрыт. Настройки распространяются как на уже известных AI-ботов, так и на новые системы, появляющиеся на рынке. При этом решение не влияет на работу классических поисковых роботов, если владелец ресурса не изменит правила вручную.
Cloudflare также расширила механизмы автоматического распознавания ИИ-краулеров. Платформа анализирует поведение запросов и помогает отличить обычных посетителей сайта от специализированных систем, собирающих данные для обучения языковых моделей. Это снижает нагрузку на серверы и позволяет эффективнее защищать оригинальный контент от массового копирования.
Новые возможности стали продолжением стратегии компании по созданию более прозрачной модели взаимодействия между владельцами интернет-ресурсов и разработчиками искусственного интеллекта. На фоне стремительного роста генеративных нейросетей все больше издателей, СМИ и коммерческих проектов хотят самостоятельно решать, могут ли их материалы использоваться для обучения ИИ.
Обновленные инструменты уже доступны клиентам Cloudflare и позволяют буквально за несколько минут изменить правила доступа для AI-ботов. Компания рассчитывает, что такой подход поможет авторам сохранить контроль над своим цифровым контентом, одновременно поддерживая более честные правила работы экосистемы искусственного интеллекта.
Новости нейросетей
21.07.2026