Cloudflare запретит «смешанные» ИИ-краулеры

C 15 сентября провайдер сетевой инфраструктуры Cloudflare начнет по умолчанию блокировать на страницах все «смешанные» веб-краулеры на основе искусственного интеллекта.  Cloudflare’s new Attribution Business Insights dashboard helps website owners understand crawler behavior, appetite, and potential value. https://t.co/1F9HO3Fiv7— Cloudflare (@Cloudflare) July 1, 2026 Речь о краулерах, которые используют один и тот же тип ботов для поиска, обучения моделей и ИИ-агентов. В Cloudflare требуют разделять решения на поисковые, обучающие и агентные. Представители компании объяснили ужесточение тем, что издатели и владельцы сайтов хотят сохранять видимость в поиске и ИИ-сервисах, но не готовы бесплатно предоставлять контент.  «Интернет рискует перейти к экосистеме “нулевого клика”, где чат-боты собирают оригинальный контент для мгновенных ответов, полностью обходя первоисточники. Мы уже наблюдали заметный сдвиг от пространства, ориентированного исключительно на SEO, к миру AEO, а теперь уже и к GEO», — говорится в заявлении. Принятая мера также должна снизить нагрузки на инфраструктуру веб-страниц. По данным Cloudflare, более 50% трафика от ИИ-краулеров приходится на повторное сканирование страниц, которое редко приносит пользу.  Изменение затронет новых клиентов провайдера, сайты действующих пользователей и всех клиентов бесплатного тарифа. Владельцы хостингов смогут отключить опцию блокировки вручную. Параллельно Cloudflare расширяет коммерческую схему для издателей. Новая система Pay Per Use предполагает оплату не только за доступ к материалу, но и в случаях, когда контент имеет ценность для ИИ-сервиса. На первом этапе компания работает с Ceramic.ai и You.com. Издатели получают выплаты, если их материалы появляются в поисковой выдаче чат-ботов. Напомним, 18 ноября 2025 года Cloudflare столкнулся с масштабными техническими неполадками, которые вызвали нарушения в работе множества сайтов и приложений, включая Web3-сервисы.