Cloudflare、9月15日までにAI企業へクローラー分離を要求 ― 「混合型」は広告掲載サイトで自動ブロックへ
インターネット基盤サービスを提供するCloudflareが、AI企業に対して新たな方針を発表した。検索目的で使われるウェブクローラーと、AIエージェントおよびAI学習に使われるクローラーとを明確に分離するよう求め、対応しない場合は多くのパブリッシャーサイトで自動的にブロックされる仕組みを導入するという。本稿では、TechCrunchの報道内容をもとに、今回の方針変更の内容と、その背景にあるAI業界とコンテンツ提供者の関係性の変化を整理する。
1. 9月15日が期限 ― 「混合型クローラー」への新規制
Cloudflareは、Google検索のような従来型の検索目的で使われるウェブクローラーと、AIエージェントやAI学習に使われるクローラーを分離するよう、AI業界に新たな期限を提示した。2026年9月15日以降、Cloudflareのデフォルト設定は、検索・エージェント利用・学習を組み合わせた「混合型」クローラーを、広告が掲載されているすべてのページから自動的にブロックするようになるという。
つまり、検索・エージェント利用・学習の機能を併せ持つクローラーは、サイト運営者側が個別に設定を変更しない限り、これらのサイトのクロールから自動的に除外される。この新しいデフォルト設定は、Cloudflareの新規顧客、既存顧客が新たに開設するサイト、そしてすべての既存の無料プラン顧客に適用されるとしている。
1-1. パブリッシャー側の本音 ― 「発見されたいが、無償で使われたくはない」
Cloudflareは、多くのウェブサイト運営者が、自社コンテンツを検索エンジンや多くの場合AIサービス経由でも発見可能な状態にしておきたいと考える一方で、知的財産が無償で利用されることへの保護を求めていると指摘している。
2. Googleを念頭に置いた指摘 ― 「検索最大手は2倍の情報にアクセス」
Cloudflareは今回の発表の中で、名前を明示していないものの、「世界最大の検索エンジン」(明らかにGoogleを指す表現)について、他のAI企業と比較して約2倍の情報にアクセスできていると指摘した。同社の見立てでは、検索最大手がAI学習に使われることを避けたい顧客に対し、検索での被発見性を維持したまま拒否することを難しくしている点が背景にあるという。
これに対し、Googleは、過去、こうした一般化に反論しており、サイト運営者がGeminiアプリやVertex APIなどのAI製品・サービスでの学習利用をオプトアウトできる「Google Extended」というボットを提供していると説明している。同社によれば、このオプトアウトは検索結果への掲載自体には影響しないとしている。一方で、Googleの主力クローラー「Googlebot」は、AI Overviewsや AI Modeを含む検索機能全般のためにクロールを行っているという。
2-1. CEOプリンス氏の発言 ― 「非人間トラフィックが過半数を超えた」
Cloudflareの共同創業者兼CEOであるマシュー・プリンス氏は、今回の発表にあたり、「インターネット上のトラフィックの大半が非人間となった今、持続可能な生態系が生まれるよう、我々はさらに踏み込み、より速く動かなければならない」と述べた。この発言は、ボットによるトラフィックが人間によるトラフィックを初めて上回るという節目に言及したものであり、当初はこの現象が来年まで起こらないと見られていたという。
同氏は、さらに、「Cloudflareの新しいツールとパートナーシップは、ウェブサイト運営者に対する可視性と商業機会を増やすとともに、意図が明確で透明性のあるボットを持つAI企業にも利益をもたらす」と説明し、混合型クローラーが検索とエージェント利用・学習を分離することを促す狙いがあると述べている。
3. 「Pay Per Crawl」から「Pay Per Use」へ ― 収益化モデルの進化
Cloudflareは、これまでも、AI時代におけるパブリッシャーのコンテンツ管理を支援するツールを展開してきた。2024年にはAIボット対策ツールを、2025年にはウェブサイトがAIボットによるスクレイピングに対して課金できる仕組み「Pay Per Crawl」を導入している。
今回、この仕組みはさらに「Pay Per Use」へと進化するという。これにより、パブリッシャーはコンテンツが単に取得された時点ではなく、実際に価値を生み出した時点でAI企業に対して課金できるようになる。
3-1. 「同じページの再取得」が半数超 ― 帯域とコストの課題
Cloudflareのデータによれば、AIクローラーによるクロールトラフィックの5割以上が、変更のないページの再取得に費やされているという。今回の方針変更は、パブリッシャー側の帯域・計算リソースの節約にもつながる可能性があるとしている。
3-2. Ceramic.aiとYou.comとの提携開始
この仕組みを実際に機能させるため、Cloudflareは初期パートナーとしてCeramic.aiとYou.comの2社と提携を開始した。パブリッシャーが同意すれば、自社コンテンツがCeramicのAI検索結果に表示された際や、You.comが有料コンテンツにアクセスした際に対価を受け取れる仕組みだという。Cloudflareは、他のAI企業もこのモデルを自社の運用に合わせてカスタマイズできるとしている。
