自分のサイトを AI に学習させずに検索で見つけてもらう方法
今回は、よしださんの記事がきっかけで気づいたことがあったので、それを記事にしてみます。
よしださんの元記事はこちらです。 ↓
・5分で読める、AIが暮らしと仕事を変える新ツール5選 【今日のキーワード：「ひらめき」】
この記事の中で「GeoPromptTracker」という、ChatGPT や Claude、Perplexity といった AI 検索エンジンに自分のサイトがちゃんと認識・引用されているかを診断できる無料ツールが紹介されていました。
「ちゃんと SEO 対策してるのに、なんで AI 検索に出てこないんだろう」という悩みに応えるためのツール、と紹介されていたので、純粋に「AI に見つけてもらう・引用してもらう」ための話として気になり、実際にサイトを覗いてみることにしました。
⬛️ 知らなかったこと：AI ボットには「学習用」と「検索用」がある
サイトの中を見ていく中で、自分でも知らなかったことに気づきました。
AI 会社のボットには、大きく分けて 2 種類の役割があるようです。
☑️ 学習用ボット（GPTBot、ClaudeBot など）
→ 将来のモデルの学習データとして、サイトの中身を集めていくボット
☑️ 検索・引用用ボット（OAI-SearchBot、Claude-SearchBot、PerplexityBot など）
→ ユーザーが ChatGPT や Claude、Perplexity で質問したときに、
リアルタイムでサイトを見に行って答えに引用するためのボット
同じ会社でも、この2つは別の User-agent として動いていて、
`robots.txt` では個別に許可・拒否を設定できるようになっているそうです。
私は AI は大好きですが、かと言って自分のサイトの中身を学習には使われたくないので、Claude をはじめ各チャットプラットフォームの設定でも学習機能はオフにしています。
でも「AI 検索で見つけてもらえる」のは、それはそれで嬉しい。
この2つが別々に設定できると知って、地味に「お！」と思いました。
⬛️ 実際に自分のサイトの robots.txt を見直してみた
そこで、自分のサイトの `robots.txt` を確認してみることにしました。
方針としては、学習用ボットだけブロックして、検索・引用用ボットは許可する、という形です。
`robots.txt` に、こんな感じで設定を書きます。
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /学習させたくないボットは Disallow、検索に使ってほしいボットは Allow、という書き方です。
ただし `robots.txt` はあくまで「お願い」でしかないので、悪意のあるボットには効きません。
それでも、名乗りを上げてくる主要な AI 会社のボットに対しては、ちゃんと意味のある設定じゃないかなと思います。
⬛️ チェックツールで確認したら、想定と違う結果に
設定を終えたあと、ちゃんと反映されているか確認したくて、
「GeoPromptTracker」で私のサイトを診断してみました。
結果を見て、ちょっと戸惑いました。
学習用ボットだけでなく、検索・引用用として明示的に `Allow: /` と設定していたはずのボットまで、すべて「ブロックされている」という判定になっていたんです。
自分の robots.txt の中身を何度も見直しましたが、設定自体は意図した通りに書けているようでした。
なので、ひょっとしたらこれはツール側の判定にバグがあるのかもしれない、と思いました。
ただ正直なところ、本当にバグなのかは分かりません。
ツールの管理者に問い合わせて確認するところまではしていないので、「そういう可能性もありそうだ」くらいの温度感で受け止めてもらえたらと思います。
⬛ WordPress で学習用ボットをブロックしたい場合のやり方
自サイトを WordPress で運営している方も多いと思うので、少し調べてみました。
WordPress は、そもそも実体としての robots.txt ファイルを持っていなくて、アクセスがあったときに自動で「仮想 robots.txt」を生成する仕組みになっているようです。
何もしていない状態だと、管理画面まわりを除いて基本的に全部許可、という中身になっています。
学習用ボットをブロックしたい場合は、主にこの2つの方法があるようでした。
All in One SEO や Yoast SEO などの SEO プラグインに、
robots.txt を編集できる機能がついているので、そこから設定するサーバーのルート直下に、実体ファイルとして robots.txt を
直接アップロードする（こちらを置くと仮想生成より優先されるようです）
私自身は WordPress を使っていないので、詳しいやり方を知りたい方はご自身で調べてみてください。
⬛️ ツールを鵜呑みにせず、自分の目で確認する大切さ
今回、便利なチェックツールに頼るだけでなく、自分の robots.txt の中身を実際に見比べてみたことで、「ツールの結果と自分の設定が食い違うこともある」ということに気づけました。
AI 関連のツールはどんどん増えていますが、出てきた結果を鵜呑みにせず、一度自分でも設定を確認してみる姿勢はこれからも大事にしたいなと思います。
「AI に学習されるのは嫌だけど、検索では見つけてほしい」という感覚、
共感してくれる人は結構多いんじゃないかと思います。
個人でサイトやブログを運営している人にとっては、知っておいて損はない話だなと感じたので、記事にしてみました。
