見出し画像

AIクローリング時代のrobots.txt完全解説

SHO – Prompt Designer

robots.txt の基本構文から、SEO における活用方法、さらに AI クローラー対策までを解説。WordPress／note 運用者が知るべき設定ポイントと最新戦略をこの一記事で網羅。

こんにちは、SHOです。
この前、AIクローリングの時代に向けたSEOについてのnoteを書きました。

その中で少しだけ触れた robots.txt（ロボッツ・テキスト） について、もうちょっと詳しく知りたいと思ったので、今回はこの部分について解説していこうと思います。

なんかAIを使ってると、いろんな新しいことに興味がでてきてしまいます（あ、TRPG…）。


robots.txtとは何か？基本の役割と仕組み


robots.txt（ロボッツ・テキスト）という設定ファイルを聞いたことある人いるかと思います。

robots.txtは、Webサイトの玄関口に置かれているクローラー（検索エンジンやAIの巡回プログラム）向けの案内板みたいなものです。

わかりやすく例えると、お店の入り口に「関係者以外立ち入り禁止」とか「スタッフ専用通路」みたいな貼り紙がありますね。あれです。

robots.txtはそれと同じで、クローラーに対して「このページは見てもいいよ」「ここは入らないでね」っていう役割です。

つまり、検索エンジンやAIがそのwebサイトのどこを巡回していいかを指定できる、シンプルだけどすっごく大事なファイルなんです。

robots.txt の基本構文と記述ルール


robots.txtはとてもシンプルなテキストファイルです。
これはサイトのURLの最後に「/robots.txt」と入力すれば誰でも見れます。

例えば、いまみんなが見ているnoteのやつだとこんな感じです。

https://note.com/robots.txt

https://note.comというアドレスに/robots.txtを付けるだけです

そして、この中身はこんな感じになっています。
なんか格好いいです。僕はいまシゴデキ感を味わってます。

noteのrobots.txtファイルのキャプチャ。複数のクローラーボットに対して、embed・preview・pdf・login・signupなど特定のパスをクロール禁止に設定している。Googlebotには一部のAPIやノート関連パスの許可があり、Twitterbotやbingbotなどには制限が設定されている。最後にサイトマップのURL（https://note.com/sitemaps/production/note.com/sitemap.xml.gz）が記載されている。
noteが設定しているrobots.txtの中身はこんな感じです。

User-agent／Disallow／Allow／Sitemap の役割を理解する


具体的には何が書いてあるの？っていうところを説明します。

まず基本ルールです。

  • User-agent: （対象となるクローラー名）

  • Allow: （クロールを許可するパス）

  • Disallow: （クロールを禁止するパス）

  • Crawl-delay: （アクセス間隔の指定）

  • Sitemap: （サイトマップファイルの場所）

これさえ覚えればOKです。

実例で読む note の robots.txt 設定と意図


早速noteのrobots.txtを分解して一緒に読んでみましょう。noteの解体です。ワクワクします。

1. User-agent: *

「*」は「すべてのクローラー」という意味。
その下に書いてあるDisallowは「クロール禁止」つまり、「全部のクローラーに対して禁止する」という意味です。

User-agent: *
Disallow: /embed/*
Disallow: /intent/*
Disallow: /preview/*
Disallow: /api/*
Disallow: /pdf/*
Disallow: /wrap_up/*
Disallow: /search
Disallow: /login?*
Disallow: /signup?*
Disallow: /m/*/archive

  • /embed/* → embedページはNG

  • /intent/* → intentページはNG

  • /search → note内検索ページはNG

2. 特定のクローラーごとの設定

noteは大手のクローラーに細かい指示を出しています。クローラー別に解説していきます。

  • User-agent: Googlebot

User-agent: Googlebot
Allow: /api/v3/notes/pagers
Allow: /api/v3/notes/hashtags/*/notes
Allow: /api/v3/notes/*/extra_items
Allow: /api/v3/notes/*/related_notes
Disallow: /api/v2/boards/*/reserved_posts
Disallow: /api/v2/attachments
Disallow: /*/rss
Disallow: /intent/*

これはGoogleのクローラーですね。記事に関連するデータ（ハッシュタグや関連記事など）はOK（Allow）。でも古いAPI（/api/v2〜）やRSSはNG（Disallow）にしています。

  • User-agent: Twitterbot

User-agent: Twitterbot
Disallow: /*/message
Disallow: /*/terms/specified
Disallow: /*/menu/*
Disallow: /embed/*
Disallow: /intent/*
Disallow: /preview/*
Disallow: /api/*
Disallow: /pdf/*
Allow: /wrap_up/*

こっちはX（Twitter）に表示されるプレビュー用のクローラーです。ラップアップ（まとめページ）はX（Twitter）のカード表示に使っていいよ、という意味です。

  • User-agent: bingbot

User-agent: bingbot
Crawl-Delay: 30
Disallow: /*/message
Disallow: /*/terms/specified
Disallow: /*/menu/*
Disallow: /embed/*
Disallow: /intent/*
Disallow: /preview/*
Disallow: /api/*
Disallow: /pdf/*
Disallow: /wrap_up/*
Disallow: /search

Bingには特徴があって、Crawl-Delay: 30という記述があります。これは「30秒ごとにしかクロールするな」と指定。目的はサーバー負荷対策ですかね。

  • その他（Livelapbot, Megalodon, ia_archiver など）

User-agent: Livelapbot
Disallow: /

User-agent: Yahoo Pipes 1.0
Disallow: /

User-agent: Megalodon
Disallow: /

User-agent: ia_archiver
Disallow: /

完全にブロック（Disallow）しています。たぶん不必要なアーカイブ系やコピー系のクローラーだから締め出してるのかな。

3. Sitemap

Sitemap: https://note.com/sitemaps/production/note.com/sitemap.xml.gz

これは「サイトマップファイルはここにあるよ」とクローラーに教えています。

サイトマップには記事のURLや更新日がのってて、検索エンジンが効率的にクロールできるようになっています。

つまり、noteは

  • 記事ページは検索やSNSでちゃんと広まってほしい

  • でも内部機能や管理ページは検索に出す必要がない

  • 一部のAIやクローラーはサーバー負荷や無駄なコピーを防ぐために拒否

という思いをもっているってことが理解できるわけです。

これを知っておくことで、自分が使っているサイトがどんな風にクロールされたいかっていう事が解りますね。

おさらいすると、

  • User-agent: * → すべてのクローラーに適用するよ

  • Disallow: /admin/ → 管理ページには入らないでね

  • Allow: /blog/ → ブログページは見てもいいよ

という感じでとても単純です。慣れれば直感的に読めるようになります。

実際に大手サイトも見てみよう


前回のnoteの内容を少しだけ振り返って、AIクローリングと各サイトの関係を見てみたいと思います。各サイトのrobots.txtはリンクしてあります。

Amazon

Amazonのrobots.txtを見てみると、GPTBot（ChatGPTのクローラー）に対して Disallow（禁止） を設定しています。

つまり「うちの商品データは勝手に引用に使わないでね」と言ってます。

これは、Amazonが自社のデータを外部AIに持っていかれないように守っている戦略かもしんないです。

※ちなみに、ChatGPTでAmazonのリンクが出てくるのは学習モデルからデータを取得しているので、リアルタイムのデータではないです。紛らわしいです。

Shopify

一方で、Shopifyのrobots.txtを確認すると、Amazonとは真逆で特定のAIクロールの制限をしていません。

むしろ「AIに商品を拾ってもらって紹介された方が流入につながる」と考えているんですね。

実際に一部の出品者から『AIに商品が拾われた』という体験談もネット上で見られますが、体系的に検証された事例ではないっぽいです。

その他のサイト

  • eBay：歴史的に無断スクレイピングには厳しいですが、自社ではAIを積極活用中。robots.txtのファイルに直接書いてありますが、「許可なく自動アクセスするな。検索エンジン向けだけは例外的に許可する」というスタンスですね。
    でも、ちょっと面白いのがスニーカーや特定カテゴリの商品ページに限って許可してあるので、おそらくSEO的に重要な商材なんでしょうね。

  • 楽天：AI倫理を重視する姿勢を打ち出しているけれど、robots.txtでは明確な方針は出していません。Disallowばっかりですが、AIや検索全体を拒否してるわけじゃなく、検索やAIに出ても意味のないページ（画像を拡大するページとか、バックアップファイルとか）をクロール対象外として、AIに見せたい情報だけを整理しているって感じ。

こうして比べると、各社の「AIとの付き合い方」がrobots.txtに表れているのが面白いです。

AIクローリングとの関係


ここまでの例で分かる通り、robots.txtは単なるSEOの道具ではなく、AI時代の戦略ツールにもなっています。

AI クローラー対応の最新トレンドと戦略

  • ブロックする派（Amazonなど）：自社データを保護し、AIに利用されないようにする。

  • 許可する派（Shopifyなど）：AIに拾われることで拡散や流入のチャンスを作る。

どちらが正解というわけではなく、事業モデルや方針がそれぞれ異なることが見えてきますね。

まとめ


robots.txtはたった数行のシンプルなテキストファイルですが、SEOにもAI時代のクローリングにも深く関わっている重要な存在です。

みんなも気になるサイトのURLに「/robots.txt」と入力して覗いてみてください。

ぜひこのnoteが面白かったら前回の記事も読んでみてください。

最後にプロンプト

robots.txtの意味を解説

あなたはSEOとAIクローリングの専門家です。  
これからユーザーはrobots.txtの内容を貼ります。  
各User-agentごとに「どのクローラーに、どんなルールを設定しているか」を初心者にも分かるように解説してください。  
また、AI時代のSEOにおいてこの設定がどんな意味を持つのかもコメントしてください。特に、AIクローリングの観点で「許可している部分」「禁止している部分」をまとめてください。

貼り付けたrobots.txtを噛み砕いて解説してくれます。

AIクローリング視点で分析

あなたはAIクローリングの専門家です。  
これからユーザーが貼り付けるrobots.txtの設定を確認し、このサイトが  
1. AIクローラーを歓迎しているのか  
2. それともブロックしているのか  
3. その背景にどんな戦略があるのか  
を推測してください。

ただの技術解説じゃなく、「戦略まで推測」してくれます。

比較用に

Amazon vs Shopifyのような比較ができます。このプロンプト内にrobots.txtを貼り付けて使ってください。

あなたはSEOとAIクローリングの専門家です。  
以下に2つのrobots.txtを貼ります。  
両者を比較して「どんな違いがあるか」「それぞれの戦略の特徴」をまとめてください。  

【robots.txt 1】  
（例：Amazonの内容）

【robots.txt 2】  
（例：Shopifyの内容）

最後に

興味をもってくれたらスキやフォローしてもらえると嬉しいです。