あなたのサイトに毎日来ている「AIのロボット」を、ぜんぶ同じものだと思っていないだろうか。実は、AIと名の付くクローラーには目的のまったく違う3つの種類がいる。そして、どれを歓迎しどれを断るかで、サイトの損得は大きく変わる。
本記事は、検索クローラー・AI学習用クローラー・AI検索/ユーザー代理クローラーの違いを、専門知識ゼロでも見分けられるように整理する解説編だ。当サイトが実際にAIクローラーでサーバーダウンした実録編と対で読めるように書いた。
前提: いまWebの訪問者の半分以上は人間ではない
まず全体像から。Cloudflareの観測では、Webページへのアクセスの57.5%がボットで、2026年に入り初めて人間を上回った。あなたのサイトのアクセス解析に出ない訪問者が、実は多数派なのだ。
その中で存在感を増しているのがAI関連のクローラーである。2026年7月の同社データでは、AIクローラーのリクエストのうち44.5%が「AIの学習」目的だった。一方、AIがユーザーの指示でその場でページを見に来る「ユーザー代理」は、わずか2.7%にすぎない。
3種類の正体を名前で見分ける
種類ごとの代表選手を表にまとめた。ポイントは「そのロボットが持ち帰ったデータが、あなたのサイトに読者を返してくれるか」である。
| 種類 | 代表的な名前 | 目的 | サイト側の見返り |
|---|---|---|---|
| 検索クローラー | Googlebot、Bingbot | 検索結果にページを載せるための巡回 | 検索から読者が来る(大きい) |
| AI学習用クローラー | GPTBot、meta-externalagent、ClaudeBot | AIモデルの学習データを集める | 原則なし(吸われるだけ) |
| AI検索・ユーザー代理 | OAI-SearchBot、Claude-User、PerplexityBot | AI検索の回答に出典として使う/ユーザーの指示でその場で閲覧 | 回答経由で読者が来る(中くらい) |
ややこしいのは、同じ会社が複数の顔で来ることだ。たとえばOpenAIは、学習用のGPTBotとAI検索用のOAI-SearchBotを別の名前で巡回させている。だからこそ「AIは全部拒否」や「全部許可」のような一括判断はもったいない。名前単位で選り分けられるのだ。
選り分けの実務——robots.txtは「玄関の貼り紙」
見分けたら、次は選別だ。使う道具はrobots.txtという、サイトの玄関に貼るお願いファイルである。「GPTBotさんは入らないでください」「Googlebotさんはどうぞ」と名前ごとに書ける。主要なクローラーは、行儀よくこの貼り紙に従う。
図: クローラー選別の基本手順(筆者作成)。貼り紙で足りなければ、力ずくの403を重ねる。
貼り紙を無視する行儀の悪いロボットには、.htaccessなどで403(立ち入り禁止)を返す強制手段がある。このあたりの具体的な書き方と効果は、実録編で手順ごと公開している。
「吸われて得するサイト」と「しないサイト」
では、あなたのサイトはどのクローラーを通すべきか。判断の軸はシンプルで、収入や目的が「人に来てもらうこと」に依存しているかである。広告や物販で食べているサイトなら、学習用クローラーは断ってよい。データだけ持ち去られ、読者は返ってこないからだ。
逆に、企業の技術ブログや行政の情報サイトのように「内容が広まること自体が目的」なら、学習に吸われるのも布教のうちと割り切れる。またAI検索系は、拒否するとAIの回答であなたのサイトが紹介されなくなる。AIに引用される書き方で扱ったとおり、AI経由の流入はこれから太くなる入り口で、ここを閉じるのは筆者にはもったいなく見える。
呼び鈴と、配達員と、セールスマン
乱暴にまとめれば、検索クローラーは読者を連れてくる「配達員」、AI検索クローラーは家の場所を広める「呼び鈴」、学習用クローラーは商品サンプルだけ持ち帰る「訪問セールスマン」だ。配達員は通す。呼び鈴は鳴らさせる。サンプルの持ち帰りは、店の事情で決めればいい。玄関の貼り紙ひとつで、その仕分けは今日からできる。
出典: Cloudflare Radar(ボット・AIクローラー実測データ) / OpenAI公式(GPTBot/OAI-SearchBotの仕様) / Google公式(クローラーとフェッチャーの一覧)
