AIクローラーとは？種類一覧と許可か拒否かの判断をやさしく解説

【学習用】GPTBot・ClaudeBot・CCBotなど

AIの学習のために来ているのは、OpenAIのGPTBot、AnthropicのClaudeBot、Common CrawlのCCBotなどです。拒否すると内容が学習に使われなくなる一方、AI検索での表示は別のボットが担うため、検索の回答から消えるわけではありません。

CCBotは非営利のCommon Crawlが運営し、そのデータセットは生成AIの学習に広く利用されてきたとされます。AppleのApplebot-Extendedも学習用で、拒否するとApple Intelligenceなどの学習だけが止まり、SiriやSpotlightでの表示は保たれます。

GoogleのGemini学習を止めるGoogle-Extendedは、独立したボットではなくrobots.txtに書く名前としてだけ存在します。サーバーのログにこの名前が現れないのはこのためです。

SEO事業者アユダンテのログ検証では、学習用ボットは公開から時間が経った安定したページを重点的に読む傾向が観測されています。まず自サイトのログにこれらの名前があるかを確かめてから、この後の許可・拒否の判断に進むのが近道です。

【検索表示用】OAI-SearchBot・PerplexityBotなど

AI検索の回答にサイトを載せるために来ているのは、OpenAIのOAI-SearchBot、PerplexityのPerplexityBot、AnthropicのClaude-SearchBotなどです。拒否するとChatGPT検索やPerplexityの回答に自サイトが表示されなくなるため、AI経由の発見や流入を求めるなら許可が原則になります。

AIのクローラーはどれも学習に使われる、という一括りの見方はこの分類には当てはまりません。たとえばPerplexityの公式ドキュメントは、PerplexityBotをAIモデルの学習のためのクロールには使わないと明言しています。

アユダンテの同じログ検証では、検索表示用のボットは公開が新しい記事を重点的に読む傾向が観測されています。更新直後のページにアクセスが集まっても、学習用とは動き方が違うと知っていれば読み違えずに済みます。

この分類を通すか断るかは、AI検索でサイトを見つけてもらう機会をどう位置づけるかで決まります。自社の集客でAI検索からの流入に期待するかを先に整理しておくと、後半で扱う許可・拒否の判断がぶれません。

【ユーザー代理】ChatGPT-User・Perplexity-Userなど

ChatGPT-UserやPerplexity-Userは、ユーザーがAIに頼んだ操作をきっかけに、その場でページを取得しに来るボットです。決まった周期でサイトを巡回する通常のクローラーと違い、アクセスが来るかどうかは人の操作しだいで決まります。

たとえばChatGPTにURLを貼って「このページを要約して」と頼むと、ChatGPT-Userがそのページを読みに来ます。AnthropicのClaude-Userも同じく、会話中のユーザーの求めに応じて動くボットです。

注意したいのはrobots.txtの扱いです。OpenAIはクローラー解説ページで、ChatGPT-Userにはユーザー起点のためrobots.txtルールが適用されない場合があると述べ、Perplexityの公式ドキュメントもPerplexity-Userは原則無視すると明記しています。この分類は、robots.txtでの制御を前提にできません。

一方でAnthropicは、Claude-Userもrobots.txtに従うと明記しており、対応は各社で割れています。拒否したはずのAIからアクセスが来るときは、設定ミスを疑う前に、来ているのがこのユーザー代理の分類でないかをログで確かめてください。

全面拒否・学習のみ拒否・許可の記述例3パターン

書き方は「AI関連をすべて拒否」「学習用だけ拒否して検索表示用は許可」「すべて許可」の3パターンで、自サイトの方針をどれかに当てはめればそのまま書けます。たとえばGPTBotだけを止めるなら、User-agent: GPTBotとDisallow: /の2行だけです。

• 全面拒否: AIに読まれること自体を避けたいサイト向け。学習用・検索表示用・ユーザー代理を含むAI関連ボットを列挙し、すべてDisallow: /で止める
• 学習のみ拒否: GPTBot・ClaudeBot・CCBotなど学習用だけ止め、OAI-SearchBotなど検索表示用は通す。AI検索で見つかる機会を保てるため、多くの企業サイトではこれが現実的な落としどころ
• すべて許可: robots.txtには何も書かない。AI経由で見つけてもらう機会を最大化したいサイトはこのまま

全面拒否でボット名を漏れなく挙げるのは手間がかかります。コミュニティが更新を続けるai.robots.txtに一覧とブロック用の記述例がまとまっているので、列挙の参照先にしてください。ボット名は前の一覧表と同じ表記で書けば、表とrobots.txtを突き合わせて確認できます。

これらの記述は、robots.txtに従うボットには狙いどおり効きます。ただし従わない・適用されないアクセスも実在するため、書き終えたら次に挙げる3つのケースを頭に入れたうえで、ログで効果を確かめてください。

反映までの時間と誤設定でよくある事故

すぐには効きません。OpenAIはクローラーの公式ドキュメントで、OAI-SearchBotについてrobots.txtの変更が検索結果へ反映されるまで約24時間かかると案内しています。反映に時間がかかる前提のため、書き換えた直後にアクセスが続いていても、それ自体は異常ではなく想定内の動きです。

気をつけたいのは、AIボットをまとめて拒否しようとしてUser-agent: *にDisallow: /を書いてしまう誤設定です。*はAIに限らずすべてのクローラーが対象になるため、Googlebotまで遮断して検索流入を失う事故につながります。拒否したいボット名を1つずつ指定するのが原則です。

あわせて、いつ・どのボットの記述を・どう変えたかを簡単にメモしておくと、後からアクセスの変化と突き合わせられます。1日ほど待ってもアクセスが止まらない場合は、書き方の誤りか、そもそもrobots.txtが効かないタイプのアクセスかをログで切り分ける段階です。

Google-Extendedを拒否した場合の影響

Google検索の順位には影響しません。Googleはクローラーの公式ドキュメントで、Google-Extendedの拒否は「Google検索への掲載に影響せず、ランキングシグナルとしても使われない」と明記しています。学習に使われたくないという理由での拒否なら、順位の心配と切り離して判断できます。

押さえておきたいのは、Google-Extendedが独立したクローラーではない点です。アクセスログにこの名前のボットが現れることはなく、実体は、Googleが通常のクロールで取得した内容をAIに使ってよいかをrobots.txtで伝えるための制御用の名前です。ログを探しても見つからないのは設定ミスではありません。

拒否した場合に止まるのは、将来のGeminiモデルの学習と、GeminiアプリなどがGoogle検索のインデックス経由でコンテンツを回答づくりに使う利用です。一方で、通常の検索結果への掲載やクロール自体はそのまま続きます。社内で説明するときも、この止まるもの・止まらないものの対応関係を示せば、学習拒否は検索に不利という誤解を残さずに済みます。

ステップ1 User-Agentでアクセスを洗い出す

サーバーログのUser-Agent欄を、GPTBot・OAI-SearchBot・ChatGPT-User・ClaudeBot・PerplexityBot・CCBotといったボット名で検索すれば、AIクローラーを名乗るアクセスを一覧で取り出せます。検索に使うボット名は、種類一覧の表に載せた各社公式のUA文字列と同じもので構いません。

ApacheやNginxのアクセスログなら、grepコマンドで複数のボット名をまとめて抽出するのが手早い方法です。CloudflareなどのCDNを利用している場合は、ログを直接開かなくても管理画面のボットレポートで同じ洗い出しができます。

ただし、ここで分かるのは「そのボット名を名乗るアクセスがある」ことまでです。User-Agentは自己申告にすぎず偽装もできるため、抽出結果はあくまで候補として扱い、本物の公式ボットかどうかは次のステップで接続元IPを公式IPレンジと突き合わせて確かめます。

ステップ2 公式IPレンジと照合する

そのアクセスが本物かどうかは、接続元IPアドレスを各社が公開している公式のIPレンジと突き合わせて確かめます。レンジ内なら正規ボット、レンジ外なのにGPTBotなどのボット名を名乗っていれば、偽装の疑いが強いと判断できます。

照合用ファイルのURLは、種類一覧の表に載せたものをそのまま使えます。OpenAIはgptbot.json、Anthropicはbots.json、Perplexityはperplexitybot.json、Common Crawlはccbot.jsonという形で、いずれも正規ボットの検証用として各社が公式に提供しているものです。検証用データをわざわざ公開していること自体が、「名前だけで判定しないでほしい」という運営側からのメッセージでもあります。

この照合は各社も想定している手順で、PerplexityはCloudflareなどでアクセス制御を設定する際に、User-Agentの照合とIP検証を併用するよう公式ドキュメントで推奨しています。IPレンジは更新されることがあるため、一度保存したリストを使い回さず、照合のたびにファイルを取得し直してください。それでも判断がつかないアクセスが残ったら、次の逆引きDNS検証で確かめます。

ステップ3 逆引きDNSで正規ボットか検証する

接続元IPアドレスを逆引きDNSで調べれば、正規ボットかどうかをほぼ確定できます。たとえばCommon CrawlのCCBotは、本物のリクエストなら逆引き結果が[IP].crawl.commoncrawl.orgというホスト名になると公式が案内しており、この形に一致しないのにCCBotを名乗るアクセスは偽装と判断できます。

操作はターミナルのhostコマンドやnslookupコマンドに対象のIPアドレスを渡すだけで、追加の準備はいりません。ただし全アクセスに毎回かける作業ではなく、IPレンジ照合で判断がつかないときや偽装が疑わしいときに白黒をつける確定手段と位置づけるのが現実的です。

逆引きまで通れば、そのアクセスは本物の公式ボットと確認できたことになります。ここまでの3ステップで「誰が来ているか」は確定できるので、次はその結果を材料に、どのクローラーを通しどれを断るかを決める段階に進みます。

目的別に見る許可と拒否のトレードオフ

許可で得られるのは、AI検索経由でサイトが見つかり、訪問や引用につながる機会です。拒否で守れるのはコンテンツを生成AIの学習に使われない状態で、学習用の拒否だけならAI検索での見つけやすさは失いません。

この「学習用だけを選んで断る」構成は各社の仕様上成立します。OpenAIのクローラー公式ドキュメントは、学習用のGPTBotを拒否してもChatGPT検索用のOAI-SearchBotを許可していれば検索回答への表示は保たれる整理になっており、Appleも公式サポートページで、Applebot-Extendedを拒否したままSiriやSpotlightの検索結果への掲載を維持できると案内しています。

この仕様を前提にすると、方針の出発点は2パターンに絞れます。

• AI検索からの流入・引用を重視するサイト: 3分類とも許可し、懸念が出た項目だけ後から見直す
• 学習利用を避けたいサイト: 学習用だけ拒否し、検索表示用とユーザー代理は許可のまま残す

どちらが正解というものではなく、AI経由の露出と学習回避のどちらを優先するかで決める枠組みです。次に、拒否したときにGoogle検索とAI検索で何が起こるのかを確認しておくと、この選択を社内に説明する根拠になります。

ブロックがSEOとAI検索に与える影響

AIクローラーをブロックしても、Google検索の順位は下がりません。失うのはAI検索での表示・引用の機会で、影響は別系統に分かれます。

Googleのクローラー公式ドキュメントによると、Google-Extendedは独立したクローラーではなく、取得済みのコンテンツをGeminiの学習やAI回答に使ってよいかを制御する指定です。拒否してもGoogle検索への掲載に影響せず、ランキングシグナルとしても使われないと明記されています。

一方、AI検索側の影響は確実に出ます。OpenAIのクローラー公式ドキュメントによると、OAI-SearchBotを拒否したサイトはChatGPT検索の回答に表示されなくなります。ただしサイト名で直接探されたときなどのナビゲーショナルリンクは残る場合があります。

拒否が止めるのは「AIがサイトを見つけて読みに来る」入口の部分で、入口が止まればその先で回答に引用される機会にも進めません。

ブロックは後から取り消せますが、拒否していた期間に見つけてもらえたはずの機会は戻りません。残る懸念がサーバーへの負担なら、次に見る実測データで規模感を確かめてから決められます。

サーバー負荷の実態と負荷を抑える選択肢

AIクローラーの負荷を理由にすべて拒否するのは、多くのサイトで過剰な対応です。サーバーが重くなる主因はrobots.txtに従わない一部のボットで、従うボットとは切り分けて対処します。

Cloudflareが2025年8月に公開した統計によると、2025年7月時点でAIクロールの約79%が学習目的で、前年同月の72%から増えています。クロール量のわりに訪問は増えにくく、Anthropicのクローラーは38,066回のクロールに対して訪問につながったのは1回です。1社の計測で月ごとの変動も大きいため、規模感の目安として読んでください。

一方、負荷の実害が出やすいのは拒否の指示を無視するボットです。先に触れたBytespiderのような非準拠ボットはrobots.txtでは止まらないため、CDNやWAF（不正なアクセスを遮断する仕組み）のボット管理機能でアクセスそのものを止めるのが現実的です。

従うボットの頻度だけが気になるなら、拒否せず間隔を空けてもらう中間の選択肢もあります。Anthropicは公式サポートページで、ClaudeBotなど自社の3つのボットがrobots.txtのCrawl-delay（クロール間隔の指定）に対応すると明記しています。

どの対処を選ぶかは、前の章のログ確認で出た実際のアクセス回数と突き合わせて決めてください。数字で負担を確かめる前に全面拒否へ進むと、AI検索で見つけてもらう機会だけを失いかねません。