robots.txt（ロボッツテキスト）
robots.txt
robots.txtとは、ウェブサイトのルートに置き、User-Agentごとにクローラーがアクセスしてよいパスと避けるべきパスをAllow・Disallow規則で伝える公開ファイルである。
詳しく
アクセス制御や秘密保持の代わりではない
robots.txtは協調的なクローラーへ方針を伝える仕組みであり、認証や強制的なアクセス制御ではない。記載したパスは公開されるため、非公開情報を守る用途には使えない。AI関連では、学習用、検索用、ユーザー操作用のUser-Agentが分かれている場合があるため、事業者の最新ドキュメントを確認し、WAFやCDNのボット制御とも整合させる必要がある。
関連用語
プラットフォーム・技術の他の用語
一覧を見るAI Overviews（エーアイオーバービューズ）
AI Overviews とは、Google 検索の検索結果上部に表示される AI 生成の要約である。従来の検索結果と並行して表示される。
AI Mode（エーアイモード）
AI Mode とは、Google が提供する対話型の AI 検索体験である。質問をサブトピックに分解して並列検索する query fan-out の仕組みを採用している。
llms.txt（エルエルエムズテキスト）
llms.txt とは、Web サイトの運営者が AI クローラー向けにサイト情報を提供するためのファイルであり、AI が効率的にサイトの内容を取得するためのガイドとして機能する。
OAI-SearchBot（オーエーアイサーチボット）
OAI-SearchBotとは、OpenAIがChatGPT検索でウェブページを発見し、回答内の要約、抜粋、出典リンクとして表示するために使用する検索用クローラーである。
Operator（オペレーター）
Operatorとは、OpenAIが2025年に研究プレビューとして提供した、専用ブラウザを操作して入力、クリック、スクロールなどのウェブ作業を実行するAIエージェントである。
ClaudeBot（クロードボット）
ClaudeBotとは、AnthropicがClaudeの生成AIモデルの有用性や安全性を改善する目的で、学習に利用される可能性のある公開ウェブコンテンツを収集するクローラーである。