robots.txtでAI学習の可否を一括指定する共通シグナル「__usage_ai-training」とは

結論から書きます。robots.txt に「User-Agent: __usage_ai-training」というグループを作り、その下に Disallow（学習利用を拒否）または Allow（許可）を書けば、対応する複数のAI事業者へ意思表示をまとめて伝えられます。OpenAI・Google・Microsoft が2026年10月30日にこの共通シグナルへの対応を表明しました。ただし実際に効力が出るのは各社が実装してからで、日付が確定しているのは Microsoft の2027年2月1日のみです。今すぐ書き足してよい設定ですが、既存の GPTBot や Google-Extended の指定は消さずに残すのが安全です。

共通シグナルの書き方と、クロール制御との違い

記述はこれまでの robots.txt の文法そのままです。クローラー名の代わりに「ポリシートークン」を User-Agent 行に書きます。サイト全体の学習利用を拒否し、特定ディレクトリだけ認める場合はこうなります。

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

新しいディレクティブは追加されていないため、既存のrobots.txtパーサーの挙動を壊しません。

重要なのは、これが「クロールしてよいか」ではなく「学習に使ってよいか」の指定だという点です。巡回そのものを止めたい場合は、従来どおり各クローラー名に対する Disallow を別に書く必要があります。逆に言えば、クロールは許可してAI検索の回答に引用されつつ、モデルの学習からは外す、という使い分けが1ファイルで表現できるようになります。

対象となる「AI学習」は、生成AIモデルの学習済みパラメータを変更するためにコンテンツを使う行為と定義されています。Microsoftの説明によれば、生成以外の用途だけに使うモデルの学習は含まれません。また、トークンを書かなければ「意思表示をしていない」と解釈されます。全クローラー向けの「User-Agent: *」を書いても、学習拒否の意思表示にはなりません。

対応時期と解釈は事業者ごとに違う

仕様の土台は、AnthropicのKevin Kelley氏がIETFに提出したInternet-Draft「Machine-Readable Training Preference Signal」です。IETFのAI Preferences（AIPREF）ワーキンググループでの議論を踏まえたものですが、個人名義の草案であり、承認済みの標準ではありません。そのうえで各社の足並みにはずれがあります。

• Microsoft：2027年2月1日から、クロール時に読み取って適用
• Google：他のAI事業者とともに2027年中の対応を目指すと表明
• OpenAI：今後数か月での実装を目指し、既存のクローラー設定も継続
• Anthropic：Kelley氏がIETFのメーリングリストで実装着手を説明（完了時期は未公表）

つまり、今日書いた1行が全社に効くまでには1年以上かかる可能性があります。移行期間中は、共通トークンと既存の個別指定を併記しておくのが現実的です。

Googleは学習とグラウンディングが連動する

Googleは2023年から Google-Extended という制御を提供しており、これは将来のGeminiモデルの学習と、回答生成時に情報源として参照するグラウンディングの両方をまとめて制御します。

共通トークンで学習を拒否し、かつ Google-Extended を明示していない場合、Googleはそれを Google-Extended の拒否として扱う方針です。結果として、Geminiアプリなどの回答で参照される対象からも外れます。学習は拒否したいがAI回答での露出は維持したい場合は、共通トークンで Disallow としたうえで、Google-Extended に対して Allow を明示する必要があります。Googleは、Google-Extended を明示的に許可したサイトはGeminiアプリの回答で参照されクリックを得る対象になると説明しています。なお Google-Extended の設定は、Google検索への掲載や順位には影響しません。

MicrosoftはNoArchive/NoCacheからの移行期限がある

Microsoftは学習（AI Training）と回答への参照（AI Grounding）を分離しました。学習は robots.txt かページ単位、グラウンディングはページ単位のみで指定します。ページ単位の指定は robots.txt より優先されます。

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

グラウンディングには Allow / DisallowExtended / Disallow の3段階があります。DisallowExtended は、CopilotやMicrosoft 365などMicrosoft自身のサービスでの参照は認めつつ、Web IQ や Foundry のAPI経由など第三者向けのグラウンディングサービスでの利用を拒否する設定です。いずれもBing検索結果への掲載には影響しません。

注意が必要なのは既存ユーザーです。Microsoftは2023年から NoArchive / NoCache タグで同様の制限を提供してきましたが、2027年3月1日以降はこれらを学習・グラウンディングの意思表示として読まなくなります。どちらの設定も未指定時の既定値は Allow なので、放置すると制限が外れます。

1. 2026年12月15日：Bing Webmaster Tools で一時的なグラウンディング設定の登録受付開始（同日時点で NoArchive / NoCache を使用しているサイトが対象）
2. 2027年2月1日：新しい設定の適用開始（クロールして読み取った分から）
3. 2027年3月1日：旧設定の読み取り終了。制限を維持するならこの日までにページへの設定公開と、グラウンディングについてはBing Webmaster Toolsへの一時設定登録が必要
4. 2027年9月30日：一時設定が失効

Microsoftは「設定を公開することと、有効になることは別」と明記しています。再クロールされるまで反映されないため、一時設定の登録が用意されています。

いま決めておくべきこと

この仕組みは法的な強制力を持つものではなく、各社の自主的な遵守が前提です。そのうえで、サイト運営者が判断すべき論点は次の3つに整理できます。

第一に、学習とグラウンディングを分けて考えることです。学習を拒否してもAI検索経由の露出は維持できる設計になっています。流入を重視するなら、学習だけを拒否して参照は許可する組み合わせが選択肢になります。逆にブランド保護を最優先するなら、Microsoftの DisallowExtended のように中間的な設定も使えますが、AI体験での可視性は下がるとMicrosoft自身が明言しています。

第二に、ページ単位の指定をどう配るかです。Microsoftのグラウンディング設定に robots.txt の一括指定はありません。サイト全体で制限したいなら、CMSの共通テンプレートに meta タグを入れるか、サーバーやCDNで X-Robots-Tag ヘッダーを一括付与する実装が必要になります。これは数日で終わる作業ではないので、2027年3月の期限から逆算して着手時期を決めておくべきです。

第三に、robots.txt はホスト単位で読まれるという前提です。サブドメインやブログを別ドメインで運用している場合、それぞれに同じ指定を置く必要があります。

当面の実務としては、(1) 自社の robots.txt に共通トークンのグループを追記する、(2) GPTBot・OAI-SearchBot・Google-Extended など既存の個別指定はそのまま残す、(3) NoArchive / NoCache を使っていれば2026年12月15日以降のBing Webmaster Toolsでの登録を予定に入れる、という順序が無理のない進め方です。仕様はまだドラフト段階のため、各社の実装が始まるタイミングで解釈が変わる可能性も残っています。

出典

• Google 検索セントラル ブログ: ウェブサイト向けの共通のAI学習コントロールへの対応
• Microsoft Bing ブログ: あなたのコンテンツ、あなたの選択 — 学習とグラウンディングのより明確な設定
• IETF Datatracker: 機械可読な学習設定シグナル（Internet-Draft）
• Google 検索セントラル: Google-Extended の解説
• gihyo.jp: OpenAI・Google・Microsoft、robots.txtでAI学習の許可・拒否を一括指定する新たな仕組みに対応へ
• ITmedia NEWS: AI学習への利用拒否をrobots.txtで一括指定へ OpenAIやGoogleなどが対応表明