上位550サイトのnoaiは0件、Bingのnoarchiveは21件
Trancoの上位1,000ドメインのトップページ550件(2026-10-06取得)で、meta robotsとX-Robots-Tagを読みました。ページ単位のAI向け指定で実際に使われているもの、metaとヘッダーの食い違い、robots.txtとの突き合わせ、一貫したポリシーの書き方。
Trancoの上位1,000ドメインのトップページを取得して、返ってきたmeta robotsタグとX-Robots-Tagヘッダーをすべて読みました。実際のページとして読めたのは550件です。550件のうち、noaiかnoimageaiを送っているサイトは1件もありませんでした。 nosnippetも0件で、max-snippetを送る47件はすべて-1、つまり「制限なし」です。大手サイトが実際に使っているページ単位のAI向け指定は、Bingのものでした。550件中21件がnoarchiveかnocacheを送っています。Microsoftの説明では、この2つでページをCopilotの回答から外すか、リンクとスニペットだけに絞れます。
つまり上位1,000サイトのAIポリシーは、ほぼすべてrobots.txtにあります。それ自体は問題ありません。問題は、どの手段がどこに届くのかが混ざっていることです。主要なクローラーが読まないnoai、robots.txtでクローラーを締め出しているせいで読まれないnoindex、ヘッダーとmetaタグで言っていることが違うケース。
以下、各手段が何に届くか、数字、設定が三者三様の実サイト3件、そしてどこでも同じことを言うポリシーの書き方の順に書きます。
先に限界
noaiとnoimageaiは標準ではありません。 Googleがサポートするrobotsルールの一覧には載っていませんし、OpenAI、Anthropic、Perplexityのクローラーのページが案内しているオプトアウトはrobots.txtのトークンで、ページのタグではありません。対応しているツールはあります。画像とテキストの学習用データセットを作るimg2datasetは、画像そのもののHTTPレスポンスにX-Robots-Tag: noaiかnoimageaiが付いていればその画像を飛ばします。読むのは画像のヘッダーで、画像を載せたページのmetaタグではありません。- トップページだけです。 1サイトにつき1URLです。記事や画像、PDFに指定を付けてトップページには何も付けないサイトもありえますが、それは見えていません。「550件中0件」はトップページの話で、サイト全体の話ではありません。
- 回線1本、User-Agent 1種類。 2026-10-06の15:59〜16:01 UTCに、日本の回線1本から、デスクトップChromeのUser-Agentで、ドメインごとに1回GETしました。リダイレクトは追っています。GPTBotにはChromeと違うヘッダーを返すサーバーもありえますが、それは試していません。JavaScriptも実行していないので、クライアント側で挿入されるmetaタグはここでは見えません(多くのクローラーにも見えません)。
- リストと集合: Trancoのリスト56WKNの上位1,000件のうち、llms.txtの集計とrobots.txtの集計でHTTPSに応答したのと同じ742ドメインです。
- 742件のうち192件はトップページを返しませんでした。 114件がブラウザのUser-Agentに401か403、8件が200でボット対策の壁かエラーページ(microsoft.comは「Your request has been blocked」)、70件が404、400、5xx、429、HTML以外、あるいは無応答です。この192件は「指定なし」ではなく不明として扱い、以下はn = 550です。
各手段が何に届くか
| 手段 | 読む側 | 何が起きるか |
|---|---|---|
robots.txtのUser-agent: GPTBotなど |
そのトークンを名乗るクローラー | そもそもURLを取得してよいか。トークンごとの詳細はrobots.txtの記事 |
nosnippet、max-snippet:N(metaかヘッダー) |
Google: nosnippetは"will also prevent the content from being used as a direct input for AI Overviews and AI Mode"。max-snippetは使える量を制限する |
|
noindex、none |
検索エンジン | インデックスから外れ、その上に作られたものすべてから外れる |
noarchive |
Bing | Microsoft: “will not be included in Bing Chat answers, not be linked to in the answers”、学習にも使わない。Googleの現在の一覧には載っていない |
nocache |
Bing | Microsoft: 回答には"URL/Snippet/Title"だけ、学習に使うのもそれだけ |
noai、noimageai |
一部のデータセット用ツール | 非標準。上の限界を参照 |
出典: Googleのrobots metaタグのリファレンスとAI機能のページ、MicrosoftのBing Webmasterブログ(2023-09-22)、img2dataset。いずれも2026-10-07に確認しました。
この表全体に効くルールが2つあります。
robots.txtで締め出したクローラーは、ページ単位の指定を読めません。 Googleがはっきり書いています。robots.txtで拒否されたページについては"any information about indexing or serving rules will not be found and will therefore be ignored"。Googlebotが取得できないページにnoindexを書いても、何も起きません。
metaタグとヘッダーは、同じ指示を2か所に書いているだけです。 Googleは両方を1つのまとまりとして扱い、"the more restrictive rule applies"です。PDFや画像にはヘッダーしか使えません。CMSで変えやすいのはmetaタグのほうです。
数字
n = 550件のトップページ、2026-10-06。
| トップページ数 | |
|---|---|
| meta robotsタグあり | 192 |
X-Robots-Tagヘッダーあり |
15 |
noaiかnoimageai(metaかヘッダー) |
0 |
nosnippet |
0 |
max-snippet |
47、すべて-1(制限なし) |
全クローラー向けのnoindex |
7 |
noarchiveかnocache |
21 |
特定のAIクローラー(GPTBot、ClaudeBotなど)宛ての指定 |
0 |
noindexの7件はAIポリシーではありません。ログイン用のアプリ(outlook.comとlive.comはOutlookのメールのログインに着きます)、ドメインのレジストラ2件、クラウドのログイン、アドテク企業、パークドメインです。
Bing向けの21件は2つに分かれます。
- 10件はBingだけが対象:
<meta name="bingbot" content="noarchive">かX-Robots-Tag: bingbot: noarchiveです。instagram.com、threads.com、theguardian.com、bbc.com、bbc.co.uk、elpais.com、cnet.com、nikkei.comがnoarchive、tumblr.comとtheverge.comがnocacheを送っています。 - **11件はすべてのクローラーに
noarchive**を送っています。linkedin.com、npr.org、lemonde.fr、dailymail.co.uk、usatoday.com、zoho.comなどです。
47件のmax-snippet:-1は、ほとんどがSEOプラグインの定型です(max-image-preview:large、max-video-preview:-1とセットで出てきます)。意味は「好きなだけ使ってよい」。上位1,000サイトで、トップページのmax-snippetでAI Overviewsを制限しているところはありませんでした。
metaとヘッダー
同じクローラーに対して両方の場所でルールを送っているのは3件で、そのうち2件は中身が違いました。usatoday.comはヘッダーでnoarchive, nocache、metaタグでは古いnoodp, noydirだけ。repubblica.itはヘッダーでnoarchiveを送り、metaタグには書いていません。厳しいほうが勝つので、どちらも矛盾ではありません。ただ、HTMLだけを読む人はポリシーを読み違えます。テンプレートを管理している本人も含めて。
トップページにmeta robotsタグが2つ以上あるサイトは10件でした。ある場所でindex、別の場所でnoindexと言っているページは見つかりませんでした。
robots.txtとの突き合わせ
各トップページを、前回取得した同じサイトのrobots.txt(545ファイル、RFC 9309の判定)と突き合わせました。
- 学習用クローラーを通しているrobots.txtと、
noaiの食い違い: 0件。比べるnoaiがありません。 - robots.txtですでに締め出しているAIクローラー宛ての指定: 0件。名指しの対象は
bingbot(10件)とgooglebot-news(1件)だけでした。 - 一部のAIクローラーには見えないページ全体の
noindex: 1件。sharethrough.comはトップページにnoindexを付け、robots.txtで9つのAIトークンをすべて拒否しています。どちらも「ノー」なので何も壊れていません。そのタグがそれらのボットに届かないだけです。
Bing向けの21件のうち、robots.txtをファイルとして返したのは15件です。15件のうち8件がGPTBotを、10件がGoogle-Extendedを全面拒否しています。比べた6つのAIトークンのどれも全面拒否していないのが2件、rubiconproject.comとzoho.comです。
3つのサイト、3つの設定
bbc.com: どの層も同じことを言っている。 robots.txtでGPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended、CCBotを全面拒否。トップページにはX-Robots-Tag: bingbot: noarchiveを足しています。Bingbotはrobots.txtで止めるとBingの検索から消えるので、Copilotに対してはページ単位のスイッチが唯一の手段です。真似するならこの形だと思います。
rubiconproject.com: ページ単位だけ。 metaタグで全クローラーにnoarchive。robots.txtは6つのAIトークンをすべて許可しています。「生成AIに使わせない」が意図なら、それを伝えた相手はMicrosoftだけです。「キャッシュを残さない」だけが意図なら、昔の設定が残っていて、今はCopilotの回答からも外れていることになります。外からはどちらかわかりません。
theverge.com: 混在、たぶん意図的。 <meta name="bingbot" content="nocache">(Copilotはリンクとスニペットなら出せる)、robots.txtではClaudeBot、PerplexityBot、Google-Extended、CCBotを全面拒否、GPTBotは一切拒否していません。会社ごとに決めたポリシーに見えます。契約があるのかもしれません。ファイルには書いてありません。ポリシーが3か所に散らばっているときの問題はここで、次に編集する人にもわからないのです。
ポリシーを1つにまとめる
まず目的ごとに決めて、それから相手が実際に読む手段を選びます。
- 学習。 robots.txtのトークンを使います。GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot、Bytespider。Bingには
noarchive。noaiも付けたいなら、対応ツールが見る場所、つまり画像のヘッダーに付けます。 - AIの回答と検索。 robots.txtのOAI-SearchBot、Claude-SearchBot、PerplexityBot。GoogleのAI Overviewsは、robots.txtではGoogle検索ごと外れないと止められないので、
nosnippetかmax-snippetの値が手段になります。Copilotはnocache(リンクとスニペットだけ)かnoarchive(外す)。 - 完全に消す。
noindexです。そして、クローラーがそれを読めるようにページの取得は許可しておきます。
ニュース系のサイトで「学習には使わせない、回答はリンクだけ」を書くとこうなります。
# robots.txt
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Bytespider
Disallow: /
User-agent: *
Disallow: /search
<!-- すべてのHTMLページ -->
<meta name="bingbot" content="nocache">
# metaタグを置けない画像とPDF
location ~* \.(jpg|jpeg|png|webp|pdf)$ {
add_header X-Robots-Tag "noai, noimageai" always;
}
そのうえで、上で調べた4つの食い違いがないか確かめてください。
- robots.txtで締め出したボット宛てのページ単位の指定(読まれません)
- 同じクローラーに対して値の違うmetaタグとヘッダー
- 食い違う2つのmeta robotsタグ
- 昔のSEO設定の名残で、今はAIポリシーまで決めてしまっているページ全体の
noarchiveやnoindex
決めたポリシーは、1行でいいのでrobots.txtの先頭にコメントで書いておくのがおすすめです。robots.txtはすべてのクローラーが読む唯一の場所で、コメントは人が読む唯一の部分です。
生データ(トップページごとに1行のJSONで、X-Robots-Tagの生の値とmetaタグ、各ページの<head>、プローブと分析のスクリプト、各指定を仕込んで集計を確かめる対照ファイル)は上の日付のまま保管しています。必要な方はご連絡ください。
ツールで確かめる場合
無料のAIクローラーチェックは、GPTBot、ClaudeBot、PerplexityBotについて、robots.txtが許可しているかどうかとサーバーが実際に返すステータスを並べ、ページで見つかったほかの点も短く表示します。noai、noimageai、nosnippet、小さいmax-snippet、noindex、noneは検出しますが、Bingのnoarchiveとnocacheはまだ読みません。
1サイトを人の手で一通り見てほしい場合は、同じページの9,800円のミニ診断で、クローラーのアクセスと機械可読性を確認します。ボットごとのrobots.txt、各クローラーへのサーバーの応答、ページ単位の指定、構造化データ、サイトマップ、llms.txtです。AIエンジンには質問を送らないので、回答に出てくるかどうかはわかりません。わかるのは、AIがサイトを読めるかどうかと、ルールが意図どおりのことを言っているかどうかです。