AIに読まれていますか？ ─ AIクローラーのブロックとAIO対策・キャッシュの落とし穴

ChatGPTやClaude、Perplexity、Geminiといった生成AIが「調べ物の入り口」になりつつある今、自社サイトがAIに正しく読まれているかは、これからの集客を左右する重要なテーマです。いわゆるAIO（AI Optimization／AI最適化）の第一歩は、実は「良い記事を書くこと」よりも前にあります。そもそもAIのクローラーに自社サイトを読ませているか（＝ブロックしていないか）、という土台の確認です。

本記事では、意図せずAIをブロックしてしまう典型パターン、その外し方、そして見落とされがちな「キャッシュによる時間差」の落とし穴までを、実務目線で整理します。

なぜ「AIにブロックされていないか」が最優先なのか

AIがユーザーの質問に答える経路は、大きく分けて次の3つです。

• 学習用クロール：モデルの学習データを集める（例：GPTBot、ClaudeBot）
• 検索インデックス用クロール：AI検索の索引を作る（例：OAI-SearchBot、Claude-SearchBot、PerplexityBot）
• ユーザー起点の取得：ユーザーが質問した瞬間にページを読みに行く（例：ChatGPT-User、Claude-User）

どれか一つでも自社サイトを取得できないと、その経路ではあなたのサイトは「存在しない」も同然になります。どんなに中身が優れていても、入り口で弾かれていれば土俵に立てません。

1. まず確認：意図せずAIを弾いていないか

AIクローラーをブロックしてしまう箇所は、主に次の4つです。心当たりがなくても、制作会社やサーバーの初期設定で入っていることがあります。

1. robots.txt：Disallow: / や特定ボットの拒否設定が入っていないか
2. サーバーの海外IPアクセス制限：多くのAIクローラーは海外（クラウド）のIPから来ます。国外アクセスを一律で拒否していると、AIも同時に締め出しています
3. WAF・セキュリティプラグイン：ボット対策が過剰で、正規のAIクローラーまで遮断していないか
4. ベーシック認証・IP制限：ステージング用の制限を本番に残していないか

主要なAIクローラーのユーザーエージェント（UA）

ログやrobots.txtで許可・確認する際の代表的なUA名です。

2. 「3種類のボット」を混同しない ─ 最も多い設定ミス

各社は目的別に複数のボットを分けて運用しています。ここが最大の落とし穴です。たとえば「学習には使わせたくないからClaudeBotを拒否した」場合でも、ユーザー起点の取得（Claude-User）や検索用（Claude-SearchBot）は別扱いです。逆に、学習ボットだけ許可して、検索・ユーザー起点のボットを拒否したままだと、AI検索やAIチャットの回答には一切出てこない、という事態になります。

「AIに載せたい／載せたくない」を決めたら、どの用途のボットを許可・拒否するのかを1つずつ指定するのが正解です。ひとくくりに「AIを許可／拒否」と考えると、ほぼ確実に取りこぼします。

3. ブロックの外し方

robots.txt での許可

最低限、トップや主要ページが Disallow になっていないことを確認します。許可したいボットを明示する場合は、UAごとに記述します。

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

なお、robots.txt 自体は誰でも（＝どのIPからでも）HTTP 200で読める状態にしておくことが重要です（理由は後述）。

サーバー・セキュリティ側の許可

robots.txtが正しくても、サーバーの海外IP制限やWAFで弾いていれば読まれません。国外アクセス制限をかけている場合は、次のいずれか（または両方）でAIを除外（許可）します。

• UA（ユーザーエージェント）で許可：上記のボット名を許可リストに追加する
• 公式IPレンジで許可：各社が公開している「自社クローラーの送信元IPリスト」を許可する（例：Anthropicはクローラーの公式IP一覧を公開しています）

UAは詐称され得るため、機密性の高いサイトでは公式IPレンジでの許可がより確実です。両方を併用すると取りこぼしにくくなります。

4. 最大の落とし穴 ─ 「昔のブロック」がキャッシュで尾を引く

ここが本記事で最もお伝えしたいポイントです。設定を直したのに、AIがしばらく読みに来ない・古い情報を返し続けることがあります。原因はキャッシュと判定の時間差です。

• robots.txtはキャッシュされる：多くのAIクローラーはrobots.txtを取得後、一定時間（一般に24〜48時間程度）キャッシュします。許可に変更しても、反映は次回クロール以降です。
• 「読めない＝全面禁止」と保守的に判定されることがある：IP制限や地理ブロックでrobots.txt自体が取得できない状態だと、クローラーは安全側に倒して「このサイトは取得不可」とみなす場合があります。IPをブロックすると、robots.txtの読み取りまで妨げてしまう、という点は各社も注意喚起しています。
• 過去の失敗が判定として残る：一度「取得不可」と判定されると、サーバー側を開放しても、AI側の再クロール・再評価が回るまでは古い判定のまま、という時間差が生じます。

対処はシンプルです。①robots.txtは常に200で誰でも読める状態にする ②IP/地理制限をかけるならAIの公式UA・IPを必ず除外する ③修正後は再クロールを数日待つ。焦って何度も設定を変えるより、正しい状態にして反映を待つのが結果的に早道です。

5. 確認方法（実践）

「ブロックしていないつもり」を確実に検証するには、推測ではなくサーバーのアクセスログを見るのが一番です。

• ログでAIのUA（GPTBot、ClaudeBot、Claude-User など）を検索し、ステータスコードが200か、403などで弾かれていないかを確認する
• そもそもAIのリクエストが記録されているか（来ていなければ、手前で遮断されているか、AI側がまだ来ていない）
• 送信元IPを各社の公式IPリストと照合し、正規のクローラーかを確認する
• robots.txtの変更は数日おいて再確認する（キャッシュ反映の時間差を前提に）

まとめ：AIO対策の“土台”チェックリスト

• robots.txtで主要ページをDisallowしていない／robots.txtは200で誰でも読める
• 「学習・検索・ユーザー起点」の3用途を区別し、載せたいボットを許可している
• 海外IP制限・WAFでAIの公式UA／IPを弾いていない
• 設定変更後は、キャッシュ反映（24〜48時間〜）を見込んで再クロールを待つ
• 推測せず、アクセスログでUA・IP・ステータスを実測して検証する

優れたコンテンツもAIに読まれてこそ意味があります。まずは「入り口で弾いていないか」を点検し、AIに正しく届く状態を整えることが、AIO対策の確実な第一歩です。