生成AIクローラーは、どのサイトに来ているのか
― 自社7サイト・29日間・52,109リクエストの実測レポート

本レポートは、当社が運営する7つのWebサイトへの生成AIクローラーの来訪状況を、29日間・52,109リクエストにわたって実測したものです。

調査概要

調査の背景

生成AIによる情報検索が広がるなか、「自社サイトに生成AIのクローラーがどれだけ来ているのか」を知る手段は限られています。Search Consoleの生成AIパフォーマンスレポートは2026年8月31日に全世界へ展開されましたが、対象はGoogleのAI OverviewsとAI Modeに限られ、表示回数のみで、クリック数も掲載順位も表示されません。そこで当社は、自社サーバーのアクセスログという直接の記録から、生成AIのクローラーが実際にどれだけ訪れているかを測定しました。

主な調査結果

結果1：Google検索に1ページも登録されていないサイトにも、生成AIのクローラーは訪れていた

当社の外国人採用情報サイトは、2026年9月23日時点でGoogle Search ConsoleのURL検査により全23ページを調べたところ、検索結果への登録は0ページ（登録率0%）でした。しかしこのサイトには、調査期間中に2,997件の生成AIクローラーの来訪がありました。うち794件は、AIが回答を作成する際にページを取得するタイプのアクセスです。

一方、同じ手法で調べて登録率96%（73ページ中70ページ）だったAI導入支援サイトへの来訪は2,747件、うち回答作成時の取得は507件でした。

登録率0%のサイトのほうが、登録率96%のサイトよりも来訪件数が多いという結果になりました。当社の7サイトの範囲では、Google検索への登録率と生成AIクローラーの来訪件数は連動していません。

※ life / money / m-ri.co.jp はGSCのindex全数実測を行っていないため、本表には含めていません。

結果2：最も多かったのはChatGPTの回答作成時の取得で、全体の33.7%

ChatGPTが回答を作成する際の取得だけで、Googlebotの約2.7倍にあたる件数が記録されました。

結果3：事業者によってクローラーの性格が大きく異なる

Perplexityは、インデックス作成のために巡回するPerplexityBotが2,089件だったのに対し、回答作成時に取得するPerplexity-Userは158件で、約13分の1でした。一方OpenAIは、回答作成時の取得（ChatGPT-User 17,548件）が、インデックス・学習用の巡回（OAI-SearchBot 3,195件とGPTBot 799件の合計3,994件）を大きく上回りました。

「AIクローラー」として一括りに扱うと、事業者ごとのこうした違いを見落とすことになります。

なお、ByteDanceのBytespiderが5,718件で全体の4番目に入っていました。当社の7サイトの範囲では、Bytespiderは無視できない規模でした。

日別の推移

以下は、調査期間29日間の日別集計です。

本調査の限界

本調査には次の限界があります。

• 本調査が記録したのは「クローラーがページを取得した件数」です。取得されたことは、AIの回答にそのページが引用されたことを意味しません。引用されたかどうかは、本調査の方法では分かりません。
• ボットの判別はユーザーエージェント文字列のみで行っており、IPアドレスの逆引きによる正当性の検証は行っていません。ユーザーエージェントを偽装したアクセスが含まれている可能性があります。
• 対象は当社が運営する7サイトのみです。単一の事業者のサイト群を測定した結果であり、Web全体の傾向を示すものではありません。
• Google検索への登録率は2026年9月23日時点の測定値です。登録状況は変動します。

集計方法

各サイトのアクセスログから、リクエストのユーザーエージェント文字列をもとにボットを判別し、日別・ホスト別・ボット別に件数を集計しました。

「AIが回答を作る際に取得した件数」として集計したのは、ChatGPT-User と Perplexity-User の2種類です。これらは、利用者の質問に答えるためにAIがその場でページを取得する際に使われるものです。

それ以外のボット（OAI-SearchBot、GPTBot、PerplexityBot、ClaudeBot、Bytespider、Applebot、Amazonbot、Meta-AI、CCBot、Google-Extended、Googlebot、Bingbot）は、インデックス作成・学習のための巡回として集計しました。

本調査の集計データにはIPアドレスを含めておらず、公開もしていません。掲載しているのは集計値とサイトの区分のみです。

集計期間は、翌日以降の収集で値が確定した日のみを対象としています。

更新履歴

2026年9月26日　公開（測定期間：2026年8月28日〜9月25日）