診断基準・入力URLの取り扱い
GenAX LLMOチェッカーは、WebページがAI検索(ChatGPT検索・Claude検索・Perplexity・GoogleのAI機能等)に引用されるための技術的な下地(レディネス)を、公開情報のみからルールベースで判定するツールです。判定はすべて決定的で、LLMによる推測は使用していません。このページでは、採点体系・判定仕様・その根拠・測定の限界・入力URLの取り扱いをすべて公開します。
採点体系(6カテゴリ・39項目)
採点対象は34項目・合計100点です。これに加え、採点に影響しない参考項目が5項目あります。
| カテゴリ | 配点 | 主な判定内容 |
|---|---|---|
| AIクローラー許可 | 20点 | 検索・引用系クローラー4種のrobots.txt判定(16点)、llms.txt(2点)、noindex(2点)、robots.txt設置状況(0点・情報表示)、学習用クローラー4種(0点・参考) |
| 構造化データ | 20点 | JSON-LDの有無、Organization/WebSite、コンテンツ型スキーマ、パンくず、sameAs |
| コンテンツ構造 | 20点 | h1、見出し階層、main/article、リスト・表、静的HTML上の本文量、画像alt |
| メタ情報 | 15点 | title、meta description、canonical、lang、OGP、Twitterカード |
| 技術基盤 | 15点 | HTTPS、サーバ応答時間、サイトマップ、転送圧縮、HTMLサイズ、viewport |
| 信頼性シグナル | 10点 | 日付明示、著者情報、問い合わせ導線、本文中の外部参照リンク |
グレードは A(85点以上)/ B(70点以上)/ C(50点以上)/ D(50点未満)です。画像が1枚もないページの画像alt項目のように、判定対象が存在しない項目は「対象外」とし、分母から除外して100点換算します。
AIクローラーの分類と根拠
各社の公式仕様に基づき、AI検索の引用に使われるクローラーとモデル学習用のクローラーを区別しています。学習用クローラーのブロックはAI検索への引用可否と別系統の判断であるため、採点対象外の参考情報として表示します。
| クローラー | 役割 | 扱い |
|---|---|---|
| OAI-SearchBot | ChatGPT検索の引用用クローラー | 採点(5点) |
| Claude-SearchBot | Claude検索の引用用クローラー | 採点(4点) |
| PerplexityBot | Perplexity検索のクローラー | 採点(4点) |
| Googlebot | Google検索(AI Overviews / AIモードを含む) | 採点(3点) |
| GPTBot | OpenAIのモデル学習用クローラー | 参考表示 |
| ClaudeBot | Anthropicのモデル学習用クローラー | 参考表示 |
| Google-Extended | Gemini学習等の制御トークン(Google検索の掲載・順位には影響しない) | 参考表示 |
| CCBot | Common Crawl(多くのLLM学習データ元) | 参考表示 |
根拠とした一次情報:
- OpenAI公式: クローラー仕様(GPTBotとOAI-SearchBotの役割区分)
- Anthropic公式: クローラーの説明(ClaudeBotとClaude-SearchBot)
- Google公式: AI機能とWebサイト(AI OverviewsにはGooglebotが使用され、専用の構造化データやファイルは不要である旨)
- Perplexity公式: PerplexityBotの説明
robots.txtの判定仕様
RFC 9309(Robots Exclusion Protocol)の主要要件に準拠した判定を行います。
- User-agentグループは、クローラーのプロダクトトークンとの完全一致(大文字小文字無視)で選択します。部分一致は行いません(例: GooglebotはGooglebot-Newsグループの影響を受けません)。同一トークンの複数グループはルールを統合します
- ワイルドカード * と終端アンカー $ を解釈します(%2A・%24 はリテラル文字として扱います)
- パターンと判定対象URIの双方をパーセントエンコード正規化したうえで比較します。RFC 3986の非予約文字(英数字・-._~)のみデコードし、%2F 等の予約文字はエンコードのまま比較します(例: %62%61%7A と baz は一致、/a%2Fb と /a/b は不一致)。判定対象はパスに加えてクエリ文字列を含みます
- Sitemap: や Crawl-delay: 等の追加レコードはUser-agentグループを分断しません
- 複数のルールが一致する場合はオクテット長による最長一致を採用し、同じ長さの場合はAllowを優先します
- 一致するルールがない場合、該当グループがない場合、robots.txt自体がない場合はいずれも「許可」として扱います(robots.txt未設置による減点はありません)
- UTF-8 BOM付きのrobots.txtにも対応します
なお、本判定は上記要件を実装した簡易実装であり、RFC 9309への完全準拠を保証するものではありません。判定に疑義がある場合は各検索事業者の公式テストツールをご利用ください。
llms.txtの位置づけ
llms.txtは現在も提案段階の規格です。導入サイトや周辺ツールの対応は広がりつつありますが、主要AIプラットフォームが公式に参照を表明しているものではないため、配点は2点に留めています。
測定の限界(必ずお読みください)
- 本スコアは技術的な下地の目安であり、AIの回答に引用されることを保証するものではありません。実際の引用可否は、コンテンツの独自性・外部からの言及・ドメインの信頼性など、本ツールでは測定できない要素に大きく左右されます。
- Googleは、AI OverviewsやAIモードのための特別なファイルや専用の構造化データは不要であると明言しています。構造化データやメタ情報の各項目は、機械可読性・検索基盤の整備状況としての評価であり、AI引用との直接的な因果が確認されたものではありません。
- 「サーバ応答時間」は本ツールのサーバからHTMLを取得するのに要した時間であり、ブラウザでの表示速度(Core Web Vitals等)とは異なります。
- JavaScriptレンダリング後のコンテンツは評価対象外です(静的HTMLのみを解析します)。
- HTMLは先頭3MBまでを解析対象とします。
- 診断対象サイトのBot対策により、ページを取得できない場合があります。
入力URLの取り扱い
- 入力されたURLは、診断のためのアクセス(対象ページ・robots.txt・llms.txt・サイトマップの取得)にのみ使用します。
- 診断結果は負荷軽減のため同一URLにつき10分間サーバのメモリ上にキャッシュされ、その後破棄されます。データベース等への永続保存は行いません。
- Webサーバのアクセスログ(接続元IPアドレス・リクエストURL・日時)は、障害対応と不正利用防止のため保存し、90日以内を目安に削除します。第三者への提供は行いません。
- メールアドレス等の個人情報の入力は求めません。
レート制限
サーバ保護のため、同一IPアドレスからの診断は1分あたり最大10回です。上限を超えた場合は少し時間をおいてお試しください。
更新履歴
| 日付 | 版 | 内容 |
|---|---|---|
| 2026-08-25 | v0.4 | robots.txt判定のパーセントエンコード正規化を予約文字保持方式(非予約文字のみデコード)に修正。Sitemap:等の追加レコードがUser-agentグループを分断しないよう修正。サイトマップ判定をXMLルート要素の確認まで厳格化(gzip形式は展開して確認)。診断タイムアウトに待機時間を含めるよう変更。 |
| 2026-08-25 | v0.3 | robots.txt判定を強化(User-agentトークン完全一致・パーセントエンコード正規化・BOM対応・オクテット長による最長一致)。SSRF対策の判定基準をグローバルIP限定(共有アドレス空間100.64.0.0/10等も拒否)に変更。サイトマップ・llms.txtの内容検証を追加。本文テキスト量の計測をmain/article領域に限定。診断全体のタイムアウト(30秒)を設定。配点表の誤記(検索系クローラー14点→16点)を修正。 |
| 2026-08-25 | v0.2 | クローラー分類を各社公式仕様に基づき再設計(検索・引用系を採点、学習系を参考表示に変更)。robots.txt判定をRFC 9309準拠に刷新。採点34項目+参考5項目に整理し、本基準ページを公開。 |
| 2026-08-25 | v0.1 | 初版作成(非公開)。 |