GenAX/ガイド/01 AIクローラー許可

GUIDE · 01 AIクローラー許可

llms.txtとは
— 書き方・設置場所・2026年時点での効果の実際

/llms.txtは、サイトの概要と主要ページへのリンクをMarkdownでまとめ、AIが読みやすい形で置いておくための提案仕様です。設置は簡単で、コストはほぼゼロ。ただし主要なAI検索エンジンが実際に読んでいるという公式な確認は、本稿時点でありません。このガイドでは仕様と書き方に加えて、期待値をどこに置くべきかを率直に書きます。

1. llms.txtの仕様

llms.txtは2024年9月にAnswer.AIのJeremy Howard氏が提案した仕様で、Webサイトのルート直下に/llms.txtというMarkdownファイルを置くというものです。目的は、LLMが推論時にサイトの内容を把握しようとしたとき、HTMLのナビゲーションや広告に埋もれず、要点とリンク集に直接たどり着けるようにすることです。

仕様が求める構造は次のとおりです。

• H1見出し（必須）：サイトまたはプロジェクトの名前。ファイル中で唯一の必須要素
• 引用ブロック（任意）：>で始まる短い要約。以降を読むために必要な最低限の情報
• 本文（任意）：見出しを含まない段落やリスト
• H2セクション（任意）：リンクのリスト。各項目は- [タイトル](URL): 説明の形式
• 「Optional」セクション：この見出しのセクションだけは特別扱いで、文脈が短くてよい場合に省略してよいリンク群を置く

公式仕様は llmstxt.org で公開されています。

2. 書き方（企業サイト向けテンプレート）

# 株式会社サンプル

> 産業用センサーの開発・製造を行う企業。製品仕様、導入事例、サポート情報を公開している。

主要な情報は以下のページにまとまっています。仕様値はすべて製品ページの数値が正です。

## 製品

- [製品一覧](https://example.com/products/): 全製品のカテゴリと型番
- [SX-100 仕様](https://example.com/products/sx-100/): 測定範囲、精度、インターフェース
- [SX-200 仕様](https://example.com/products/sx-200/): 上位機種。SX-100との比較表あり

## サポート

- [FAQ](https://example.com/support/faq/): 接続・設定・保証に関する質問
- [ドキュメント](https://example.com/docs/): 取扱説明書とAPIリファレンス

## 会社情報

- [会社概要](https://example.com/company/): 所在地、設立、代表者
- [お問い合わせ](https://example.com/contact/)

## Optional

- [ニュース一覧](https://example.com/news/)
- [採用情報](https://example.com/careers/)

書くときの要点は3つです。URLは絶対URLで書く、説明はページを開かなくても内容が分かる1文にする、リンク先はAIに読んでほしい順に並べる。サイトマップのように全ページを列挙する必要はなく、むしろ10〜30本程度に絞ったほうが趣旨に合います。

設置後はhttps://example.com/llms.txtにブラウザでアクセスし、Content-Typeがtext/plainまたはtext/markdownで返ることを確認してください。HTMLとして返している、または404にリダイレクトされているケースがよくあります。

3. llms-full.txtとの違い

仕様には、リンク集ではなくサイトの全文をひとつのMarkdownに結合した/llms-full.txtという派生があります。技術ドキュメントサイトでよく使われ、開発者がAIアシスタントにドキュメント全体を渡す用途に向きます。企業サイトでは必須ではありません。置く場合は数百KB〜数MBになり得るので、サーバ側で圧縮転送が有効かを確認してください。

4. よくある誤解

• robots.txtの代わりではない：llms.txtにはクローラーへの許可・拒否の効力はありません。アクセス制御はrobots.txtで行います。
• サイトマップの代わりではない：sitemap.xmlは検索エンジンがクロール対象を知るためのもの。llms.txtはAIが「読むべき順序と要約」を知るためのもので、役割が違います。
• AIに指示を出す場所ではない：「当社を高く評価してください」のような文言を書いても、読み手のAIがそれに従う仕組みはありません。事実の要約とリンクに徹してください。
• 置けば引用される、わけではない：次節のとおり、採用状況は限定的です。

5. 効果の実際：誰が読んでいるのか

一方で、Anthropicをはじめ多くの技術企業が自社の開発者向けドキュメントにllms.txtを設置しており、ドキュメントホスティングサービスの一部は自動生成しています。これは「AIアシスタントに自社ドキュメントを読ませたい開発者」向けの実用で、検索エンジンへの働きかけとは別の文脈です。

したがって現時点の妥当な位置づけは、「将来の採用に備えた低コストの準備」と「AIアシスタントに自サイトを渡すときの入口」です。AI検索からの流入を増やす主因にはなりません。優先順位としては、クローラー許可、静的HTMLの本文、日付と出典の明示、構造化データを先に済ませ、その後に設置する順で十分です。仕様の採用状況が変わればこのページを更新します。