AI収録セルフチェック：AIクローラー対応サイトのための5ステップチェックリスト

適用シーン ​

コンテンツサイト運営者がChatGPT、Claude、Google AI Overviewなどの生成AIに引用されるためには、まずサイトがAIクローラーからアクセス・解析可能であることを確認する必要がある。本チェックリストは任意の自社サイトに適用でき、全コマンドはmacOS/Linuxターミナルで直接実行できる。

5ステップの操作リスト ​

ステップ1：robots.txtがAIクローラーを許可しているか ​

curl -s https://あなたのドメイン/robots.txt を実行し、以下のAI/検索クローラーのAllowエントリを確認する：

• GPTBot、ChatGPT-User、OAI-SearchBot（OpenAI）
• ClaudeBot、Claude-SearchBot（Anthropic）
• Google-Extended、Googlebot（Google）
• Bingbot、Microsoft-Copilot（Microsoft）

ない場合は、各クローラーに User-agent: <名称> と Allow: / を追加する。

ステップ2：sitemap.xmlがアクセス可能で記事を含むか ​

curl -s https://あなたのドメイン/sitemap.xml を実行し、XMLが返り記事URLを含むか、各記事にzh/en/jaのalternateリンクがあるかを確認する。sitemapは検索エンジンとAIクローラーがコンテンツを発見する入り口。

ステップ3：llms.txtが存在するか ​

curl -s https://あなたのドメイン/llms.txt を実行し、HTTP 200でサイト説明と記事インデックス（Markdownリンクリスト）が返るかを確認する。llms.txtは大規模言語モデル向けの標準テキスト索引で、AIが全文を直接読める。

ステップ4：記事ページにJSON-LD構造化データがあるか ​

任意の記事ページのソースを取得し、application/ld+json タイプのscriptタグの存在と @type がコンテンツと一致するかを確認する：

• 知識記事：Article
• ニュース：NewsArticle
• データページ：Dataset
• Q&Aページ：FAQPage
• 比較ページ：ItemList を追加可

構造化データはAIがページ種別を理解し、headline・datePublishedなどの主要フィールドを引用するのに役立つ。

ステップ5：hreflang・canonical・SSRを確認する ​

ページソースで <link rel="alternate" hreflang="..."> が各言語をカバーしているか、<link rel="canonical" ...> があるか、本文がHTMLに直接出力されているか（JavaScript描画でないか）を確認する。多くのAIクローラーはJSを実行しないため、サーバーサイド出力が解析可能なコンテンツの前提となる。

注意事項 ​

• 各ステップ実行前に「あなたのドメイン」を実際のドメインに置き換える。本チェックリストは公開サイトを前提とし、ログインが必要な非公開ページには適用しない。
• チェック合格は「技術的に収録可能」を意味するだけで、AIが必ず引用することを保証しない。コンテンツの質と権威性が引用の核心要因。
• 全コマンドは読み取り専用でサーバー設定を変更しない。robots.txt等の編集はサーバー側で行う必要がある。

参考ソース ​

• llms.txt仕様：https://llmstxt.org/
• 例：https://www.knowflowhub.com/robots.txt
• 例：https://www.knowflowhub.com/llms.txt