【AI社員実践記 第16話】27ドメインを一斉調査　「AIに読まれない設定」がないか調べてみた

こんにちは、オフィスピコッツの小笹です。

AI社員実践記も第16話になりました。

ここ数回は、VPSの中へ仕事を増やしたり、その仕事が正常に動いているかを監視したりと、社内の自動化を少しずつ育ててきました。

今回は少し違います。

新しい仕組みを毎日動かす話ではありません。

オフィスピコッツで管理している27ドメインをまとめて調べ、「AIに読まれない設定」になっているサイトがないか確認した話です。

調査にかかった時間は約30分。

新しいサービス契約はしていないので、追加費用は0円です。

結果から書くと、

AI関連の主要なクローラー・制御トークンをrobots.txtで明示的に拒否しているサイトは0件。

心配していた事故は見つかりませんでした。

ただし、調べてみると別の現在地も見えてきました。

きっかけは「知らないうちにAIを拒否していないか？」

最近、ChatGPTやPerplexityなど、生成AIを入口にして情報を探す人が増えてきました。

オフィスピコッツでも、自社サイトがAIの回答でどのように扱われているかを定期的に確認しています。

そこで、ふと気になったことがあります。

クライアントのサイトが、知らないうちにAIから読まれにくい設定になっていたらどうするのか。

ホームページには、robots.txtというファイルがあります。

検索エンジンや各種クローラーに対して、

「ここは巡回していい」

「この場所には来ないでほしい」

といった指示を書くためのものです。

過去に使ったプラグイン。

以前の制作会社が入れた設定。

テスト環境から本番へ移したときの設定。

そういうものが残った結果、

Google検索には問題がないのに、特定のAI関連Botだけ拒否している

ということも、理屈の上ではあり得ます。

実際に起きているかどうかは、調べなければ分かりません。

そこで今回は、

「管理中のサイトを全部まとめて確認してみよう」

ということになりました。

27サイトを手作業で見る気にはならない

1サイトだけなら簡単です。

ブラウザで、

https://example.com/robots.txt

を開く。

内容を確認する。

必要ならllms.txtも見る。

これだけです。

問題は27ドメインあることです。

1件ずつ、

• robots.txtを開く
• AI関連User-agentの記述を探す
• 拒否されているか判断する
• robots.txt自体があるか確認する
• llms.txtがあるか確認する
• 結果を表へ記録する

とやれば、それなりの作業になります。

しかも、こういう確認は単純作業なので、途中から集中力が落ちます。

そこで今回も、既に持っているVPSへ仕事をさせることにしました。

ドメイン一覧は、また作らなかった

ここでも、これまで作った仕組みが役に立ちました。

第10話で、ドメイン期限を確認する「ドメイン期限チェック係」を作っています。

その係はすでに、オフィスピコッツが管理しているドメイン一覧を持っています。

今回、

AIクローラー調査用に、同じ27ドメインをもう一度入力する必要はありません。

AI社員には、

「既存のドメイン一覧をそのまま使って、AI関連の設定を一括確認するスクリプトを作って」

と頼みました。

一度作ったデータを、次の仕事でも使う。

第10話以降、かなり定番になってきた進め方です。

ドメインが増えたり減ったりした場合も、元の一覧を1か所修正すれば済みます。

仕事ごとに別のリストを持つより、管理も楽です。

robots.txtとllms.txtをまとめて調べる

今回確認する項目をAI社員と整理しました。

まずrobots.txt。

その中で、

GPTBot。

ClaudeBot。

PerplexityBot。

Google-Extendedなど。

AI関連の主要なUser-agentや制御トークン8種について、明示的な拒否設定がないか

を確認します。

さらに、

• robots.txt自体が存在するか
• llms.txtが存在するか

も一緒に取得することにしました。

AI社員が作ったPythonスクリプトをVPSへ置いて実行します。

すると、27ドメインについて結果が一覧で表示されました。

出力はシンプルです。

ドメイン。

robots.txtの状態。

拒否されているAI関連Bot。

llms.txtの有無。

人間が27サイトを順番に開く代わりに、数秒で一覧になりました。

結果1：AI関連Botを明示的に拒否しているサイトは0件

まず、一番確認したかった項目です。

AI関連の主要8種をrobots.txtで明示的に拒否しているサイトは、27件中0件でした。

これは一安心です。

少なくとも今回確認したrobots.txt上では、

「AIだけ入ってくるな」

という状態になっている管理サイトはありませんでした。

過去の設定が残っていて、知らないうちにAI関連Botだけを拒否している。

そんな事故を少し心配していましたが、今回は見つかりませんでした。

ただし、ここは言葉を分けて考える必要があります。

robots.txtで拒否していないからといって、

必ずすべてのAIサービスが巡回する

という意味ではありません。

アクセス制御はrobots.txt以外にもありますし、各AIサービスがどの情報を取得し、どう利用するかもそれぞれ違います。

今回確認できたのは、

「robots.txt上で明示的に締め出してはいない」

というところまでです。

結果2：robots.txtがないサイトは6件

次に分かったのが、

robots.txt自体が見つからなかったサイトが6件

あったことです。

robots.txtがないからといって、即座に問題というわけではありません。

少なくともrobots.txt上には、

「このBotを拒否する」

という指示そのものが存在しません。

今回の「AI関連Botを明示的に拒否していないか」という観点だけなら、直接の問題にはなりません。

ただ、長く運営するサイトとして考えると、

検索エンジンやBotへの巡回方針を確認できる場所がない

状態でもあります。

すぐに全サイトへ同じrobots.txtを置けばいい、という話でもありません。

サイトごとに、

• WordPressか
• 静的サイトか
• 管理画面や検索ページをどう扱うか
• クロールさせたくない場所があるか

など条件が違うからです。

今回の6件は、

「今後、サイトごとに一度確認しておきたい対象」

として整理することにしました。

結果3：llms.txt設置済みは27件中3件

もう一つ調べたのがllms.txtです。

今回の27サイトのうち、

設置済みだったのは3件。

オフィスピコッツのサイトと、これまで先行して設置をお手伝いしたサイトです。

まだかなり少数です。

llms.txtは、AI向けに、

• このサイトは何をしているのか
• どのページが重要なのか
• どんな情報を優先して見てほしいのか

といった案内をまとめるために使われ始めているファイルです。

イメージとしては、

AI向けの簡易なサイト案内

に近いものです。

ただし、ここも誤解しないようにしたいところです。

llms.txtを置けば、

必ずChatGPTやほかのAIがそれを読み、検索結果や回答が良くなる

と保証されているわけではありません。

まだ新しい取り組みですし、AIサービス側の対応も一律ではありません。

それでも、

サイト運営者側から「重要な情報はこちらです」と整理して置いておく

という考え方自体には意味があります。

今回の結果では27件中3件。

つまり、

AI関連Botを拒否してはいないものの、AI向けの情報整理まではほとんど手を付けていない

というのが現在地でした。

「AIが入れる」と「AIに伝わる」は違う

今回一番整理できたのは、この違いです。

robots.txtで拒否されていない。

これは、

入口が閉じていない

という話です。

一方で、

サイトへ入ってきたAIが、

• この会社は何をしているのか
• 一番重要なサービスは何か
• どのページを見るべきか
• 古い情報と新しい情報のどちらを重視するか

を正しく理解できるか。

これは別問題です。

ホームページの中身が整理されていなければ、入口が開いていても伝わりにくいかもしれません。

古いサービスページが大量に残っていれば、何が現在のサービスなのか分かりにくい。

会社概要とサービス内容で説明が食い違っていれば、判断に迷います。

つまり、

「AIから読める状態」にすることと、「AIに伝わる状態」にすることは二段階ある。

今回の一斉調査で、管理サイトの多くは第一段階には大きな問題がなさそうだと分かりました。

次は第二段階です。

目的外の問題も2つ見つかった

今回のスクリプトは、AI関連設定の確認が目的です。

ただ、一斉にサイトへアクセスしたことで、別の問題も拾いました。

一つは、

SSLに関する確認が必要なサイトが1件。

もう一つは、

オフィスピコッツで使っていた旧ドメインの転送が止まっていたこと。

です。

追加でレスポンスを確認し、どこが404で、どこが正常に応答しているかを切り分けました。

AIクローラー調査とは直接関係ありません。

でも、27サイトを機械で一斉に見に行ったからこそ見つかりました。

第11話のリンク切れチェックでも同じことがありました。

何か一つの目的で機械に調査させると、

本来探していなかった異常が横から見つかる

ことがあります。

こういう副産物も、一斉点検の良さです。

27サイトを「感覚」ではなく数字で見られた

調査前の状態は、

「たぶん大丈夫だと思う」

でした。

それが30分後には、

• AI関連の主要な拒否設定：0件
• robots.txtなし：6件
• llms.txt設置済み：3件
• SSL確認対象：1件
• 旧ドメイン転送の問題：1件

という形になりました。

数字にすると、次に何をするか考えやすくなります。

たとえば、

「AI対策を全部やりましょう」

と27社へ一斉に提案する必要はありません。

まずrobots.txtがない6件を確認する。

llms.txtが合いそうなサイトを選ぶ。

サイト自体の情報整理が必要なら、そちらを先にする。

測ってから、必要なところだけ直す。

この順番の方が、クライアントにとっても分かりやすいと思います。

AI対策を「商品ありき」で考えない

生成AIが話題になると、

「AI検索対策をしましょう」

「llms.txtを入れましょう」

と、どうしても施策から話が始まりがちです。

でも今回、27サイトを一度見てみて改めて思ったのは、

まず現状確認が先

ということです。

AI関連Botを拒否しているなら、そこを直す必要があります。

拒否していないなら、それを直す必要はありません。

llms.txtがないからといって、すべてのサイトで最優先とは限りません。

ホームページそのものの内容が古ければ、そちらを整理する方が先かもしれません。

検索結果に出ていないなら、基本的なSEOやサイト構造の方が重要なこともあります。

AIだから特別なことをするというより、

今のサイトがどんな状態かを測り、足りない部分だけ整える。

これは、これまでのホームページ運営とそれほど変わらない考え方です。

AI社員に一括調査を作らせると「提案前の確認」が安くなる

今回の一斉調査で使ったのは、すでに持っているVPSです。

ドメイン一覧も既存。

AI社員がスクリプトを作り、実行。

約30分で27ドメインの結果が出ました。

新しい有料サービスは使っていません。

追加固定費は0円です。

ここで大きいのは、単純に30分で終わったことだけではありません。

今後、

「このサイトはAI関連Botを拒否していないか？」

という確認が必要になった場合、

一から手作業で見る必要がありません。

同じスクリプトをもう一度動かせます。

ドメイン一覧が変わっても、元のリストを更新すればそのまま調査できます。

つまり今回も、

一度作った調査方法が、次回以降の仕事の部品になった

ということです。

今回は「毎日動かす係」にはしなかった

第9話以降、自動実行する仕事をたくさん作ってきました。

ただ、今回のAIクローラー確認は毎日実行するようにはしていません。

robots.txtやllms.txtの状態は、毎朝変わるものではないからです。

毎日確認すれば安心、というものでもありません。

サイトをリニューアルした。

robots.txtを変更した。

AI向けの設定を見直した。

新しいドメインが増えた。

そういうタイミングで、

必要なときに一斉確認できる調査ツール

として残すことにしました。

自動化は、

何でもcronへ入れればいいわけではありません。

毎日見るもの。

週1回見るもの。

月1回見るもの。

必要時だけ見るもの。

仕事によって頻度を変える。

この辺りも、VPSへ仕事を増やしてきたことで少しずつ整理されてきました。

今回の結論

今回調べたかったのは、

「管理しているサイトが、知らないうちにAIを締め出していないか」

でした。

結果は、

主要なAI関連Botをrobots.txtで明示的に拒否しているサイトは0件。

まずは一安心です。

一方、

robots.txtがないサイトは6件。

llms.txt設置済みは3件。

そして目的外では、SSLや旧ドメイン転送の問題も見つかりました。

今回一番大きかったのは、

AI対策の現在地を感覚ではなく、27サイト分の数字で確認できたこと

です。

「AI対策をやらなければ」

ではなく、

何ができていて、何がまだなのか。

そこから始められます。

「AIに読まれる」と「AIに紹介される」の間を整える

今回の調査は入口の確認です。

AI関連Botを明示的に拒否していないか。

robots.txtはどうなっているか。

llms.txtはあるか。

その先には、

サイトそのものの情報がAIに理解しやすい状態になっているか

という話があります。

サービス内容。

会社情報。

地域情報。

料金。

実績。

よくある質問。

古いページ。

内部リンク。

こうした情報の整理も含めて、初めて「伝わるサイト」になります。

オフィスピコッツでは、llms.txtだけを置いて終わりではなく、現在のサイトを確認したうえで、必要な対策を整理しています。

• llms.txt設置スポット：https://pikoz.net/ai-llms-setup/
• AI業務診断：https://pikoz.net/ai-shindan/
• AIレスキュー：https://pikoz.net/ai-rescue/
• AI社員実践記：https://pikoz.net/category/ai-jissen/

AI社員実践記は、まだ続きます。