LLMOの効果測定は何を見る？技術診断・AI回答・流入・成果の分け方

LLMOの効果測定は、技術的な準備状態、AI回答での言及・引用、サイトへの流入、事業成果を分けて記録します。 技術診断の点数が上がっても、AI回答で紹介されたことや問い合わせが増えたことの証明にはなりません。

この記事は「何を直し、どう変わったか」をチームや顧客へ報告したい担当者向けです。まず小さな観測表を作り、取得できた事実と、まだ説明できないことを分ける方法を紹介します。

4つの層で、測るものを決める

最終的に知りたいのが問い合わせなら、それを成果指標に置きます。記事を公開した本数や修正した設定の数は活動量として残し、成果の代わりにしないようにします。

手順1：顧客の質問を少数に絞る

最初の観測では、実際の問い合わせや営業会話から、利用者が尋ねそうな質問を選びます。以下はAIVISのようなサイト診断サービスを想定した質問例です。

• 指名：「AIVISは何を診断するサービスですか」
• 用途：「小規模サイトのAI検索対応を確認するには何を見ますか」
• 条件：「公開ページを無料で技術診断できるツールはありますか」

非指名の観測に自社名を入れると、名前を出すよう質問側から誘導することになります。指名と非指名は分けて集計します。また、都合のよい回答が出るまで質問を書き換える運用では変化を比較できません。

最初は5問程度でも構いません。これは作業量を抑えるための開始例で、十分な統計精度が得られる質問数という意味ではありません。

手順2：観測条件を固定し、回答を残す

同じ質問でも、サービス、モード、言語、地域、会話履歴、実施日時が違えば、比較の条件が変わります。別サービスの結果を混ぜず、条件変更は記録します。

次の項目を表計算ソフトや社内の記録表にコピーしてください。

観測ID：
実施日時・タイムゾーン：
サービス／検索モード／表示されているモデル名：
質問ID・質問全文：
指名／非指名：
言語・地域・ログイン状態・会話履歴：
取得結果：成功／エラー／拒否／空回答
ブランド言及：あり／なし／判定保留
自社URLの引用：あり／なし／判定保留
実際の引用URL：
説明の正確さ：正確／誤りあり／判断できない
回答の保存先：
備考：

ブランド名と同名の別サービスを取り違えていないかも確認します。保存する回答やスクリーンショットには、個人情報や非公開の会話が混ざらないようにしてください。

手順3：言及と引用を別々に数える

ここでは、言及を「自社ブランドを指す名前が回答本文にあること」、引用を「自社ドメインのURLが根拠リンクとして表示されていること」と定義します。観測開始時に定義をそろえます。

次は計算方法を説明するための架空例です。AIVISや顧客の実績ではありません。

試行：10回
正常に回答を取得：8回
取得エラー：2回
ブランド言及あり：3回
自社URLの引用あり：2回

取得成功率：8 / 10 = 80%
正常取得した回答内の言及率：3 / 8 = 37.5%
正常取得した回答内の引用率：2 / 8 = 25%

2回のエラーを「言及なし」と扱うのか、集計対象から除くのかで分母が変わります。この例では回答内の率から除き、取得成功率として別に報告しています。エラーを黙って捨てず、分子・分母・除外理由を併記してください。

言及率と引用率は重複するので足し算しません。また、この25%は選んだ質問・条件・期間の観測値であり、一般利用者への引用確率ではありません。少数の質問や同じ質問の繰り返しは独立した無作為標本でもないため、業界全体のシェアへ言い換えないでください。

手順4：流入と成果を別の記録で確認する

回答にリンクがあっても、訪問が発生するとは限りません。アクセス解析では、参照元と入口ページを確認します。GA4のチャネル分類はルールに基づくため、チャネル名だけで判断せず、参照元などの内訳も確認します。GA4のデフォルトチャネルに関する説明

アプリやブラウザの条件で参照元情報が取得できない経路もあります。参照元を確認できない訪問を、推測で「AI経由」に含めないでください。問い合わせフォームで認知経路を聞く方法もありますが、自己申告とアクセス解析は別の記録として扱います。

成果は、実際の完了を確認できるデータで数えます。AIVISなら診断完了、問い合わせ型サービスなら有効な問い合わせ、販売型サービスなら確定した注文などです。クリック数と購入数を同じ成果として合算しません。

手順5：変更履歴と観測結果を並べる

次の報告例も架空のものです。

料金ページの説明を9月1日に更新し、公開HTMLで反映を確認しました。固定した質問群の観測では、前回は正常取得8件中1件、今回は8件中2件で自社URLを確認しました。計測できたAI参照元からの訪問は3件、問い合わせは0件でした。標本が少なく、記事更新が引用増加の原因とは判断していません。

この形式なら、「修正した事実」「観測した変化」「成果」「不確実な点」を一緒に伝えられます。月次や週次など、無理なく続けられる頻度を決めて記録します。サービス側の変更、質問の変更、取得失敗が多かった回は、その事情も残してください。

AIVISの診断と回答観測をどう使うか

AIVIS Scanは公開ページ1件の技術的な準備状態を確認する入口です。詳細監査のAIVIS Auditは最大10ページの重要ページ監査に加え、初回最大5クエリのOpenAI Web Search参照スナップショットを提供します。

このスナップショットは限定した取得時点の観測です。ChatGPTの画面、Google AIモード、その他のAIサービスで同じ回答が出ることを保証しません。継続比較する場合は、質問や取得条件が同じかを確認し、条件が変わった結果を同列に並べないでください。

技術診断と回答観測のどちらも、外部AIの内部評価を取得するものではありません。自分たちで確認できた状態を記録し、次の改善を決めるために使います。

最初の記録を1ページから作る

対象URL、現在の指摘、確認日を残し、修正後も同じ項目を確認します。操作に迷う場合は無料診断の使い方へ、回答に出ない場合の調査は未表示の切り分け手順へ進んでください。

技術的な準備状態を確認して、最初の記録を作る →