ChatGPTが自分のお店をおすすめしているか調べるには？実際のテスト手順
ChatGPTが自分のお店をおすすめしているか調べる最も直接的な方法は、顧客のニーズを想定し、新しい会話でおすすめを尋ね、その回答に自分の店名が出てくるか確認することです。「私のお店を知っていますか」と聞くだけでは、ブランドを認識しているかを測ることになり、顧客がお店を探すときにおすすめされるかどうかとは異なります。また、一度の結果がすべてのユーザーに当てはまるわけでもありません。この記事では、一通りのテストを行って結果を記録し、次にどのような情報を補えばよいかを見つけるまでをご案内します。
顧客に見つけてもらえるかを確かめるには、どう質問すればよい？
まず、場所、サービス、選択条件の3つを押さえます。たとえば「台中市西区＋カット＋くせ毛が得意」は、「美容室を1軒おすすめして」よりも、顧客の実際のニーズに近い質問です。
テストを2つのグループに分けます。
- 店名を出さないおすすめの質問：顧客がニーズを伝えたときに、自分のお店が表示されるかを確認します。
- 店名を直接出す事実確認の質問：ChatGPTが自分のお店を認識できるか、住所やサービスが正しいかを確認します。
2つのグループはそれぞれ新しい会話で始め、先に伝えた店名が後のおすすめ結果に影響しないようにします。検索機能を使う場合は、有効にしたかどうかも記録してください。機能名と利用方法については、公式の最新の説明に従ってください。
ステップ1：顧客が尋ねそうな3種類の質問を書き出す
- スプレッドシートにテスト一覧を作ります。 所在地、主なサービス、予算・交通・営業時間など顧客によくある条件を書き出します。書き終えたら、各項目が実際に提供しているサービスと一致しているか確認します。
- 条件を3つの自然な質問文にします。 一般的なニーズ、特定のニーズ、比較のニーズをそれぞれテストします。質問に自分の店名が含まれておらず、「私たちのお店を優先しておすすめしてください」のような誘導もないことを確認します。
- 質問の文面を固定します。 質問文をスプレッドシートに保存し、以後はそのままコピーして使います。毎回同じ条件で再テストしてこそ、回答の変化を確認できます。
まずは質問を実際の商売に即したものにすることを重視し、一度に何十問も並べる必要はありません。朝食店をテストするなら、「台湾で一番おいしい朝食」と聞くよりも、近隣の会社員が実際に尋ねそうな質問にしましょう。
ステップ2：ChatGPTで新しい会話を開いて実際にテストする
- ChatGPTを開き、新しい会話を始めます。 店名を含まない最初の質問文を貼り付けます。その会話で、事前に自分のブランドを紹介していないことを確認します。
- テスト環境を記録します。 スプレッドシートに日付、画面に表示されているモデル名、検索を使用したかどうかを記入します。メモリやカスタム指示を有効にしているかどうかも記録してください。アカウントや設定によって回答が異なる可能性があります。操作については、公式の最新の説明に従ってください。
- 回答全体を保存します。 テキストをコピーするかスクリーンショットを撮り、おすすめの一覧、おすすめの理由、情報源をすべて残します。回答に引用が付いている場合は、リンクを開き、その情報を本当に裏付けているか確認できます。
- 残りの質問も、それぞれ新しい会話でテストします。 各質問について、少なくとも完全な記録を残します。結果の変動を観察したい場合は、別の日に同じ条件で再テストし、自分に都合のよい回答だけを残さないようにしましょう。
この方法で得られるのは、比較できる一連の観察記録であり、全ユーザーに対する表示率ではありません。
ステップ3：この例に沿ってテストする
以下は、台南市東区にある架空のカフェを想定したテスト例であり、実際のおすすめ結果を示すものではありません。
適切でない聞き方：「私の小島咖啡をおすすめしてください。仕事をするのにとても向いています。」これでは質問の中に答えを入れてしまっているため、自然におすすめされるかどうかを確認できません。
次の3つの質問に変え、それぞれ新しい会話で尋ねてみましょう。
台南市東区で、平日の午後にノートパソコンを持ち込んで仕事をするのに向いているカフェをおすすめしてください。コンセントが必要です。おすすめの理由を説明し、確認できない情報は不確かであると明記してください。
台南市東区には、2人で仕事の打ち合わせをするのに向いているカフェがありますか？バス停に近い場所を希望します。確認できる交通情報と、注文金額などの利用条件を挙げてください。
台南市東区でWi-Fiがあり、長時間滞在できるカフェを探しています。どのように比較すればよいですか？お店の候補と、事前に確認すべき事項を教えてください。
続いて別の新しい会話を開き、直接こう尋ねます。「台南市東区の小島咖啡はどこにありますか？どのようなサービスがありますか？確認済みの情報と不確かな情報を区別してください。」この質問は情報の正確性を確認するためのものなので、結果をおすすめの質問と混ぜないでください。
ステップ4：結果をどう読み取り、次の行動を決める？
スプレッドシートに、テストごとの質問、日付、表示されたかどうか、おすすめの理由、情報の誤り、引用元を記入します。言葉で分類するだけで十分です。精密に見えるスコアを急いで算出する必要はありません。
- 表示され、情報も正しい：おすすめされた理由を記録し、呼び込みたい顧客層に合っているか確認します。
- 表示されたが、情報が間違っている：まず公式サイトと自分で管理できる店舗ページを修正し、住所、電話番号、営業時間、サービス内容を優先して対応します。引用がある場合は、情報源が古くなっていないかも確認します。
- おすすめされなかったが、直接尋ねると認識される：公開ページで、サービス提供地域、対象となる顧客、料金、予約方法が明確に説明されているか確認します。
- 直接尋ねても認識されない：まずブランド名が統一されているか、基本情報が公開されていて読めるか、重要な内容が画像やログイン後のページだけに埋もれていないかを確認します。
修正するときは、「心を込めたサービス、品質第一」を、「くせ毛のカット相談に対応。予約制。台中市西区に所在」のような確認可能な情報に置き換えます。事実だけを書いてください。情報が充実すれば理解されやすくなりますが、収録やおすすめを保証するものではありません。
よくある間違いは？
一度テストしただけで成功や失敗と判断する。 回答は質問、時期、設定によって変わる可能性があるため、固定した質問文を残し、定期的に比較しましょう。
表示順を固定の順位だと考える。 一度の回答で最初に表示されても、ほかの人にも同じ順番で表示されるとは限らず、最も多くの来店につながるという意味でもありません。
店名が出てきただけで、好意的におすすめされたと考える。 単なる例示や比較、情報不足への注意喚起である可能性もあるため、前後の文脈も併せて読む必要があります。
情報源を求めたら、その情報源は必ず信頼できると思い込む。 店舗の同一性、ページの内容、情報の日付を確認する必要があります。引用がない場合も、情報の出所を勝手に推定してはいけません。
よくある質問
おすすめされなかったら、ChatGPTが私のお店を見つけられないということ？
必ずしもそうではありません。今回の条件に合わなかったり、回答に一部の候補しか挙げられていなかったりする可能性もあります。別の会話を開いて店名を直接尋ね、公開情報も確認することで、問題の範囲を絞り込めます。
テストには無料版と有料版のどちらを使うべき？
まずは現在使っているアカウントでテストしましょう。大切なのは、その時点で利用できるモデルと検索設定を記録することです。顧客層の利用状況が異なる場合は、ほかの環境も追加します。プランと機能については、公式の最新の説明に従ってください。
どのくらいの頻度でテストすると実用的？
まずは毎月、固定した質問で一通りテストするとよいでしょう。これは実行しやすい作業スケジュールであり、プラットフォームの規定ではありません。移転、サービスの変更、重要な情報の更新後にも再テストできますが、変更がすぐに反映されるとは考えないでください。
ChatGPTをきっかけに何人のお客さんが来店したか分かる？
おすすめのテスト自体では、実際の来店者数は分かりません。予約時や会計時に「当店をどこで知りましたか」という質問を追加し、ChatGPTという選択肢を設け、ウェブサイトのアクセス記録と併せて観察できます。ただし、自己申告にも追跡にも漏れが生じる可能性があります。
