Webエージェントの自動検証を設定・実行する

2026年8月26日更新

自動検証とは、あらかじめ登録した「検証ケース」をもとに、生成AIがユーザー役となってWebエージェントと自動で対話し、Webエージェントの応対を評価する機能です。

Webエージェントの公開前確認や、アンサー・ツール・エージェント設定を変更した後の動作確認にご利用ください。

自動検証の流れ

自動検証は、次の流れで行います。

検証ケースを作成する
必要に応じて対話設定を作成する
対象のWebエージェントで自動検証を実行する
検証結果を確認する

事前準備

自動検証を始める前に、以下をご確認ください。

検証対象のWebエージェントが作成されている
検証で利用するアンサーやツールが設定されている
検証ケースを作成できる権限がある

「新規作成」などの操作ボタンが表示されない場合は、プロジェクトの管理者へご確認ください。

1. 検証ケースを作成する

検証ケースには、想定するユーザーの問題と、自動検証で期待する結果を登録します。

自動検証設定画面を開く

グローバルナビゲーションから「QANT Web」＞「Webエージェント」を開きます。
検証するWebエージェントのメニューから「エージェント検証」を選択します。
画面右上の「自動検証設定」をクリックします。
「検証ケース」タブを開きます。

検証ケースを登録する

「新規作成」をクリックします。
各項目を入力します。
「作成」をクリックします。

項目	必須	説明
名前	必須	検証内容を判別できる名前を入力します。例：「住所変更の手続き」
説明	任意	検証の目的や前提条件を入力します。
ラベル	任意	検証ケースを分類するラベルを設定します。対象業務やリリース単位で整理すると、実行時に探しやすくなります。
ユーザーの問題	必須	ユーザーが解決したい問題を入力します。自動検証では、この内容をもとに最初の問い合わせ文が生成されます。
ユーザーのペルソナ	任意	ユーザーの立場や背景を入力します。例：「契約中のお客さま」「初めてサービスを利用するお客さま」
ゴールの説明	必須	会話を通じて実現したい結果を入力します。例：「住所変更の手続き方法を案内できる」
期待するFAQ	任意	会話で提示されることを期待するアンサーを選択します。
期待する応答パターン	任意	会話で実行または提案されることを期待するツールを選択します。

入力例

以下は、住所変更の案内を確認する場合の入力例です。

項目	入力例
名前	住所変更の手続き
説明	契約中のお客さまが住所変更方法を確認するケース
ユーザーの問題	引っ越したので、登録住所を変更したい
ユーザーのペルソナ	契約中のお客さま。Webで手続きを完了したい
ゴールの説明	住所変更の手続き方法を案内し、必要な手続き先を提示できる
期待するFAQ	住所変更の手続き方法
期待する応答パターン	住所変更手続きページへの案内に使用するツール

検証ケース作成のポイント

1つの検証ケースには、原則として1つの問い合わせ目的を設定します。
「ユーザーの問題」には、期待する回答ではなく、ユーザーが困っている状況やユーザーからの質問を入力します。
「ゴールの説明」には、検証後に達成・未達成を判断できる具体的な状態を入力します。
ユーザーの立場によって案内が変わる場合は、ペルソナごとに検証ケースを分けます。
不要な個人情報や実在するお客さまの情報は入力しないでください。

「期待するFAQ」と「期待する応答パターン」は、検証結果を評価するための条件です。ここで選択した内容によって、Webエージェントが参照するアンサーや利用できるツールが変更されることはありません。参照範囲やツールは、Webエージェント側の設定をご確認ください。

複数の検証ケースをまとめて登録する

検証ケースはCSVでインポートできます。既存の検証ケースをCSVダウンロードし、その形式に合わせて編集してからインポートしてください。CSVのヘッダーは、ダウンロードした形式から変更しないでください。

2. 対話設定を作成する

「対話設定」では、自動検証におけるユーザー役の発話生成、会話の継続判断、検証結果の評価方法を調整できます。

初めて利用する場合は、あらかじめ入力されている初期設定をそのまま利用することをおすすめします。設定を変更すると、同じ検証ケースでも会話内容や評価結果が変わる場合があります。

対話設定を登録する

「エージェント自動検証設定」画面で「対話設定」タブを開きます。
「新規作成」をクリックします。
設定名を入力します。
各設定内容を確認し、「作成」をクリックします。

項目	説明
初回メッセージ生成	検証ケースの「ユーザーの問題」と「ユーザーのペルソナ」から、最初の問い合わせ文を生成するための設定です。
ユーザー応答生成	Webエージェントの返答に対して、ユーザー役が次にどのように返答するかを生成するための設定です。
会話継続判定	ゴールの達成状況やWebエージェントの返答をもとに、会話を続けるか終了するかを判断するための設定です。
会話評価	会話終了後に、ゴールの達成状況などを評価するための設定です。

設定を調整する場合は、既存の対話設定を複製し、設定名に用途や更新日を含めると比較しやすくなります。

3. 自動検証を実行する

対象のWebエージェントを開く

グローバルナビゲーションから「QANT Web」＞「Webエージェント」を開きます。
検証するWebエージェントのメニューから「エージェント検証」を選択します。
「自動検証」タブを開きます。

検証を開始する

「新規実行」をクリックします。
「検証ケース」をクリックします。
実行する検証ケースを選択し、「適用」をクリックします。複数の検証ケースを同時に選択できます。
「対話設定」が表示される場合は、利用する設定を選択します。
「実行」をクリックします。

実行後は、検証結果一覧に新しい行が追加されます。処理中は「実行待ち」または「実行中」と表示されます。検証ケースの件数や会話の内容によって、完了までに時間がかかる場合があります。

4. 検証結果を確認する

検証結果一覧では、以下を確認できます。

項目	説明
検証ケース名	実行した検証ケースです。
ステータス	実行待ち、実行中、成功、一部失敗、失敗、エラーなど、実行全体の状態です。
成功率	選択した検証ケースのうち「成功」と判定された割合です。
内訳	成功、失敗、エラー、未実行の件数です。
実施日時	自動検証を開始した日時です。

ステータスの見方

ステータス	説明
成功	すべての検証ケースが成功と判定されました。
一部失敗	成功した検証ケースと、失敗した検証ケースがあります。
失敗	すべての検証ケースが失敗と判定されました。
一部エラー	正常に評価された検証ケースと、実行エラーになった検証ケースがあります。
実行エラー／エラー	自動検証の処理中にエラーが発生しました。
未実行	選択されていたものの、処理が完了していない検証ケースです。

検証結果の詳細を見る

確認する検証結果の行をクリックします。
「検証結果詳細」で、確認する検証ケースを選択します。
以下の内容を確認します。

ステータス
スコア
評価理由
達成した目標
Webエージェントとの応対履歴
エラーが発生した場合のエラー情報

自動検証では、会話全体を生成AIが評価し、0～100のスコアとして表示します。内部評価スコアが70を超える場合に「成功」、70以下の場合に「失敗」と判定されます。

評価では、主に以下の観点が確認されます。

検証ケースのゴールが達成されているか
「期待するFAQ」に指定したアンサーが適切に提示されているか
「期待する応答パターン」に指定したツールが適切に実行または提案されているか
応対が丁寧で、プライバシーを侵害する内容になっていないか

「期待するFAQ」または「期待する応答パターン」を指定していない場合、その項目は正解指定なしとして評価されます。

自動検証の会話と評価には生成AIを利用しています。同じ検証ケースでも、生成される発話やスコアが変わる場合があります。スコアだけで判断せず、評価理由と実際の応対履歴もあわせてご確認ください。

検証結果をCSVで確認する

「CSVダウンロード」から、自動検証の結果をダウンロードできます。CSVには、検証ケース名、ステータス、スコア、評価理由、会話ログ、各詳細画面へのURLなどが含まれます。

期間を指定している場合は、指定期間内の検証結果がダウンロード対象になります。

検証結果を改善に活用する

失敗した検証ケースは、評価理由と応対履歴を確認し、以下を見直してください。

Webエージェントが参照するアンサーの内容やアンサーのメタデータ
Webエージェントで利用するツールの設定とその説明

困ったときは

「実行」ボタンをクリックできない

以下をご確認ください。

検証ケースを1件以上選択しているか
「対話設定」が表示されている場合、対話設定を選択しているか
対話設定が1件以上登録されているか

作成した検証ケースが見つからない

検証ケース名による検索条件を解除してください。
検証ラベルによる絞り込み条件を解除してください。
検証ケースが保存されているか確認してください。

検証結果が見つからない

「検証ケース」と「実施日時」の絞り込み条件を解除してください。
検証対象と同じWebエージェントを開いているか確認してください。

エラーが繰り返し発生する

同じ検証ケースを再実行してもエラーが解消しない場合は、以下の情報を添えてお問い合わせください。

Webエージェント名
検証ケース名
実施日時
表示されているステータス
検証結果詳細に表示されるエラー情報