エージェントレポートの「解決率」

QANT Webエージェントでは、エージェントによる課題解決度合いを測る指標として「解決率」を定義しています。どのような判定・定義を行なっているのか記載していきます。

「解決／未解決」の判定基準

• ユーザーが「ありがとう」「解決しました」と明示的に答えなくても、ユーザーの課題に対してAIが妥当な回答を示せていれば「解決」と判定されます。

• また「未解決」は「解決ではないもの」の総称を指します。判定は解決・未解決のみで行われ、「解決」の基準に当てはまらなかったスレッドがすべて「未解決」に入る点に注意してください。「未解決」側に独自の判定基準があるわけではないため、未解決の中身は複数の理由のものが混在する可能性があります。

その他仕様詳細

判定の入力（何を見て判定しているか）

• スレッド内の全メッセージ: ユーザー発話・AI応答の両方を含む、会話全体が判定対象です。最終発話のみ／AI応答のみといった限定はしていません。
• 参照されたFAQ（補助情報）: スレッド内でAIが参照したFAQのタイトル・本文も判定の補助情報として利用されます。

判定タイミング

• 会話終了の瞬間に同期的に判定されるわけではなく、日次で判定されます。
• 結果として、レポート画面の解決率などは、AI評価の実行タイミングに依存して数値が変動することがあります（24時間以内のものが主な変動対象です）。

判定の主体・方式

• AI（LLM）による自動判定です。ルールベースや閾値判定ではありません。
• デフォルトの判定モデルは Gemini 2.5 Flash（Vertex AI 経由）です。
  ※定期的に変更の可能性があるため、最新のモデルは弊社担当までお問い合わせください

関連ドキュメント

• エージェントレポート