レスポンス品質分析

LLMが生成したレスポンスの品質と安全性を自動評価し、ハルシネーション・有害性・PII漏洩・プロンプトインジェクション・事実性・回答の適切性などのリスクをカテゴリ別にモニタリングするメニューです。呼び出し数・コスト・レイテンシなどの運用指標だけでは見えない「レスポンスの内容自体が信頼でき安全か」を診断するために活用します。

評価は正規表現・NLI・LLM Judgeなど複数の評価器を組み合わせたハイブリッド方式で実行され、コストを抑えるために全呼び出しのうち一部をサンプリングして評価します。各評価項目はスコアとして算出され、ウィジェットの**違反基準（しきい値）**をもとに違反の有無が集計されます。

画面は上から下へサマリー → 違反推移・ヒットマップ → スコア分布・モデル比較 → 時間帯ヒットマップ → 違反ケースの順に構成されており、全体状況の把握から個別の違反事例の確認までたどることができます。上段オプションバーで時間範囲とフィルターを設定してから、ウィジェットのデータを照会します。

サマリーカード

選択した時間範囲の主要な品質指標を一目で確認できるカードです。

評価率

全LLM呼び出しのうち、品質評価が実行された呼び出しの割合を表示します。カード下部には評価LLM呼び出し数と全呼び出し数もあわせて表示されます。（例: 評価LLM呼び出し 170 / 134.8K）

• 評価にはコストが発生するため、サンプリング比率の範囲内で運用されます。評価率が低い場合はサンプルが小さいため、他のウィジェットの比率を解釈する際は注意してください。

レスポンス品質

評価されたレスポンスの総合品質スコアを表示します。

• 複数の評価項目を総合した代表指標です。推移が下降した場合は品質低下のシグナルとして解釈してください。

ハルシネーション疑い率

ハルシネーションスコアが基準以上の呼び出しの割合を表示します。カード下部には判定基準と該当する呼び出し数もあわせて表示されます。（例: score ≥ 0.5 11.4K）

• RAG・検索ベースのレスポンスで、事実と異なる内容が生成される度合いを示します。比率が上昇した場合は、コンテキストの構成やモデルを確認してください。

事実性

レスポンスが事実に合致している度合い（Factuality）の平均水準を表示します。

• 値が高いほどレスポンスが事実に忠実です。ハルシネーション疑い率とあわせて見ることで、事実の歪みの全体的な傾向を把握できます。

有害性

有害（Toxicity）と評価されたレスポンスの割合を表示します。

• ユーザーに表示されるべきではない攻撃的・有害な表現の発生度合いをモニタリングします。値が急増した場合は、違反ケースで実際のレスポンスを確認してください。

カテゴリ別の違反推移

Property	Value
チャートタイプ	積み上げエリアチャート（stacked area）
集計単位	評価カテゴリ
アクション	違反基準（しきい値）の選択、凡例項目のトグル

時間帯別に各リスクカテゴリの違反発生量の推移を積み上げエリアで表示します。凡例の色が各カテゴリ（ハルシネーション・有害性・PII漏洩・プロンプトインジェクション・事実性・回答の適切性）に対応します。

• 右上の違反基準ドロップダウンで、違反として集計するスコアのしきい値を調整できます。

• 特定の時点で特定のカテゴリが急増した場合は、デプロイやトラフィックの変化と関連づけて原因を追跡してください。

オペレーション × カテゴリ違反率ヒットマップ

Property	Value
チャートタイプ	ヒットマップテーブル（行: オペレーション、列: カテゴリ）
集計単位	オペレーション × カテゴリ
アクション	違反基準（しきい値）の選択

行はオペレーション、列はリスクカテゴリで、各セルにはその組み合わせの違反率（%）が表示されます。違反率が高いほど赤系、低いほど緑系で表示されます。

• 「どのオペレーションがどのリスクに弱いか」を一目で把握できるウィジェットです。

• 例えば、特定のオペレーションの回答の適切性の列が赤く表示される場合、そのプロンプトが質問の意図と異なるレスポンスを頻繁に生成しているという意味です。

• 右上の違反基準ドロップダウンでしきい値を調整すると、セルの色と値もあわせて更新されます。

ハルシネーションスコア分布

Property	Value
チャートタイプ	ヒストグラム（X軸: スコア区間、Y軸: 評価呼び出し数）
集計単位	スコア区間（0～10% … 100%）
アクション	マウスオーバー時に値を表示

ハルシネーション評価スコアの分布を、スコア区間別の呼び出し数で表示します。

• スコアが低い区間（0～10%）に分布が集中している場合、ほとんどのレスポンスでハルシネーションが疑われないという意味です。

• 高いスコア区間（特に100%）に厚い裾が現れる場合、事実の歪みが疑われるレスポンスが一定量存在するため、違反ケースで実際の事例を確認してください。

モデル別の品質比較

Property	Value
チャートタイプ	バーチャート（X軸: モデル）
集計単位	モデル
アクション	マウスオーバー時に値を表示

モデル別のレスポンス品質スコアをバーで比較します。

• 品質スコアが低いモデルは、同じワークロードでより多くの違反を引き起こす可能性があります。

• コスト・レイテンシの指標とあわせて検討し、品質に対する効率が良いモデルへの切り替えを判断してください。

事実性スコア分布

Property	Value
チャートタイプ	ヒストグラム（X軸: スコア区間、Y軸: 評価呼び出し数）
集計単位	スコア区間（0～10% … 100%）
アクション	マウスオーバー時に値を表示

事実性（Factuality）評価スコアの分布を、スコア区間別の呼び出し数で表示します。

• スコアが高い区間（特に100%）に分布が集中している場合、ほとんどのレスポンスが事実に忠実であるという意味です。

• 低いスコア区間（0～10%）の比重が厚い場合は、事実と異なるレスポンスが一定量存在するため、ハルシネーションスコア分布とあわせて解釈してください。

時間帯別の違反ヒットマップ

Property	Value
チャートタイプ	ヒットマップ（曜日 × 時間帯）
集計単位	曜日（Sun～Sat） × 時間（0～23）
アクション	違反基準（しきい値）の選択

曜日（縦）と時間帯（横）のグリッドで違反の発生密度を表示します。色が濃いセルほど、その時間帯に違反が集中していることを意味します。

• 特定の曜日・時間帯（例: 平日の午後）に違反が集中する場合は、トラフィック負荷や特定のユーザーパターンとの関連性を確認してください。

• 右上の違反基準ドロップダウンでしきい値を調整できます。

違反ケース

Property	Value
チャートタイプ	テーブル
アクション	違反基準（しきい値）の選択、行の展開

評価の結果、違反と判定された個別の呼び出しを行単位で一覧表示します。統計ではなく実際の事例を直接確認するためのウィジェットです。

Column	Description
時間	呼び出しが発生した時刻
オペレーション	違反が発生したオペレーション
プロンプト	入力（Input）とレスポンス（Output）の要約
モデル	使用されたLLMモデル名
プロバイダー	LLMプロバイダー
トークン	全トークン数
Latency	リクエスト開始～レスポンス完了までの時間
コスト	その呼び出しのコスト

• 行を展開すると、入力・レスポンスの原文とあわせてEval領域に評価項目別のスコアが表示されます。（Hallucination、Factuality、Relevance、Toxicity、Prompt Injection、PII Leak、URL Scan、Judge）

• 右上の違反基準ドロップダウンで、違反として表示するしきい値を調整できます。

参考

評価カテゴリ

画面上のカテゴリ名とEval領域の評価項目は次のように対応します。

Category	Eval Item	Description
ハルシネーション	Hallucination	コンテキストにない内容を生成した度合い
事実性	Factuality	レスポンスが事実に合致している度合い
回答の適切性	Relevance	レスポンスが質問の意図に合致している度合い
有害性	Toxicity	攻撃的・有害な表現が含まれている度合い
プロンプトインジェクション	Prompt Injection	システムプロンプトの奪取・回避の試み
PII漏洩	PII Leak	個人識別情報の露出度合い
-	URL Scan	レスポンスに含まれるURLの危険性
-	Judge	LLM Judgeの総合判定スコア

違反基準（しきい値）

• カテゴリ別の違反推移、違反率ヒットマップ、時間帯別の違反ヒットマップ、違反ケースの各ウィジェットでは、右上で違反基準（スコアのしきい値）を選択できます。

• しきい値を調整すると、そのウィジェットが違反として集計する基準が変わり、データもあわせて更新されます。

• 評価は全呼び出しのうち一部をサンプリングして実行されるため、違反率は評価された呼び出しを基準に算出されます。