本文へスキップ

LLMメトリクス用語辞典

このドキュメントはLLM Observabilityで使用する主要メトリクスと概念を整理した用語辞典です。ダッシュボード、トークン推移、コスト分析など複数のメニューで共通して使用される指標の定義と単位を確認できます。

LLMパフォーマンス指標​

MetricDescription
LatencyLLM APIリクエストからレスポンス完了までの全体所要時間（ms）。ユーザー体感の全体待ち時間
TTFTTime To First Token。リクエスト後、最初のレスポンストークン到着までの時間（ms）。ストリーミング環境でのレスポンス開始体感時点
TPOTTime Per Output Token。出力トークン1つの生成平均時間（ms）。高いほど応答が途切れる感覚
Output TPSTokens Per Second。1秒あたりの出力トークン数。モデル全体のスループット指標

トークンおよびコスト​

MetricDescription
Input Tokensプロンプトの全入力トークン数。Cached Tokens含む
Output Tokensモデル生成の応答トークン数。コストに直接影響
Cached Tokensキャッシュから取得した入力トークン数。Input Tokensのサブセット。通常入力より低単価適用
Cache Hit Rate全入力トークン中のキャッシュ適中トークン割合（%）。高いほどコスト削減
I/O Ratio全トークン中の出力トークン割合（%）。ワークロード特性の把握用（入力中心 vs 生成中心）

パーセンタイル​

PercentileDescription
p50全データの50%以下の値。一般的なユーザー体感パフォーマンス
p75全データの75%以下の値。p50との差で上位リクエストの追加遅延を把握
p95全データの95%以下の値。SLA基準として主に使用
p99全データの99%以下の値。上位1%のパフォーマンス、システム安定性の判断基準

品質評価指標​

MetricDescription
Hallucination幻覚スコア。虚偽情報またはコンテキストの矛盾の程度。低いほど良い (0.0 ~ 1.0)
Answer Relevance回答関連性スコア。質問への適切な回答かどうか。高いほど良い (0.0 ~ 1.0)
Toxicity有害性スコア。ヘイト・暴言・暴力・性的コンテンツの水準。低いほど良い (0.0 ~ 1.0)
Combined Judge総合リスク度。max(hallucination, toxicity, 1 − answer_relevance)。3指標中の最大リスク値。低いほど良い (0.0 ~ 1.0)
Prompt Injectionプロンプトインジェクション試みの検出程度。低いほど良い (0.0 ~ 1.0)
Factuality応答の事実正確性スコア。高いほど良い (0.0 ~ 1.0)
PII Leak個人識別情報（PII）の漏洩程度
URL Scan応答内URLのリスク度
Eval Success評価自体の成功可否（1 = 正常、0 = judge呼び出し/パース失敗）

タグベースフィルター​

LLM Observabilityのすべてのデータは、以下のタグ基準でフィルタリングまたはグループ化できます。

TagDescriptionExample
AgentLLMエージェント（アプリケーションインスタンス）llm-app-01, llm-app-02
Model使用されたLLMモデルgpt-4o, claude-sonnet-4-20250514
ProviderLLM APIプロバイダーapi.openai.com, api.anthropic.com
Operationユーザー指定の呼び出し単位ラベル（chain/prompt/agent名など）。未指定時はdefault。prompt_metaで設定checkout_chain, rag_query, default
Prompt Versionプロンプト/チェーンのバージョンv1, v2, v3
最終修正：