LLMダッシュボードウィジェットリファレンス

このドキュメントはLLMダッシュボードで提供するウィジェットをダッシュボードエリア別に整理したリファレンスです。各ウィジェットのチャートタイプ、フィルター、活用方法を確認できます。ダッシュボード全体の画面構成とデフォルトプリセットはLLMダッシュボードドキュメントを参照してください。

提供ウィジェット

LLM性能メトリクス

ウィジェット	説明
LLM APIリクエスト数	時間帯別リクエスト件数 + エラー率
ステータスコード別リクエスト件数	HTTPステータスコード（2xx/4xx/5xx）分布
Latency平均	時間帯別平均レスポンス時間推移
Latencyパーセンタイル	Latency p50・p75・p95・p99推移
Latencyパーセンタイル個別ウィジェット	パーセンタイル別個別ウィジェット
Latency分布比較	モデル別Latencyボックスプロット
TTFT平均	時間帯別TTFT平均推移
TTFTパーセンタイル	TTFT p50・p75・p95・p99推移
TTFTパーセンタイル個別ウィジェット	パーセンタイル別個別ウィジェット
TTFT分布比較	モデル別TTFTボックスプロット
TPOT平均	時間帯別TPOT平均推移
TPOTパーセンタイル	TPOT p50・p75・p95・p99推移
TPOTパーセンタイル個別ウィジェット	パーセンタイル別個別ウィジェット
TPOT分布比較	モデル別TPOTボックスプロット
総合性能比較	モデル別TTFT・TPOT・Output TPS比較
出力トークン処理量	1秒あたりの出力トークン数（tok/s）

トークンおよびコスト

ウィジェット	説明
トークン使用量	時間帯別入力・出力トークン推移
リクエストあたりの平均トークン	リクエスト1件あたりの平均入力・出力トークン
トークン使用分布	モデル別入力・出力トークン総量比較
本日のトークン使用量	本日の累計トークン + 前日比
キャッシュヒット率	キャッシュトークン比率（%）推移
キャッシュヒット率分布	モデル別キャッシュヒット率比較
キャッシュ削減コスト	キャッシングによる節約金額（$）推移
キャッシュ削減コスト分布	モデル別キャッシュ削減コスト比較
コスト使用量	時間帯別入力・出力コスト（$）推移
リクエストあたりの平均コスト	リクエスト1件あたりの平均コスト
コスト使用分布	モデル別コスト総量比較
本日のコスト	本日の累計コスト + 前日比

モデル別比較・分析

ウィジェット	説明
総合性能比較	モデル別TTFT・TPOT・Output TPS比較
トークン使用分布	モデル別入力・出力トークン総量比較
エラー率分布	モデル別エラー率（%）比較
エラー件数	時間帯別APIエラー・プログラムエラー件数
ステータスコード別リクエスト件数	HTTPステータスコード（4xx/5xx）分布

ライブ観測

ウィジェット	説明
アクティブLLM API	実行中のLLM API呼び出しと長時間実行リスト
アクティブトラジェクトリ	進行中のTrajectory数と等級別分布

---

提供ウィジェット詳細説明

LLM APIリクエスト

LLM APIのリクエスト量とステータスコードをモニタリングするウィジェットグループです。

LLM APIリクエスト数

Property	Value
チャートタイプ	バーチャート（リクエスト数） + ラインチャート（エラー率）複合
フィルタ	タグフィルタ
アクション	個別に見る、マージして見る、詳細を見る

LLM APIに送信された時間帯別リクエスト件数とエラー率（%）を合わせて表示します。バーチャート（左側Y軸）はリクエスト量、ライン（右側Y軸）は全体リクエストに対するエラー比率です。

• リクエスト量が急増すると同時にエラー率も上昇する場合、Rate Limit超過またはプロバイダー障害の可能性があります。
• リクエスト量に変化がないのにエラー率のみ上昇する場合、特定モデルやエージェントで問題が発生している可能性があるため、個別に見るで原因を絞り込めます。

ステータスコード別リクエスト件数

Property	Value
チャートタイプ	スタックバーチャート
フィルタ	なし
アクション	詳細を見る

時間帯別HTTPステータスコード分布を2xx（成功）、4xx（クライアントエラー）、5xx（サーバーエラー）に分けて表示します。

• 4xx増加 — 不正なリクエストパラメータ、認証失敗、トークン上限超過など、リクエスト側の問題を点検する必要があります。
• 5xx増加 — LLMプロバイダー側のサーバー障害や一時的な過負荷状態を意味します。
• LLM APIリクエスト数ウィジェットのエラー率と合わせて見ると、エラー原因を素早く分類できます。

LLM APIレスポンス性能

LLM APIの全体レスポンス時間（Latency）をさまざまな観点で分析するウィジェットグループです。Latencyはリクエストを送信した時点からレスポンスが完全に完了するまでの全体所要時間です。

Latency平均

Property	Value
チャートタイプ	ラインチャート
フィルタ	タグフィルタ
アクション	個別に見る、マージして見る、詳細を見る

時間帯別Latency平均推移を表示します。

• Latency平均が全体的に上昇する場合、モデルのレスポンス速度低下やネットワーク遅延を点検する必要があります。
• 個別に見るでモデル別Latencyを比較し、どのモデルで遅延が発生しているかを確認できます。

Latencyパーセンタイル

Property	Value
チャートタイプ	ラインチャート（p50、p75、p95、p99の4シリーズ）
フィルタ	なし
アクション	詳細を見る

時間帯別Latencyのパーセンタイル推移をp50、p75、p95、p99の4つのシリーズで表示します。例えば、p95の値が3秒であれば、全体リクエストの95%が3秒以内に完了したことを意味します。

• p50とp99の差が大きい場合、大部分のリクエストは速いものの、一部のリクエストで深刻な遅延が発生していることを意味します。
• p50とp99が一緒に上昇する場合、全体的な性能低下を意味します。

Latencyパーセンタイル個別ウィジェット

Property	Value
チャートタイプ	ラインチャート
フィルタ	タグフィルタ
アクション	個別に見る、マージして見る、詳細を見る

各パーセンタイルを個別ウィジェットで提供します。各パーセンタイルの意味は次のとおりです。

Percentile	Description
p50	全体リクエストの半分がこの時間以内に完了。一般的なユーザーが体感する平均的なレスポンス速度。
p75	全体リクエストの75%がこの時間以内に完了。p50との差で上位25%リクエストの追加遅延を把握。
p95	全体リクエストの95%がこの時間以内に完了。SLA（サービスレベル合意）基準メトリクスとして頻繁に使用。
p99	全体リクエストの99%がこの時間以内に完了。最も遅い上位1%のリクエスト、システム安定性の判断。

Latency分布比較

Property	Value
チャートタイプ	ボックスプロット（x軸：モデル）
フィルタ	タグフィルタ（常時表示）
アクション	詳細を見る

タグ基準（モデルなど）別にLatencyの分布をボックスプロットで比較します。ボックス領域はp25〜p75（中間50%範囲）、中央線は中央値、ウィスカーは最小値〜最大値を表します。

• ボックスが広いモデルはレスポンス時間のばらつきが大きく、安定性の改善が必要な場合があります。
• ウィスカーが長く伸びたモデルは、間欠的に極端な遅延が発生しています。
• 複数モデルの分布を並べて比較し、最も安定したモデルを特定できます。

TTFT（Time To First Token）

TTFTはリクエストを送信した後、最初のレスポンストークンが到着するまでの時間です。TTFTが長くなると、ユーザーは「レスポンスが始まらない」という体感を受けます。

TTFT平均

Property	Value
チャートタイプ	ラインチャート
フィルタ	タグフィルタ
アクション	個別に見る、マージして見る、詳細を見る

時間帯別TTFT平均推移を表示します。

• 特定の時間帯にTTFTが急騰する場合、モデルキュー待機の増加やプロバイダー側の遅延を点検する必要があります。
• 個別に見るでどのモデルの初期レスポンスが遅いかを比較できます。

TTFTパーセンタイル

Property	Value
チャートタイプ	ラインチャート（p50、p75、p95、p99の4シリーズ）
フィルタ	なし
アクション	詳細を見る

時間帯別TTFTのパーセンタイル推移をp50、p75、p95、p99の4つのシリーズで表示します。例えば、p95の値が2秒であれば、全体リクエストの95%が2秒以内に最初のトークンを受信したことを意味します。

• p50は安定しているのにp99だけ急騰する場合、間欠的にキュー待機が発生しているシグナルです。
• すべてのパーセンタイルが一緒に上昇する場合、全体的な初期レスポンス遅延が発生しています。

TTFTパーセンタイル個別ウィジェット

Property	Value
チャートタイプ	ラインチャート
フィルタ	タグフィルタ
アクション	個別に見る、マージして見る、詳細を見る

各パーセンタイルを個別ウィジェットで提供します。

Percentile	Description
p50	大部分のユーザーが体感する初期レスポンス待機時間。
p75	p50との差で上位25%リクエストの追加初期遅延を把握。
p95	「大部分のユーザーにこの程度の初期レスポンス待機は保証されます」というSLA基準メトリクス。
p99	最も遅い上位1%の初期レスポンス時間。間欠的なタイムアウトや特定条件での遅延を点検。

TTFT分布比較

Property	Value
チャートタイプ	ボックスプロット（x軸：モデル）
フィルタ	タグフィルタ（常時表示）
アクション	詳細を見る

タグ基準（モデルなど）別にTTFTの分布をボックスプロットで比較します。ボックス領域はp25〜p75、中央線は中央値、ウィスカーは最小値〜最大値です。

• 中央値が低くボックスが狭いモデルが、最も安定して速い初期レスポンスを提供します。
• ウィスカーが長く伸びたモデルは、間欠的に極端な初期遅延が発生します。

TPOT（Time Per Output Token）

TPOTは出力トークン1つが生成されるのにかかる平均時間です。TPOTが低いほどストリーミングレスポンスが滑らかに感じられ、高くなると「レスポンスが途切れる」感じを与える可能性があります。

TPOT平均

Property	Value
チャートタイプ	ラインチャート
フィルタ	タグフィルタ
アクション	個別に見る、マージして見る、詳細を見る

時間帯別TPOT平均推移を表示します。

• 特定の時間帯にTPOTが急騰する場合、モデル負荷の増加やRate Limitの影響を点検する必要があります。
• 個別に見るでモデル別のトークン生成速度を比較できます。

TPOTパーセンタイル

Property	Value
チャートタイプ	ラインチャート（p50、p75、p95、p99の4シリーズ）
フィルタ	なし
アクション	詳細を見る

時間帯別TPOTのパーセンタイル推移をp50、p75、p95、p99の4つのシリーズで表示します。例えば、p95の値が40msであれば、全体リクエストの95%でトークン1つが40ms以内に生成されたことを意味します。

• p50は安定しているのにp99だけ高くなる場合、間欠的にトークン生成が停止する現象が発生しているシグナルです。
• すべてのパーセンタイルが一緒に上昇する場合、全体的なストリーミング速度の低下を意味します。

TPOTパーセンタイル個別ウィジェット

Property	Value
チャートタイプ	ラインチャート
フィルタ	タグフィルタ
アクション	個別に見る、マージして見る、詳細を見る

各パーセンタイルを個別ウィジェットで提供します。

Percentile	Description
p50	一般的なストリーミング速度。最も滑らかなストリーミングを提供するモデルを確認。
p75	p50との差で上位25%リクエストのストリーミング速度低下を把握。
p95	SLA基準ストリーミング速度メトリクス。
p99	最も遅い上位1%のトークン生成速度。間欠的な停止現象を点検。

TPOT分布比較

Property	Value
チャートタイプ	ボックスプロット（x軸：モデル）
フィルタ	タグフィルタ（常時表示）
アクション	詳細を見る

タグ基準（モデルなど）別にTPOTの分布をボックスプロットで比較します。ボックス領域はp25〜p75、中央線は中央値、ウィスカーは最小値〜最大値です。

• 中央値が低くボックスが狭いモデルが、最も安定したストリーミング性能を提供します。
• ウィスカーが長く伸びたモデルは、間欠的にトークン生成が大幅に遅くなる現象が発生します。

総合性能比較

Property	Value
チャートタイプ	水平バーチャート（モデル別、3つのメトリクス）
フィルタ	タグフィルタ（常時表示）
アクション	詳細を見る、p95/p99タブ切り替え

モデル別の主要性能メトリクス3つを水平バーチャートで比較します。p95/p99タブを切り替えて、一般的な性能と最悪条件での性能をそれぞれ確認できます。

Metric	Description	Direction
TTFT	ユーザーが最初のレスポンスを受け取るまでの待機時間	低いほど良い
TPOT	トークン1つが生成されるのにかかる時間（ストリーミング速度）	低いほど良い
Output TPS	1秒あたりに生成される出力トークン数（全体処理量）	高いほど良い

3つのメトリクスを総合すると、「速く開始し、滑らかにストリーミングし、高い処理量を出すモデル」を一目で特定できます。

トークン

トークン使用パターンとキャッシュ効率をモニタリングするウィジェットグループです。

トークン使用量

Property	Value
チャートタイプ	ラインチャート（input、outputの2シリーズ）
フィルタ	タグフィルタ
アクション	個別に見る、マージして見る、詳細を見る

時間帯別の入力トークン数と出力トークン数の推移を表示します。入力トークンはプロンプトに含まれるトークン、出力トークンはモデルが生成したレスポンストークンです。

• 特定の時間帯にトークン使用量が急増する場合、トラフィック増加、プロンプト変更、異常リクエストの流入を点検する必要があります。
• 個別に見るでどのモデルやエージェントにトークン消費が集中しているかを確認できます。

リクエストあたりの平均トークン

Property	Value
チャートタイプ	ラインチャート（input、outputの2シリーズ）
フィルタ	タグフィルタ
アクション	個別に見る、マージして見る、詳細を見る

リクエスト1件あたりに使用された平均入力/出力トークン数の時間帯別推移を表示します。

• リクエストあたりの入力トークンが急増する場合、プロンプトの長さが長くなったか、長いコンテキストが含まれ始めた可能性があります。
• リクエストあたりの出力トークンが急増する場合、レスポンスの長さが増加したことを意味し、コスト増加に直接影響します。

出力トークン処理量

Property	Value
チャートタイプ	ラインチャート
フィルタ	タグフィルタ
アクション	個別に見る、詳細を見る

1秒あたりに生成される出力トークン数（Tokens Per Second）を示す処理量メトリクスです。

• 処理量が低下する区間は、モデルレスポンスのボトルネックやRate Limitの影響を点検する必要があります。
• トークン使用量と合わせて見ると、「トークンは多く使用しているが処理速度が遅い区間」を特定できます。

トークン使用分布

Property	Value
チャートタイプ	ヒストグラム（タグ別グループ）
フィルタ	タグフィルタ（常時表示）
アクション	詳細を見る

タグ基準（モデルなど）別に入力/出力トークン総量を比較する分布チャートです。

• どのモデルが最も多くのトークンを消費しているかを一目で確認できます。
• 入力の比重が高いモデルは、プロンプト最適化によるコスト削減の余地があります。
• 出力の比重が高いモデルは、レスポンス長さの制限（max_tokens）の調整を検討できます。

本日のトークン使用量

Property	Value
チャートタイプ	日次比較チャート（本日/前日）
フィルタ	なし
アクション	日付比較

本日の累計トークン使用量（input + output）と前日同時間帯比の増減を表示します。

• 前日比でトークン消費速度が速い場合、トラフィック増加やプロンプトサイズの変化を点検する必要があります。
• Rate Limit上限や日次予算超過を事前に検知するのに活用できます。

キャッシュヒット率

Property	Value
チャートタイプ	ラインチャート（%）
フィルタ	タグフィルタ
アクション	個別に見る、詳細を見る

全体入力トークン中、キャッシュから取得したトークンの比率（%）を時間帯別に表示します。

• ヒット率が高いほど、プロンプトキャッシングが効果的に動作しており、コスト削減効果が大きいです。
• ヒット率が急激に低下する場合、プロンプト内容の変更、キャッシュTTLの満了、新しいタイプのリクエスト流入を点検する必要があります。
• 個別に見るでモデル別のキャッシュ効率を比較できます。

計算式

キャッシュヒット率 =（区間内のcached_tokens合計 / 区間内のinput_tokens合計）× 100

キャッシュヒット率分布

Property	Value
チャートタイプ	ヒストグラム（タグ別）
フィルタ	タグフィルタ（常時表示）
アクション	詳細を見る

タグ基準（モデルなど）別にキャッシュヒット率（%）を比較する分布チャートです。

• ヒット率が高いモデルはキャッシングが十分に活用されており、低いモデルはキャッシング対象のプロンプト構造を点検する必要があります。
• モデル間のヒット率格差が大きい場合、キャッシング戦略をモデル別に差別化して追加コストを削減できます。

キャッシュ削減コスト

Property	Value
チャートタイプ	ラインチャート（$）
フィルタ	タグフィルタ
アクション	個別に見る、詳細を見る

プロンプトキャッシングにより実際に節約された金額（$）を時間帯別に表示します。キャッシュされたトークンは通常の入力トークンより低い単価が適用され、この差が削減コストとして算出されます。

• 削減コストが安定して発生していれば、キャッシング戦略が効果的に動作しているという意味です。
• 削減コストが減少する場合、キャッシュヒット率と合わせてキャッシュミスの増加有無を点検する必要があります。
• 個別に見るでどのモデルで最も大きな削減効果が発生しているかを確認できます。

キャッシュ削減コスト分布

Property	Value
チャートタイプ	ヒストグラム（タグ別）
フィルタ	タグフィルタ（常時表示）
アクション	詳細を見る

タグ基準（モデルなど）別にキャッシュ削減コスト（$）を比較する分布チャートです。

• 削減コストが大きいモデルはキャッシング効果が高いため、そのモデルのキャッシング設定を維持・強化することが有利です。
• 削減コストが低いモデルは、キャッシュヒット率と合わせてキャッシング対象のプロンプト構造の改善やキャッシュTTLの調整を検討できます。

コスト

LLM API使用コストをモニタリングするウィジェットグループです。

コスト使用量

Property	Value
チャートタイプ	ラインチャート（input、outputの2シリーズ）
フィルタ	タグフィルタ
アクション	個別に見る、マージして見る、詳細を見る

時間帯別の入力/出力コスト（$）推移を表示します。入力コストはプロンプト処理コスト、出力コストはレスポンス生成コストです。

• コストが急増する時間帯がある場合、該当区間のリクエスト量とリクエストあたりのトークン数を合わせて確認する必要があります。
• 入力コストと出力コストの比重を比較して、プロンプト最適化とレスポンス長さ制限のどちらに集中すべきか判断できます。
• 個別に見るでモデル別のコスト寄与度を比較できます。

リクエストあたりの平均コスト

Property	Value
チャートタイプ	ラインチャート（input、outputの2シリーズ）
フィルタ	タグフィルタ
アクション	個別に見る、マージして見る、詳細を見る

リクエスト1件あたりに発生する平均入力/出力コスト（$）の時間帯別推移を表示します。

• リクエストあたりのコストが急変する場合、モデル切り替え、プロバイダーの価格変更、プロンプトサイズの変化を点検する必要があります。
• 総コストは増加しているがリクエストあたりのコストに変動がない場合、単純にリクエスト量が増加したものなので、リクエスト量の管理に集中すれば良いです。

コスト使用分布

Property	Value
チャートタイプ	ヒストグラム（タグ別グループ）
フィルタ	タグフィルタ（常時表示）
アクション	詳細を見る

タグ基準（モデルなど）別に入力/出力コスト総量を比較する分布チャートです。

• どのモデルが最も高いコストを占めているかを一目で確認できます。
• コストが高いモデルの使用頻度とリクエストあたりのトークンを点検して、コスト最適化対象を選定できます。

本日のコスト

Property	Value
チャートタイプ	日次比較チャート（本日/前日）
フィルタ	なし
アクション	日付比較

本日の累計コスト（$）と前日同時間帯比の増減を表示します。

• 前日比でコスト消費速度が速い場合、リクエスト量の増加、モデル切り替え、プロンプトサイズの変化を点検する必要があります。
• 日次予算超過を事前に検知して対応措置を取ることができます。

エラー

LLM APIのエラー状況をモニタリングするウィジェットグループです。

エラー率分布

Property	Value
チャートタイプ	水平バーチャート
フィルタ	タグフィルタ
アクション	個別に見る、マージして見る、詳細を見る

タグ基準（モデルなど）別にエラー率（%）を水平バーチャートで比較します。エラー率は、該当グループの全体リクエスト中エラー（status_code 400以上）が占める比率です。

• 特定モデルやエージェントにエラーが集中しているかを素早く把握できます。
• エラー率が高いモデルは、プロバイダー障害、不正なパラメータ、Rate Limit超過などを点検する必要があります。
• 個別に見るでAgent、Providerなどさまざまな基準でエラー原因を絞り込めます。

エラー件数

Property	Value
チャートタイプ	スタックバーチャート
フィルタ	なし
アクション	詳細を見る

時間帯別のエラー件数をAPIエラーとプログラムエラーに区分して表示します。

• APIエラー — LLMプロバイダー側から返されたエラーで、Rate Limit超過、サーバーエラー、認証失敗などが該当します。
• プログラムエラー — クライアント側で発生したエラーで、レスポンスパース失敗、タイムアウト、接続エラーなどが該当します。
• エラータイプ別の推移を通じて、問題の原因がプロバイダー側かクライアント側かを素早く区別できます。

ライブ観測

現在実行中のLLM呼び出しとTrajectoryを確認するウィジェットグループです。Trajectoryは、1つのLLM作業フローに参加したトランザクションを1つにまとめた単位です。2つのウィジェットのリスト画面は、エージェントから直接照会した実行中データを使用するため、過去区間はありません。ダッシュボードを停止している場合や過去の時刻を表示している場合は、リストにつながる導線を提供しません。

アクティブLLM API

Property	Value
チャートタイプ	スウォームチャート（モデル別トラック）
フィルタ	ダッシュボードエージェントフィルタ
アクション	詳細を見る、新しいウィンドウで開く

現在実行中のLLM API呼び出しを、モデル別のトラック上にドットで表示します。1つのドットが1つの呼び出しであり、横位置はNormal、Slow、Very Slowの区間を表します。3つの区間の基準は、エージェントオプションに設定した値に応じてデータが集計されます。

• Very Slow区間にドットが積み上がる場合は、エージェントに設定した基準より長く実行される呼び出しが特定のモデルやプロバイダーに偏っていないかを確認してください。
• ウィジェット本文をクリックすると、長時間実行リストがモーダルで開きます。プロンプトの展開により実行中のシステムプロンプトと入力プロンプトを確認でき、リストで呼び出しを選択すると、その呼び出しが属するTrajectoryビューに移動して実行フロー全体を確認できます。
• ウィジェットヘッダーの詳細を見るボタンをクリックすると、同じリストを広い画面で開けます。モーダルヘッダーの新しいウィンドウで開くボタンをクリックすると、別のウィンドウで表示します。

アクティブトラジェクトリ

Property	Value
チャートタイプ	軌道チャート + 等級別件数リスト
フィルタ	ダッシュボードエージェントフィルタ
アクション	詳細を見る、新しいウィンドウで開く

現在アクティブなTrajectory数と、各TrajectoryのStep数をLight、Middle、Heavyの等級に分けて表示します。等級はStepをどれだけ多く、繰り返し呼び出したかを表すものであり、速度や実行時間を意味しません。

• 所属するマルチトランザクションのいずれか1つでも実行中であれば、そのTrajectoryをライブ状態として数えます。
• 等級の境界値は、エージェントオプションに設定した基準に従います。
• 等級をクリックすると、その等級で絞り込んだTrajectoryリストが開きます。リストで行を選択すると、Trajectoryビューにつながります。
• 軌道チャートをクリックすると、等級で絞り込まないリスト全体が開きます。

Trajectoryリスト

リストは、Trajectory単位のグループヘッダーと、その下のトランザクション行で構成されます。グループヘッダーにはmtid、まとめられたトランザクション数、ユーザー、セッションを表示し、mtidのない単独フローは単独実行として表示します。リストはCSVでエクスポートできます。

Column	Description
Transaction	トランザクション名
ステータス	トランザクションの進行状態（実行中・完了・失敗）
mtid	Trajectoryをまとめるキー
ステップ	トランザクションが実行したステップ数
エージェント	トランザクションを実行したエージェント
LLM呼び出し数	トランザクション内で発生したLLM呼び出し数
経過	トランザクション開始後の経過時間
ユーザー	ログに付与されたuser_id
セッション	ログに付与されたsession_id

リファレンス

収集元フィールド

Field	Description
request_count	LLM APIコール件数
status_code	HTTPレスポンスステータスコード（2xx、4xx、5xx）
latency	リクエスト開始〜レスポンス完了までの全体時間（ms）
ttft	Time To First Token。リクエスト開始〜最初のトークン受信（ms）
tpot	Time Per Output Token。出力トークン間の平均間隔（ms）
input_tokens	全体入力トークン数（cached含む）
output_tokens	出力トークン数
cached_tokens	キャッシュから取得した入力トークン数（input_tokensのサブセット）
input_tokens_cost	全体入力トークンコスト（$）。cached_tokens_cost含む
output_tokens_cost	出力トークンコスト（$）
cached_tokens_cost	キャッシュトークンコスト（$）
error_type	エラータイプ（api_error、program_error）

ウィジェットグループサマリー

Group	Widgets	Description
LLM APIリクエスト	2	リクエスト量とステータスコードのモニタリング
LLM APIレスポンス性能	8	Latencyの推移と分布分析
TTFT	7	最初のトークン受信時間の分析
TPOT	7	トークン生成速度の分析
トークン	9	トークン使用パターンとキャッシュ効率の分析
コスト	4	LLM APIコストのモニタリング
エラー	2	エラータイプ別状況分析
ライブ観測	2	実行中のLLM呼び出しとTrajectoryの状況把握
合計	41

用語

Term	Description
Latency	LLM APIリクエストを送信した時点からレスポンスが完全に完了するまでの全体所要時間（ms）
TTFT	Time To First Token。リクエストを送信した後、最初のレスポンストークンが到着するまでの時間（ms）
TPOT	Time Per Output Token。出力トークン1つが生成されるのにかかる平均時間（ms）
Output TPS	Tokens Per Second。1秒あたりに生成される出力トークン数（tokens/s）
パーセンタイル	データを大きさ順に並べたとき、該当パーセント以下にある値。例：p95 = 全体データの95%がこの値以下
キャッシュヒット率	全体入力トークン中、キャッシュから取得したトークンの比率（%）。値が大きいほどコスト削減効果が大きい
タグフィルタ	Agent、Model、Provider、Operation基準でデータをフィルタリングする機能
プリセット	ウィジェット構成（種類、位置、サイズ）を保存した設定。ユーザー定義プリセットの作成可能
Trajectory	1つのLLM作業フローに参加したトランザクションをmtid基準でまとめた単位