総合状況ダッシュボードウィジェットリファレンス
このドキュメントは総合状況ダッシュボードで提供するウィジェットをダッシュボードエリア別に整理したリファレンスです。各ウィジェットのチャートタイプ、フィルター、活用方法を確認できます。ダッシュボード全体の画面構成とデフォルトプリセットは総合状況ダッシュボードドキュメントを参照してください。
提供ウィジェット
LLM性能メトリクス
| ウィジェット | 説明 |
|---|---|
| LLM APIリクエスト数 | 時間帯別リクエスト件数 + エラー率 |
| ステータスコード別リクエスト件数 | HTTPステータスコード（2xx/4xx/5xx）分布 |
| Latency平均 | 時間帯別平均レスポンス時間推移 |
| Latencyパーセンタイル | Latency p50・p75・p95・p99推移 |
| Latencyパーセンタイル個別ウィジェット | パーセンタイル別個別ウィジェット |
| Latency分布比較 | モデル別Latencyボックスプロット |
| TTFT平均 | 時間帯別TTFT平均推移 |
| TTFTパーセンタイル | TTFT p50・p75・p95・p99推移 |
| TTFTパーセンタイル個別ウィジェット | パーセンタイル別個別ウィジェット |
| TTFT分布比較 | モデル別TTFTボックスプロット |
| TPOT平均 | 時間帯別TPOT平均推移 |
| TPOTパーセンタイル | TPOT p50・p75・p95・p99推移 |
| TPOTパーセンタイル個別ウィジェット | パーセンタイル別個別ウィジェット |
| TPOT分布比較 | モデル別TPOTボックスプロット |
| 総合性能比較 | モ デル別TTFT・TPOT・Output TPS比較 |
| 出力トークン処理量 | 1秒あたりの出力トークン数（tok/s） |
トークンおよびコスト
| ウィジェット | 説明 |
|---|---|
| トークン使用量 | 時間帯別入力・出力トークン推移 |
| リクエストあたりの平均トークン | リクエスト1件あたりの平均入力・出力トークン |
| トークン使用分布 | モデル別入力・出力トークン総量比較 |
| 本日のトークン使用量 | 本日の累計トークン + 前日比 |
| キャッシュヒット率 | キャッシュトークン比率（%）推移 |
| キャッシュヒット率分布 | モデル別キャッシュヒット率比較 |
| キャッシュ削減コスト | キャッシングによる節約金額（$）推移 |
| キャッシュ削減コスト分布 | モデル別キャッシュ削減コスト比較 |
| コスト使用量 | 時間帯別入力・出力コスト（$）推移 |
| リクエストあたりの平均コスト | リクエスト1件あたりの平均コスト |
| コスト使用分布 | モデル別コスト総量比較 |
| 本日のコスト | 本日の累計コスト + 前日比 |
モデル別比較・分析
| ウィジェット | 説明 |
|---|---|
| 総合性能比較 | モデル別TTFT・TPOT・Output TPS比較 |
| トークン使用分布 | モデル別入力・出力トークン総量比較 |
| エラー率分布 | モデル別エラー率（%）比較 |
| エラー件数 | 時間帯別APIエラー・プログラムエラー件数 |
| ステータスコード別リクエスト件数 | HTTPステータスコード（4xx/5xx）分布 |
要約件数
| ウィジェット | 説明 |
|---|---|
| トラジェクトリー件数 | 照会区間に新しく開始されたトラジェクトリーの合計 |
| LLM API呼び出し件数 | 照会区間のLLM API呼び出しの合計 |
| ツール呼び出し件数 | 照会区間のツール呼び出し（tool use）の合計 |
ライブ観測
| ウィジェット | 説明 |
|---|---|
| アクティブLLM API | 実行中のLLM API呼び出しと長時間実行リスト |
| アクティブトラジェクトリ | 進行中のTrajectory数と等級別分布 |
| リアルタイムプロンプト | 直近に終了したLLMトランザクション50件とプロンプト |
提供ウィジェット詳細説明
要約件数
照会区間の総件数を、大きな数字1行で表示するウィジェットグループです。3つのウィジェットともデフォルトの照会区間は10分であり、リアルタイムモードでは直近10分の移動区間の合計が5秒ごとに更新されます。数字またはヘッダーの詳細アイコンをクリックすると、同じ区間を5秒間隔で区切った推移チャートがモーダルで開きます。
3つのウィジェットはAIエージェントメインダッシュボードの最初の行にデフォルトで配置されています。編集可能なダッシュボードでは、ウィジェット追加メニューの要約グループから選んで追加できます。
3つのウィジェットの件数は、SDKが送る値を集計します。件数収集に対応していないSDKバージョンでは、3つのウィジェットともすべて0と表示されます。
トラジェクトリー件数
| Property | Value |
|---|---|
| チャートタイプ | 大きな数字 + 推移チャート（モーダル） |
| フィルタ | ダッシュボードアプリケーションフィルター |
| アクション | 詳細を見る |
照会区間中に新しく開始されたトラジェクトリーの総件数を表示します。数える単位はトランザクションではなくトラジェクトリー、つまり同じmtidでまとめられるフロー1つです。トラジェクトリー1つにトランザクションが複数まとめられていても1件として数えます。
- 数字の下には、現在実行中のトラジェクトリー数を併せて表示しま す。大きな数字は区間内に開始された件数であり、実行中は現在時点のスナップショットです。2つの値は基準の時点が異なるため、互いに足したり引いたりして解釈しないでください。
- SDKは5秒ごとにその区間に新しく開始されたトラジェクトリー数を送り、ウィジェットは照会区間に入る値を合算して表示します。5秒以内に開始して終了したトラジェクトリーも漏れません。
- 親から
mtidを引き継いだフローは、新しく開始したものとして数えません。トラジェクトリー1つが複数のプロセスやホストを経由しても、開始件数は1回だけ増えます。 - 数字をクリックすると5秒間隔の推移グラフが開き、区間内でトラジェクトリーが集中した時点を確認できます。
LLM API呼び出し件数
| Property | Value |
|---|---|
| チャートタイプ | 大きな数字 + 推移チャート（モーダル） |
| フィルタ | ダッシュボードアプリケーションフィルター |
| アクション | 詳細を見る |
照会区間中にLLM APIが呼び出された総件数を表示します。
- 数字の下には、トラジェクトリー1つあたりの平均LLM API呼び出し数を併せて表示します。同じ区間の呼び出し件数をトラジェクトリーの開始件数で割った値です。
- リクエスト量とエラー率の変化を併せて確認するには、LLM APIリクエスト数ウィジェットを使用してください。
ツール呼び出し件数
| Property | Value |
|---|---|
| チャートタイプ | 大きな数字 + 推移チャート（モーダル） |
| フィルタ | ダッシュボードアプリケーションフィルター |
| アクション | 詳細を見る |
照会区間中に発生したツール呼び出し（tool use）の総件数を表示します。機能使用統計からtool_use項目のみを選んで合算した値です。
- 数字の下には、同じ区間の全LLM API呼び出しに対するツール呼び出しの比率（%）を併せて表示します。
- ツール呼び出しの比率が急に上がる場合は、エージェントが同じツールを繰り返し呼んでいないかをアクティブトラジェクトリウィジェットの等級分布と併せて確認してください。
LLM APIリクエスト
LLM APIのリクエスト量とステータスコードをモニタリングするウィジェットグループです。
LLM APIリクエスト数
| Property | Value |
|---|---|
| チャートタイプ | バーチャート（リクエスト数） + ラインチャート（エラー率）複合 |
| フィルタ | タグフィルタ |
| アクション | 個別に見る、マージして見る、詳細を見る |
LLM APIに送信された時間帯別リクエスト件数とエラー率（%）を合わせて表示します。バーチャート（左側Y軸）はリクエスト量、ライン（右側Y軸）は全体リクエストに対するエラー比率です。
- リクエスト量が急増すると同時にエラー率も上昇する場合、Rate Limit超過またはプロバイダー障害の可能性があります。
- リクエスト量に変化がないのにエラー率のみ上昇する場合、特定モデルやエージェントで問題が発生している可能性があるため、個別に見るで原因を絞り込めます。
ステータスコード別リクエスト件数
| Property | Value |
|---|---|
| チャートタイプ | スタックバーチャート |
| フィルタ | なし |
| アクション | 詳細を見る |
時間帯別HTTPステータスコード分布を2xx（成功）、4xx（クライアントエラー）、5xx（サーバーエラー）に分けて表示します。
- 4xx増加。不正なリクエストパラメータ、認証失敗、トークン上限超過など、リクエスト側の問題を点検する必要があります。
- 5xx増加。LLMプロバイダー側のサーバー障害や一時的な過負荷状態を意味します。
- LLM APIリクエスト数ウィジェットのエラー率と合わせて見ると、エラー原因を素早く分類できます。
LLM APIレスポンス性能
LLM APIの全体レスポンス時間（Latency）をさまざまな観点で分析するウィジェットグループです。Latencyはリクエストを送信した時点からレスポンスが完全に完了するまでの全体所要時間です。
Latency平均
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート |
| フィルタ | タグフィルタ |
| アクション | 個別に見る、マージして見る、詳細を見る |
時間帯別Latency平均推移を表示します。
- Latency平均が全体的に上昇する場合、モデルのレスポンス速度低下やネット ワーク遅延を点検する必要があります。
- 個別に見るでモデル別Latencyを比較し、どのモデルで遅延が発生しているかを確認できます。
Latencyパーセンタイル
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート（p50、p75、p95、p99の4シリーズ） |
| フィルタ | なし |
| アクション | 詳細を見る |
時間帯別Latencyのパーセンタイル推移をp50、p75、p95、p99の4つのシリーズで表示します。例えば、p95の値が3秒であれば、全体リクエストの95%が3秒以内に完了したことを意味します。
- p50とp99の差が大きい場合、大部分のリクエストは速いものの、一部のリクエストで深刻な遅延が発生していることを意味します。
- p50とp99が一緒に上昇する場合、全体的な性能低下を意味します。
Latencyパーセンタイル個別ウィジェット
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート |
| フィルタ | タグフィルタ |
| アクション | 個別に見る、マージして見る、詳細を見る |
各パーセンタイルを個別ウィジェットで提供します。各パーセンタイルの意味は次のとおりです。
| Percentile | Description |
|---|---|
p50 | 全体リクエストの半分がこの時間以内に完了。一般的なユーザーが体感する平均的なレスポンス速度。 |
p75 | 全体リクエストの75%がこの時間以内に完了。p50との差で上位25%リクエストの追加遅延を把握。 |
p95 | 全体リクエストの95%がこの時間以内に完了。SLA（サービスレベル合意）基準メトリクスとして頻繁に使用。 |
p99 | 全体リクエストの99%がこの時間以内に完了。最も遅い上位1%のリクエスト、システム安定性の判断。 |
Latency分布比較
| Property | Value |
|---|---|
| チャートタイプ | ボックスプロット（x軸：モデル） |
| フィルタ | タグフィルタ（常時表示） |
| アクション | 詳細を見る |
タグ基準（モデルなど）別にLatencyの分布をボックスプロットで比較します。ボックス領域はp25〜p75（中間50%範囲）、中央線は中央値、ウィスカーは最小値〜最大値を表します。
- ボックスが広いモデルはレスポンス時間のばらつきが大きく、安定性の改善が必要な場合があります。
- ウィスカーが長く伸びたモデルは、間欠的に極端な遅延が発生しています。
- 複数モデルの分布を並べて比較し、最も安定したモデルを特定できます。
TTFT（Time To First Token）
TTFTはリクエストを送信した後、最初のレスポンストークンが到着するまでの時間です。TTFTが長くなると、ユーザーは「レスポンスが始まらない」という体感を受けます。
TTFT平均
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート |
| フィルタ | タグフィルタ |
| アクション | 個別に見る、マージして見る、詳細を見る |
時間帯別TTFT平均推移を表示します。
- 特定の時間帯にTTFTが急騰する場合、モデルキュー待機の増加やプロバイダー側の遅延を点検する必要があります。
- 個別に見るでどのモデルの初期レスポンスが遅いかを比較できます。
TTFTパーセンタイル
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート（p50、p75、p95、p99の4シリーズ） |
| フィルタ | なし |
| アクション | 詳細を見る |
時間帯別TTFTのパーセンタイル推移をp50、p75、p95、p99の4つのシリーズで表示します。例えば、p95の値が2秒であれば、全体リクエストの95%が2秒以内に最初のトークンを受信したことを意味します。
- p50は安定しているのにp99だけ急騰する場合、間欠的にキュー待機が発生しているシグナルです。
- すべてのパーセンタイルが一緒に上昇する場合、全体的な初期レスポンス遅延が発生しています。
TTFTパーセンタイル個別ウィジェット
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート |
| フィルタ | タグフィルタ |
| アクション | 個別に見る、マージして見る、詳細を見る |
各パーセンタイルを個別ウィジェットで提供します。
| Percentile | Description |
|---|---|
p50 | 大部分のユーザーが体感する初期レスポンス待機時間。 |
p75 | p50との差で上位25%リクエストの追加初期遅延を把握。 |
p95 | 「大部分のユーザーにこの程度の初期レスポンス待機は保証されます」というSLA基準メトリクス。 |
p99 | 最も遅い上位1%の初期レスポンス時間。間欠的なタイムアウトや特定条件での遅延を点検。 |
TTFT分布比較
| Property | Value |
|---|---|
| チャートタイプ | ボックスプロット（x軸：モデル） |
| フィルタ | タグフィルタ（常時表示） |
| アクション | 詳細を見る |
タグ基準（モデルなど）別にTTFTの分布をボックスプロットで比較します。ボックス領域はp25〜p75、中央線は中央値、ウィスカーは最小値〜最大値です。
- 中央値が低くボックスが狭いモデルが、最も安定して速い初期レスポンスを提供します。
- ウィスカーが長く伸びたモデルは、間欠的に極端な初期遅延が発生します。
TPOT（Time Per Output Token）
TPOTは出力トークン1つが生成されるのにかかる平均時間です。TPOTが低いほどストリーミングレスポンスが滑らかに感じられ、高くなると「レスポンスが途切れる」感じを与える可能性があります。
TPOT平均
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート |
| フィルタ | タグフィルタ |
| アクション | 個別に見る、マージして見る、詳細を見る |
時間帯別TPOT平均推移を表示します。
- 特定の時間帯にTPOTが急騰する場合、モデル負荷の増加やRate Limitの影響を点検する必要があります。
- 個別に見るでモデル別のトークン生成速度を比較できます。
TPOTパーセンタイル
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート（p50、p75、p95、p99の4シリーズ） |
| フィルタ | なし |
| アクション | 詳細を見る |
時間帯別TPOTのパーセンタイル推移をp50、p75、p95、p99の4つのシリーズで表示します。例えば、p95の値が40msであれば、全体リクエストの95%でトークン1つが40ms以内に生成されたことを意味します。
- p50は安定しているのにp99だけ高くなる場合、間欠的にトークン生成が停止する現象が発生しているシグナルです。
- すべてのパーセンタイルが一緒に上昇する場合、全体的なストリーミング速度の低下を意味します。
TPOTパーセンタイル個別ウィジェット
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート |
| フィルタ | タグフィルタ |
| アクション | 個別に見る、マージして見る、詳細を見る |
各パーセンタイルを個別ウィジェットで提供します。
| Percentile | Description |
|---|---|
p50 | 一般的なストリーミング速度。最も滑らかなストリーミングを提供するモデルを確認。 |
p75 | p50との差で上位25%リクエストのストリーミング速度低下を把握。 |
p95 | SLA基準ストリーミング速度メトリクス。 |
p99 | 最も遅い上位1%のトークン生成速度。間欠的な停止現象を点検。 |
TPOT分布比較
| Property | Value |
|---|---|
| チャートタイプ | ボックスプロット（x軸：モデル） |
| フィルタ | タグフィルタ（常時表示） |
| アクション | 詳細を見る |
タグ基準（モデルなど）別にTPOTの分布をボックスプロットで比較します。ボックス領域はp25〜p75、中央線は中央値、ウィスカーは最小値〜最大値です。
- 中央値が低くボックスが狭いモデルが、最も安定したストリーミング性能を提供します。
- ウィスカーが長く伸びたモデルは、間欠的にトークン生成が大幅に遅くなる現象が発生します。
総合性能比較
| Property | Value |
|---|---|
| チャートタイプ | 水平バーチャート（モデル別、3つのメトリクス） |
| フィルタ | タグフィルタ（常時表示） |
| アクション | 詳細を見る、p95/p99タブ切り替え |
モデル別の主要性能メトリクス3つを水平バーチャートで比較します。p95/p99タブを切り替えて、一般的な性能と最悪条件での性能をそれぞれ確認できます。
| Metric | Description | Direction |
|---|---|---|
TTFT | ユーザーが最初のレスポンスを受け取るまでの待機時間 | 低いほど良い |
TPOT | トークン1つが生成されるのにかかる時間（ストリーミング速度） | 低いほど良い |
Output TPS | 1秒あたりに生成される出力トークン数（全体処理量） | 高いほど良い |
3つのメトリクスを総合すると、「速く開始し、滑らかにストリーミングし、高い処理量を出すモデル」を一目で特定できます。
トークン
トークン使用パターンとキャッシュ効率をモニタリングするウィジェットグループです。
トークン使用量
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート（input、outputの2シリーズ） |
| フィルタ | タグフィルタ |
| アクション | 個別に見る、マージして見る、詳細を見る |
時間帯別の入力トークン数と出力トークン数の推移を表示します。入力トークンはプロンプトに含まれるトークン、出力トークンはモデルが生成したレスポンストークンです。
- 特定の時間帯にトークン使用量が急増する場合、トラフィック増加、プロンプト変更、異常リクエストの流入を点検する必要があります。
- 個別に見るでどのモデルやエージェントにトークン消費が集中しているかを確認できます。
リクエストあたりの平均トークン
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート（input、outputの2シリーズ） |
| フィルタ | タグフィルタ |
| アクション | 個別に見る、マージして見る、詳細を見る |
リクエスト1件あたりに使用された平均入力/出力トークン数の時間帯別推移を表示します。
- リクエストあたりの入力トークンが急増する場合、プロンプトの長さが長くなったか、長いコンテキストが含まれ始めた可能性があります。
- リクエストあたりの出力トークンが急増する場合、レスポンスの長さが増加したことを意味し、コスト増加に直接影響します。
出力トークン処理量
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート |
| フィルタ | タグフィルタ |
| アクション | 個別に見る、詳細を見る |
1秒あたりに生成される出力トークン数（Tokens Per Second）を示す処理量メトリクスです。
- 処理量が低下する区間は、モデルレスポンスのボトルネックやRate Limitの影響を点検する必要があります。
- トークン使用量と合わせて見ると、「トークンは多く使用しているが処理速度が遅い区間」を特定できます。
トークン使用分布
| Property | Value |
|---|---|
| チャートタイプ | ヒストグラム（タグ別グループ） |
| フィルタ | タグフィルタ（常時表示） |
| アクション | 詳細を見る |
タグ基準（モデルなど）別に入力/出力トークン総量を比較する分布チャートです。
- どのモデルが最も多くのトークンを消費しているかを一目で確認できます。
- 入力の比重が高いモデルは、プロンプト最適化によるコスト削減の余地があります。
- 出力の比重が高いモデルは、レスポンス長さの制限（
max_tokens）の調整を検討できます。
本日のトークン使用量
| Property | Value |
|---|---|
| チャートタイプ | 日次比較チャート（本日/前日） |
| フィルタ | なし |
| アクション | 日付比較 |
本日の累計トークン使用量（input + output）と前日同時間帯比の増減を表示します。
- 前日比でトークン消費速度が速い場合、トラフィック増加やプロンプトサイズの変化を点検する必要があります。
- Rate Limit上限や日次予算超過を事前に検知するのに活用できます。
キャッシュヒット率
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート（%） |
| フィルタ | タグフィルタ |
| アクション | 個別に見る、詳細を見る |
全体入力トークン中、キャッシュから取得したトークンの比率（%）を時間帯別に表示します。
- ヒット率が高いほど、プロンプトキャッシングが効果的に動作しており、コスト削減効果が大きいです。
- ヒット率が急激に低下する場合、プロンプト内容の変更、キャッシュTTLの満了、新しいタイプのリクエスト流入を点検する必要があります。
- 個別に見るでモデル別のキャッシュ効率を比較できます。
キャッシュヒット率 =（区間内のcached_tokens合計 / 区間内のinput_tokens合計）× 100
キャッシュヒット率分布
| Property | Value |
|---|---|
| チャートタイプ | ヒストグラム（タグ別） |
| フィルタ | タグフィルタ（常時表示） |
| アクション | 詳細を見る |
タグ基準（モデルなど）別にキャッシュヒット率（%）を比較する分布チャートです。
- ヒット率が高いモデルはキャッシングが十分に活用されており、低いモデルはキャッシング対象のプロンプト構造を点検する必要があります。
- モデル間のヒット率格差が大きい場合、キャッシング戦略をモデル別に差別化して追加コストを削減できます。
キャッシュ削減コスト
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート（$） |
| フィルタ | タグフィルタ |
| アクション | 個別に見る、詳細を見る |
プロンプトキャッシングにより実際に節約された金額（$）を時間帯別に表示します。キャッシュされたトークンは通常の入力トークンより低い単価が適用され、この差が削減コストとして算出されます。
- 削減コストが安定して発生していれば、キャッシング戦略が効果的に動作しているという意味です。
- 削減コストが減少する場合、キャッシュヒット率と合わせてキャッシュミスの増加有無を点検する必要があります。
- 個別に見るでどのモデルで最も大きな削減効果が発生しているかを確認できます。
キャッシュ削減コスト分布
| Property | Value |
|---|---|
| チャートタイプ | ヒストグラム（タグ別） |
| フィルタ | タグフィルタ（常時表示） |
| アクション | 詳細を見る |
タグ基準（モデルな ど）別にキャッシュ削減コスト（$）を比較する分布チャートです。
- 削減コストが大きいモデルはキャッシング効果が高いため、そのモデルのキャッシング設定を維持・強化することが有利です。
- 削減コストが低いモデルは、キャッシュヒット率と合わせてキャッシング対象のプロンプト構造の改善やキャッシュTTLの調整を検討できます。
コスト
LLM API使用コストをモニタリングするウィジェットグループです。
コスト使用量
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート（input、outputの2シリーズ） |
| フィルタ | タグフィルタ |
| アクション | 個別に見る、マージして見る、詳細を見る |
時間帯別の入力/出力コスト（$）推移を表示します。入力コストはプロンプト処理コスト、出力コストはレスポンス生成コストです。
- コストが急増する時間帯がある場合、該当区間のリクエスト量とリクエストあたりのトークン数を合わせて確認する必要があります。
- 入力コストと出力コストの比重を比較して、プロンプト最適化とレスポンス長さ制限のどちらに集中すべきか判断できます。
- 個別に見るでモデル別のコスト寄与度を比較できます。
リクエストあたりの平均コスト
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート（input、outputの2シリーズ） |
| フィルタ | タグフィルタ |
| アクション | 個別に見る、マージして見る、詳細を見る |
リクエスト1件あたりに発生する平均入力/出力コスト（$）の時間帯別推移を表示します。
- リクエストあたりのコストが急変する場合、モデル切り替え、プロバイダーの価格変更、プロンプトサイズの変化を点検する必要があります。
- 総コストは増加しているがリクエストあたりのコストに変動がない場合、単純にリクエスト量が増加したものなので、リクエスト量の管理に集中すれば良いです。
コスト使用分布
| Property | Value |
|---|---|
| チャートタイプ | ヒストグラム（タグ別グループ） |
| フィルタ | タグフィルタ（常時表示） |
| アクション | 詳細を見る |
タグ基準（モデルなど）別に入力/出力コスト総量を比較する分布チャートです。
- どのモデルが最も高いコストを占めているかを一目で確認できます。
- コストが高いモデルの使用頻度とリクエストあたりのトークンを点検して、コスト最適化対象を選定できます。
本日のコスト
| Property | Value |
|---|---|
| チャートタイプ | 日次比較チャート（本日/前日） |
| フィルタ | なし |
| アクション | 日付比較 |
本日の累計コスト（$）と前日同時間帯比の増減を表示します。
- 前日比でコスト消費速度が速い場合、リクエスト量の増加、モデル切り替え、プロンプトサイズの変化を点検する必要があります。
- 日次予算超過を事前に検知して対応措置を取ることができます。
エラー
LLM APIのエラー状況をモニタリングするウィジェットグループです。
エラー率分布
| Property | Value |
|---|---|
| チャートタイプ | 水平バーチャート |
| フィルタ | タグフィルタ |
| アクション | 個別に見る、マージして見る、詳細を見る |
タグ基準（モデルなど）別にエラー率（%）を水平バーチャートで比較します。エラー率は、該当グループの全体リクエスト中エラー（status_code 400以上）が占める比率です。
- 特定モデルやエージェントにエラーが集中しているかを素早く把握できます。
- エラー率が高いモデルは、プロバイダー障害、不正なパラメータ、Rate Limit超過などを点検する必要があります。
- 個別に見るで
Agent、Providerなどさまざまな基準でエラー原因を絞り込めます。
エラー件数
| Property | Value |
|---|---|
| チャートタイプ | スタックバーチャート |
| フィルタ | なし |
| アクション | 詳細を見る |
時間帯別のエラー件数をAPIエラーとプログラムエラーに区分して表示します。
- APIエラー。LLMプロバイダー側から返されたエラーで、Rate Limit超過、サーバーエラー、認証失敗などが該当します。
- プログラムエラー。クライアント側で発生したエラーで、レスポンスパース失敗、タイムアウト、接続エラーなどが該当します。
- エラータイプ別の推 移を通じて、問題の原因がプロバイダー側かクライアント側かを素早く区別できます。
ライブ観測
現在実行中のLLM呼び出しとTrajectoryを確認するウィジェットグループです。Trajectoryは、1つのLLM作業フローに参加したトランザクションを1つにまとめた単位です。2つのウィジェットのリスト画面は、SDKから直接照会した実行中データを使用するため、過去区間はありません。ダッシュボードを停止している場合や過去の時刻を表示している場合は、リストにつながる導線を提供しません。
アクティブLLM API
| Property | Value |
|---|---|
| チャートタイプ | スウォームチャート（モデル別トラック） |
| フィルタ | ダッシュボードアプリケーションフィルター |
| アクション | 詳細を見る、新しいウィンドウで開く |
現在実行中のLLM API呼び出しを、モデル別のトラック上にドットで表示します。1つのドットが1つの呼び出しであり、横位置はNormal、Slow、Very Slowの区間を表します。3つの区間の基準は、SDKオプションに設定した値に応じてデータが集計されます。
Very Slow区間にドットが積み上がる場合は、SDKに設定した基準より長く実行される呼び出しが特定のモデルやプロバイダーに偏っていないかを確認してください。- ウィジェット本文をクリックすると、長時間実行リストがモーダルで開きます。プロンプトの展開により実行中のシステムプロンプトと入力プロンプトを確認でき、リストで呼び出しを選択すると、その呼び出しが属するTrajectoryビューに移動して実行フロー全体を確認できます。
- ウィジェットヘッダーの詳細を見るボタンをクリックすると、同じリストを広い画面で開けます。モーダルヘッダーの新しいウィンドウで開くボタンをクリックすると、別のウィンドウで表示します。
アクティブトラジェクトリ
| Property | Value |
|---|---|
| チャートタイプ | 軌道チャート + 等級別件数リスト |
| フィルタ | ダッシュボードアプリケーションフィルター |
| アクション | 詳細を見る、新しいウィンドウで開く |
現在アクティブなTrajectory数と、各TrajectoryのStep数をLight、Middle、Heavyの等級に分けて表示します。等級はStepをどれだけ多く、繰り返し呼び出したかを表すものであり、速度や実行時間を意味しません。
- 所属するマルチトランザクショ ンのいずれか1つでも実行中であれば、そのTrajectoryをライブ状態として数えます。
- 等級の境界値は、SDKオプションに設定した基準に従います。
- 等級をクリックすると、その等級で絞り込んだTrajectoryリストが開きます。リストで行を選択すると、Trajectoryビューにつながります。
- 軌道チャートをクリックすると、等級で絞り込まないリスト全体が開きます。
Trajectoryリスト
リストは、Trajectory単位のグループヘッダーと、その下のトランザクション行で構成されます。グループヘッダーにはmtid、まとめられたトランザクション数、ユーザー、セッションを表示し、mtidのない単独フローは単独実行として表示します。リストはCSVでエクスポートできます。
| Column | Description |
|---|---|
Transaction | トランザクション名 |
| ステータス | トランザクションの進行状態（実行中・完了・失敗） |
mtid | Trajectoryをまとめるキー |
| ステップ | トランザクションが実行したステップ数 |
| エージェント | トランザクションが実行したAIサブエージェント数 |
| LLM呼び出し数 | トランザクション内で発生したLLM呼び出し数 |
| 経過 | トランザクション開始後の経過時間 |
| ユーザー | ログに付与されたuser_id |
| セッション | ログに付与されたsession_id |
リアルタイムプ ロンプト
| Property | Value |
|---|---|
| チャートタイプ | 表 |
| フィルタ | ダッシュボードアプリケーションフィルター |
| アクション | 更新、新しいウィンドウで開く |
終了時刻が最も新しいLLMトランザクション50件を、プロンプトとともに表で表示します。照会区間はダッシュボードの時刻設定に従い、5秒ごとに更新されます。
- タイトルの右側に、実際の照会区間と表に表示した件数（例：
直近50件）が表示されます。 - 表は更新時に画面を空にしません。ローディング表示は、更新ボタンを直接クリックした場合にのみ表示されます。
- プロンプト列は、そのトランザクションの最初のステップの入力と最後のステップの出力を1つのセルにまとめて表示し、評価結果があれば併せて表示します。プロンプトをクリックすると、該当するトランザクションのLLMトレース詳細が新しいウィンドウで開きます。
- 並べ替えの基準は終了時刻のみです。エラーで終了したトランザクションもそのまま表示され、その場合はレスポンスとトークン・コストが空になることがあります。
- ログの蓄積が数秒遅れるため、たった今終了したトランザクションは次の更新で一番上に表示されます。
このウィジェットはAIエージェントメインダッシュボード下部の1行全体にデフォルトで配置されています。編集可能なダッシュ ボードでは、ウィジェット追加メニューのLLM APIリクエストグループから選んで追加できます。
リファレンス
収集元フィールド
| Field | Description |
|---|---|
request_count | LLM APIコール件数 |
status_code | HTTPレスポンスステータスコード（2xx、4xx、5xx） |
latency | リクエスト開始〜レスポンス完了までの全体時間（ms） |
ttft | Time To First Token。リクエスト開始〜最初のトークン受信（ms） |
tpot | Time Per Output Token。出力トークン間の平均間隔（ms） |
input_tokens | 全体入力トークン数（cached含む） |
output_tokens | 出力トークン数 |
cached_tokens | キャッシュから取得した入力トークン数（input_tokensのサブセット） |
input_tokens_cost | 全体入力トークンコスト（$）。cached_tokens_cost含む |
output_tokens_cost | 出力トークンコスト（$） |
cached_tokens_cost | キャッシュトークンコスト（$） |
error_type | エラータイプ（api_error、program_error） |
ウィジェットグループサマリー
| Group | Widgets | Description |
|---|---|---|
| 要約件数 | 3 | 照会区間のトラジェクトリー・LLM API呼び出し・ツール呼び出しの総件数 |
| LLM APIリクエスト | 2 | リクエスト量とステータスコードのモニタリング |
| LLM APIレスポンス性能 | 8 | Latencyの推移と分布分析 |
| TTFT | 7 | 最初のトークン受信時間の分析 |
| TPOT | 7 | トークン生成速度の分析 |
| トークン | 9 | トークン使用パターンとキャッシュ効率の分析 |
| コスト | 4 | LLM APIコストのモニタリング |
| エラー | 2 | エラータイプ別状況分析 |
| ライブ観測 | 3 | 実行中のLLM呼び出しとTrajectoryの状況、直近に終了したトランザクションの把握 |
| 合計 | 45 |
用語
| Term | Description |
|---|---|
Latency | LLM APIリクエストを送信した時点からレスポンスが完全に完了するまでの全体所要時間（ms） |
TTFT | Time To First Token。リクエストを送信した後、最初のレスポンストークンが到着するまでの時間（ms） |
TPOT | Time Per Output Token。出力トークン1つが生成されるのにかかる平均時間（ms） |
Output TPS | Tokens Per Second。1秒あたりに生成される出力トークン数（tokens/s） |
パーセンタイル | データを大きさ順に並べたとき、該当パーセント以下にある値。例：p95 = 全体データの95%がこの値以下 |
キャッシュヒット率 | 全体入力トークン中、キャッシュから取得したトークンの比率（%）。値が大きいほどコスト削減効果が大きい |
タグフィルタ | Agent、Model、Provider、Operation基準でデータをフィルタリングする機能 |
プリセット | ウィジェット構成（種類、位置、サイズ）を保存した設定。ユーザー定義プリセットの作成可能 |
Trajectory | 1つのLLM作業フローに参加したトランザクションをmtid基準でまとめた単位。画面では「トラジェクトリー」と表記します。 |
ツール呼び出し | モデルが外部ツールを呼んだ呼び出し（tool use）。機能使用統計のtool_use項目として集計します。 |