LLM API性能ダッシュボード
LLM API性能ダッシュボードは、LLM API呼び出しのリクエスト量、応答性能、トークン、コスト、エラーを1つの画面で表示するメニューです。上から下へ実行中の呼び出しと応答時間 → リクエスト量とストリーミング性能 → トークンとコスト → 分布とエラーの順に配置されており、現在遅い呼び出しがあるかをまず確認してから、原因となる指標へ掘り下げる流れをたどれます。
左サイドバーでダッシュボード > LLM API性能ダッシュボードをクリックして移動します。
このダッシュボードは読み取り専用です。ウィジェットの追加・削除や位置の変更はできず、プリセットも使用できません。ウィジェット構成を自分で決めたい場合は、総合状況ダッシュボードを使用してください。ここに配置されているウィジェットは、ウィジェットリファレンスで1つずつ確認できます。
画面構成
LLM API性能ダッシュボードは、オプションバーとその下の4行に配置された13個のウィジェットで構成されます。
| 領域 | ウィジェット | 説明 |
|---|---|---|
| ① | オプションバー | 最上部で照会時刻とアプリケーションフィルターを設定します。 |
| ② | アクティブLLM API · Latencyパーセンタイル | 1行目に、照会時刻を基準に実行中のLLM API呼び出しと応答時間のパーセンタイルを表示します。 |
| ③ | LLM APIリクエスト数 · TPOTパーセンタイル · 出力トークン処理量 · TTFTパーセンタイル | 2行目に、リクエスト量とエラー率、トークン生成速度、処理量、最初のトークンまでにかかった時間を表示します。 |
| ④ | トークン使用量 · リクエストあたりの平均トークン · 本日の累計コスト | 3行目に、トークン使用の推移と本日の累計コストを表示します。 |
| ⑤ | キャッシュヒット率 · トークン使用分布 · エラー率分布 · ステータスコード別リクエスト件数 | 最下行に、キャッシュ効率、基準別のトークン分布、エラー分布を表示します。 |
オプションバー
上部のオプションバーで、照会時刻とアプリケーションフィルターを設定します。各機能の詳しい使い方は、ダッシュボード共通機能ドキュメントを参照してください。
- 照会区間は、選択した時刻を基準とした直近10分です。本日の累計コストは例外で、今日の0時から照会時刻までを表示します。
- リアルタイムモードでは、区間が5秒ごとに前に進み、ウィジェットも併せて更新されます。リアルタイムモニタリングを停止するか過去の時刻を指定すると、その時点の10分区間が固定されます。
- アプリケーションフィルターで対象を絞り込めます。リアルタイムモードでは、変更したフィルターがすぐに反映されます。リアルタイムモニタリングを停止した状態でフィルターを変更すると適用ボタンが表示され、このボタンをクリックすると反映されます。
- アプリケーション選択ボックスの右側にあるTotal、Active、Inactiveは、リストに表示されたアプリケーション数と、そのうちのアクティブ・非アクティブなアプリケーション数です。Inactiveは非アクティブSDKの表示がオンの場合にのみ表示され、リストにアプリケーションの代わりに種類やサーバーを表示すると、ActiveとInactiveは表示されません。
実行中の呼び出しと応答時間
- アクティブLLM API: 照会時刻に実行中のLLM API呼び出しを、モデル別のトラック上にドットで表示しま す。1つのドットが1つの呼び出しであり、横位置はSDKオプションに設定した基準で分けた
Normal、Slow、Very Slowの区間を表します。モデル名の下には呼び出し数が表示され、ドットが区間に収まりきらない場合は、その横に描画できなかった数を(+N)で表示します。モデルが多くウィジェットの高さに収まりきらない場合は、残りのモデルは最後の1行にまとめられ、その他N個のモデルと表示されます。モデルの行をクリックすると該当モデルの実行中の呼び出しリストが開き、呼び出しを選択するとその呼び出しが属するトラジェクトリービューに移動します。ウィジェットヘッダーの詳細アイコンをクリックすると、すべてのモデルの実行中の呼び出しリストを広い画面で開きます。このアイコンはリアルタイムモードでのみ表示されます。 - Latencyパーセンタイル: LLM APIの応答時間(Latency)のp50、p75、p95、p99の推移を表示します。Latencyは、リクエストを送信した時点から応答が完全に終了するまでにかかった全体の時間です。p50とp99の差が大きい場合は、ほとんどのリクエストは速いものの、一部のリクエストで深刻な遅延が発生していることを意味します。
実行中の呼び出しリストは、ダッシュボードの照会時刻に関係なく、現在時点の呼び出しを表示します。リストの構成はウィジェットリファレンスのアクティブLLM APIの項目を、トラジェクトリービューで実行フローを確認して停止する方法はトラジェクトリービューと停止ドキュメント を参照してください。
リクエスト量とストリーミング性能
- LLM APIリクエスト数: 時間帯別のリクエスト件数(棒)とエラー率(線)を併せて表示します。リクエスト量が急増すると同時にエラー率も上昇する場合は、Rate Limit超過やプロバイダー障害が疑われます。
- TPOTパーセンタイル: 出力トークン1つを生成するのにかかる時間(Time Per Output Token)のp50、p75、p95、p99の推移を表示します。
- 出力トークン処理量: 1秒あたりの出力トークン数(tok/s)を表示します。処理量が低下する区間では、モデル応答のボトルネックやRate Limitの影響を点検してください。
- TTFTパーセンタイル: 最初のトークンが到着するまでにかかった時間(Time To First Token)のp50、p75、p95、p99の推移を表示します。
トークンとコスト
- トークン使用量: 時間帯別の入力(Input)・出力(Output)トークン使用量を表示します。
- リクエストあたりの平均トークン: リクエスト1件あたりの平均入力・出力トークン数の時間帯別の推移を表示します。
- 本日の累計コスト: 今日の0時から照会時刻までの累計コストと、比較対象日の同じ時間帯に対する増減を表示します。比較対象日はデフォルトで1日前であり、ウィジェットヘッダーの比較選択ボックスで変更できます。金額が$1未満の場合は¢単位で表示します。
分布とエラー
- キャッシュヒット率: 全入力トークンのうち、キャッシュから取得したトークンの比率(%)を時間帯別に表示します。最初は1つにまとめたマージ表示で表示されます。ウィジェットヘッダーのマージ/個別に表示アイコンをクリックして個別表示に切り替えると、アプリケーション別に分けて表示し、ヘッダーに表示される基準ボタンで基準を変更できます。
- トークン使用分布: 基準別の入力・出力トークンの総量を棒で比較します。デフォルトの基準はモデルです。
- エラー率分布: 基準別のエラー率(%)を横棒で比較します。デフォルトの基準はモデルです。
- ステータスコード別リクエスト件数: 時間帯別のリクエスト件数をHTTPステータスコード4xx、5xxに分けて表示します。成功(2xx)リクエストは表示しません。
トークン使用分布とエラー率分布は、ウィジェットヘッダーで比較基準をアプリケーション、モデル、プロバイダー、オペレーション、エンドポ イントのいずれかに変更できます。ウィジェットの幅が狭い場合は、一部の基準ボタンが**+3**のように残りの数を表示したボタンの中に折りたたまれます。
LLM APIリクエスト数、トークン使用量、リクエストあたりの平均トークン、出力トークン処理量も最初はマージ表示で表示され、マージ/個別に表示アイコンをクリックして個別表示に切り替えられます。このときの最初の基準はモデルであり、ヘッダーの基準ボタンで他の基準を選択できます。
エラー率分布とステータスコード別リクエスト件数は、総合状況ダッシュボードのデフォルトプリセットに含まれていません。エラーの状況はこのダッシュボードで確認するか、総合状況ダッシュボードに2つのウィジェットを追加して確認してください。
関連ドキュメント
- 総合状況ダッシュボード: ウィジェットを自分で構成するダッシュボード
- AIエージェントメインダッシュボード: AIエージェントの実行状況の確認
- ダッシュボード共通機能: 照会時間、アプリケーションフィルター、ウィジェットオプションの使い方
- ウィジェットリファレンス: ウィジェット別のチャートタイプと活用方法
- トラジェクトリービューと停止: 実行中のトラジェクトリーの確認と停止
- LLMメトリクス用語辞典: Latency、TTFT、TPOT、パーセンタイルなどの指標の定義と単位