本文へスキップ

LLM ダッシュボード

LLMダッシュボードは、LLM（Large Language Model）APIのリクエスト量、レスポンス性能、トークン使用量、コスト、エラー状況を1つの画面でリアルタイムにモニタリングするメニューです。画面の上から下へリアルタイム状態 → リクエストと性能 → トークンとコスト → 比較とエラーの順にウィジェットが配置されており、現状把握から原因分析まで自然に追跡できます。このレイアウトはデフォルトプリセットとして保存されており、追加設定なしですぐにモニタリングを開始できます。

LLM ダッシュボード

LLMダッシュボードは、デフォルトプリセット基準で5つのエリアで構成されます。

エリア名前説明
①オプションバー照会時間、エージェントフィルタ、画面モード、プリセットを設定します。
②リアルタイム状態現在のトランザクション速度、LLMコールタイプ、アクティブHTTPC、ヒットマップをリアルタイムで確認します。
③LLM性能メトリクスAPIリクエスト数、TTFT・TPOTパーセンタイル、出力トークン処理量でLLMレスポンス品質を把握します。
④トークンおよびコスト入出力トークン使用量、リクエストあたりの平均トークン、本日のコストを追跡します。
⑤モデル別比較・分析モデル間の性能・トークン・エラーを比較し、ステータスコード別リクエスト件数を確認します。

オプションバー​

ダッシュボード上部のオプションバーで照会時間、エージェントフィルタ、画面モード（固定/スクロール）、プリセットを設定します。各機能の詳細な使い方はダッシュボード共通機能を参照してください。

リアルタイム状態​

アプリケーションのリアルタイム状態を表示します。

  • アクティブTXスピード — 1秒あたりのリクエスト数（RPS）とレスポンス数（TPS）、進行中のトランザクション件数をリアルタイムで表示します。

  • LLMアクティブステータス — 現在処理中のLLMコールをタイプ別（chat、completionなど）に分類して表示します。

  • アクティブHTTPC — 外部LLM APIへのHTTPリクエストのリアルタイム状態を速度区間（Very Slow、Slow、Normal）で分類します。

  • ヒットマップ — 完了したトランザクションのレスポンス時間を時間軸（X）と経過時間軸（Y）にドットで表示します。ドットが上にあるほどレスポンスが遅いトランザクションです。

LLM性能メトリクス​

LLM APIの主要な性能メトリクスをまとめて確認します。

  • LLM APIリクエスト数 — 時間帯別のリクエスト件数（バー）とエラー率（ライン）を合わせて表示します。リクエストの急増とエラー率の上昇が同時に発生すると、Rate Limit超過やプロバイダーの障害を疑うことができます。

  • パーセンタイルTTFT — 最初のトークンが到着するまでの時間（Time To First Token）をp50・p75・p95・p99パーセンタイルで表示します。TTFTが高いと、ユーザーが体感する初期待機時間が長くなります。

  • パーセンタイルTPOT — トークン1つを生成するのにかかる時間（Time Per Output Token）をパーセンタイルで表示します。TPOTが高いとストリーミングレスポンスが途切れたり遅くなったりする可能性があります。

  • 出力トークン処理量 — 1秒あたりの出力トークン数（tok/s）を表示します。処理量が急激に低下するとプロバイダー側の性能低下を疑うことができます。

トークンおよびコスト​

トークン使用量とコストを追跡します。

  • トークン使用量 — 時間帯別の入力（Input）・出力（Output）トークン使用量をトレンドチャートで表示します。

  • リクエストあたりの平均トークン — リクエスト1件あたりの平均入力・出力トークン数を表示します。プロンプト最適化の効果を確認する際に役立ちます。

  • 本日のコスト — 本日の累計コストと前日比の増減を表示します。コストの異常兆候を迅速に検知できます。

モデル別比較・分析​

モデル別の性能・トークン・エラーを比較します。

  • 総合性能比較 — モデル別TTFT p95、TPOT p95を1つのチャートで比較します。モデルの切り替えやバージョンアップグレードの効果を判断する際に役立ちます。

  • トークン使用分布 — モデル別の入力・出力トークン使用量をエージェント、プロバイダー、オペレーション、エンドポイント基準で比較します。

  • エラー率分布 — モデル別のエラー率をエージェント、プロバイダー、オペレーション、エンドポイント基準で比較します。特定モデルにエラーが集中しているかを素早く確認できます。

  • ステータスコード別リクエスト件数 — HTTPステータスコード（4xx、5xx）別のリクエスト件数を時間帯別に表示します。

ノート

ウィジェット編集、ウィジェットオプション、プリセットなどダッシュボードの共通機能はダッシュボード共通機能を参照してください。

各ウィジェットのチャートタイプ、フィルタ、活用方法はLLMダッシュボードウィジェットを参照してください。

最終修正：