本文へスキップ

LLM ダッシュボード

総合状況ダッシュボードは、LLM（Large Language Model）APIのリクエスト量、レスポンス性能、トークン使用量、コスト、エラー状況を1つの画面でリアルタイムにモニタリングするメニューです。画面上部にはリアルタイム状態（アクティブトランザクションスピード、LLMアクティブステータス、アクティブLLM API、アクティブトラジェクトリー、ヒットマップ）とパーセンタイルTTFT、パーセンタイルTPOTがあります。中段にはLLM APIリクエスト数、トークン使用分布、総合性能比較、出力トークン処理量が、最下段にはトークン使用量、リクエストあたりの平均トークン、本日の累計コストが配置されており、現状把握から原因分析まで追跡できます。このレイアウトはデフォルトプリセットとして保存されており、追加設定なしですぐにモニタリングを開始できます。

LLM ダッシュボード

LLMダッシュボードは、デフォルトプリセット基準で5つのエリアで構成されます。

エリア名前説明
①オプションバー照会時間、エージェントフィルタ、画面モード、プリセットを設定します。
②リアルタイム状態アクティブトランザクションスピード、LLMアクティブステータス、アクティブLLM API、アクティブトラジェクトリー、ヒットマップで現在の状態を確認します。
③LLM性能メトリクスパーセンタイルTTFT、パーセンタイルTPOT、LLM APIリクエスト数、出力トークン処理量でレスポンス性能を把握します。
④モデル別比較トークン使用分布、総合性能比較でモデル間の違いを確認します。
⑤トークンおよびコストトークン使用量、リクエストあたりの平均トークン、本日の累計コストを追跡します。

オプションバー​

ダッシュボード上部のオプションバーで照会時間、エージェントフィルタ、画面モード（固定/スクロール）、プリセットを設定します。各機能の詳細な使い方はダッシュボード共通機能を参照してください。

チャートウィジェットの照会区間は、選択した時刻を基準とした直近10分です。アクティブトランザクションスピード、LLMアクティブステータス、アクティブLLM API、アクティブトラジェクトリーは選択した時刻に進行中の状態を、本日の累計コストはその日の0時から選択した時刻までの累計コストを表示します。リアルタイムモードでは5秒ごとに更新されます。

リアルタイム状態​

アプリケーションのリアルタイム状態を表示します。

  • アクティブトランザクションスピード。1秒あたりのリクエスト数（RPS）とレスポンス数（TPS）、進行中のトランザクション件数をリアルタイムで表示します。

  • LLMアクティブステータス。現在処理中のLLMコールをオペレーションタイプ別に分類して表示します。

  • アクティブLLM API。現在実行中のLLM API呼び出しをモデル別のトラック上にドットで表示し、経過時間に応じてNormal、Slow、Very Slowの区間に分けます。モデルの行をクリックすると、そのモデルの実行中の呼び出し一覧が開きます。

  • アクティブトラジェクトリー。進行中のトラジェクトリー数と、Light、Middle、Heavyの等級別分布を表示します。リアルタイムモードで軌道チャートをクリックするとトラジェクトリー一覧全体が、等級をクリックするとその等級の一覧が開きます。一覧では、停止ボタンで実行中のトラジェクトリーを停止できます（プロジェクト修正権限が必要）。詳細はトラジェクトリービューと停止ドキュメントを参照してください。

  • ヒットマップ。完了したトランザクションのレスポンス時間を時間軸（X）と経過時間軸（Y）にドットで表示します。ドットが上にあるほどレスポンスが遅いトランザクションです。ヒットマップでエリアをドラッグすると、その区間のトランザクション一覧とLLMトレース詳細が新しいウィンドウで開きます。

LLM性能メトリクス​

LLM APIの主要な性能メトリクスをまとめて確認します。

  • LLM APIリクエスト数。時間帯別のリクエスト件数（バー）とエラー率（ライン）を合わせて表示します。リクエストの急増とエラー率の上昇が同時に発生すると、Rate Limit超過やプロバイダーの障害を疑うことができます。

  • パーセンタイルTTFT。最初のトークンが到着するまでの時間（Time To First Token）をp50・p75・p95・p99パーセンタイルで表示します。TTFTが高いと、ユーザーが体感する初期待機時間が長くなります。

  • パーセンタイルTPOT。トークン1つを生成するのにかかる時間（Time Per Output Token）をパーセンタイルで表示します。TPOTが高いとストリーミングレスポンスが途切れたり遅くなったりする可能性があります。

  • 出力トークン処理量。1秒あたりの出力トークン数（tok/s）を表示します。処理量が急激に低下するとプロバイダー側の性能低下を疑うことができます。

モデル別比較​

モデル別の性能・トークンを比較します。

  • 総合性能比較。モデル別TTFT p95、TPOT p95を1つのチャートで比較します。モデルの切り替えやバージョンアップグレードの効果を判断する際に役立ちます。

  • トークン使用分布。モデル別の入力・出力トークン使用量をアプリケーション、プロバイダー、オペレーション、エンドポイント基準で比較します。

トークンおよびコスト​

トークン使用量とコストを追跡します。

  • トークン使用量。時間帯別の入力（Input）・出力（Output）トークン使用量をトレンドチャートで表示します。

  • リクエストあたりの平均トークン。リクエスト1件あたりの平均入力・出力トークン数を表示します。プロンプト最適化の効果を確認する際に役立ちます。

  • 本日の累計コスト。本日の累計コストと前日比の増減を表示します。コストの異常兆候を迅速に検知できます。

ノート

ウィジェット編集、ウィジェットオプション、プリセットなどダッシュボードの共通機能はダッシュボード共通機能を参照してください。

各ウィジェットのチャートタイプ、フィルタ、活用方法はLLMダッシュボードウィジェットを参照してください。

エラー率分布とステータスコード別リクエスト件数は、LLM API性能ダッシュボードで確認できます。

最終修正：