本文へスキップ

LLMプロンプトログ

プロンプトログはLLM API呼び出しの詳細ログを照会・分析するメニューです。各呼び出しの入力(プロンプト)、出力(応答)、トークン使用量、コスト、パフォーマンス指標を個別件単位で確認できます。トークン推移やコスト分析で異常区間を発見した後、原因を特定するためにドリルダウンする用途で活用します。

ノート

このメニューにはログ読み取り権限が必要です。権限がない場合、メニューにアクセスできません。

プロンプトログ

画面構成

プロンプトログは上段オプションバー左側フィルターパネル右側メイン領域(トレンドチャート + ログリスト)の3段レイアウトで構成されます。

上段オプションバー

  • 時間範囲選択: 開始日時と終了日時を指定します。クイック選択オプション(直近5分、10分、30分、1時間、3時間、6時間、12時間)を提供します。秒単位およびミリ秒単位まで指定できます。
  • マージ基準選択: ログをマージする基準を選択します。
    • トランザクション: 1つのトランザクション内で発生したすべてのLLM呼び出しを1行にマージします。呼び出し数(Call Count)とエラー数(Error Count)が併せて表示されます。
    • ステップ: 個別LLM呼び出し(Step)単位で1行ずつ表示します。各呼び出しのモデル、temperature、TTFTなどの詳細情報を確認できます。
  • フィルター: 検索クエリを入力して特定条件のログのみ照会できます。

左側フィルターパネル

ログフィールドベースのタグフィルターを提供します。各フィールドの値リストが表示され、クリックしてフィルターを適用できます。

トレンドチャート

選択した時間範囲のログ件数を時間帯別バーチャートで表示します。チャートを折りたたんだり展開してスペースを調整でき、チャートとログリスト間の区切り線をドラッグして比率を調整できます。

ログリスト

LLM呼び出しログをテーブル形式で表示します。マージ基準(トランザクション/ステップ)によって表示されるカラムが異なります。

基本カラム

ColumnDescription
ステータスエラー有無を色で表示します。エラーが発生した行は赤色で表示されます。
Timeログ発生時刻
OperationLLM呼び出しのOperation Type
Promptプロンプト入力と応答の要約。クリックするとトランザクションプロファイルポップアウトが開きます。
Model使用されたLLMモデル名
ProviderLLMプロバイダー(例:api.openai.com)
Tokens全トークン数(Input + Output)
Latencyリクエスト開始〜レスポンス完了時間(ms)
Cost該当呼び出しのコスト($)

トランザクションモード専用カラム

ColumnDescription
Call Countトランザクション内のLLM呼び出し数
Error Countトランザクション内でエラーが発生した呼び出し数

ステップモード専用カラム

ColumnDescription
Stepトランザクション内のLLM呼び出し順序インデックス
Step ID個別LLM呼び出しの固有識別子
temperatureLLM呼び出し時に設定されたtemperatureパラメータ値
TTFTTime To First Token(ms)。ストリーミングモードでのみ表示されます。

追加表示可能カラム

カラム設定で追加表示できます。

ColumnDescription
Input Tokens入力トークン数
Output Tokens出力トークン数
Cached Tokensキャッシュから取得したトークン数
Reasoning Tokens推論(Reasoning)トークン数
Input Cost入力コスト($)
Output Cost出力コスト($)
Streamストリーミングモード有無(True/False)
Features有効化された機能フラグ
Agentエージェント名
Errorエラーメッセージ(エラー発生時のみ表示)
Error Typeエラー種別(api_errorprogram_errorなど)
TXIDトランザクションID

ログ詳細表示

ログリストでPromptカラムをクリックすると、トランザクションプロファイルポップアウトが開きます。該当LLM呼び出しを含む全トランザクションの詳細情報を確認できます。

  • トランザクションモード: 全トランザクションビューに移動します。
  • ステップモード: 該当Stepがハイライトされた状態でトランザクションビューが開きます。

トランザクションプロファイルでLLM HTTPCステップをクリックすると、プロンプト入力/出力の原本、トークン/コストの詳細、GPU相関分析まで確認できます。詳細はLLM API分析ドキュメントを参照してください。

マージ基準の詳細

トランザクションマージ

1つのトランザクション(@txid基準)内で発生したすべてのLLM呼び出しを1行にマージします。

  • Prompt表示: 最初のStepの入力(Input)と最後のStepの出力(Output)が表示されます。
  • トークン/コスト: トランザクション内の全呼び出しの合計が表示されます。
  • モデル: トランザクションの代表モデルが表示されます。
  • Call Count / Error Count: 総呼び出し数とエラー発生呼び出し数が表示されます。

ステップマージ

個別LLM呼び出し(@step_id基準)単位で1行ずつ表示します。

  • Prompt表示: 該当Stepの入力(Input Message)と出力(Output Message)が表示されます。
  • トークン/コスト: 該当呼び出しの個別値が表示されます。
  • 追加情報: temperature、TTFT、Stream有無など呼び出し単位の詳細情報を確認できます。

他のメニューからの遷移

プロンプトログは他の分析メニューからドリルダウンする際に頻繁に使用されます。

遷移パス説明
トークン推移 > 時系列チャートをクリック該当時点の時間範囲が自動設定され、プロンプトログが開きます。
トークン推移 > ボックスプロットのモデルをクリック該当モデルのフィルターが自動適用され、プロンプトログが開きます。

逆に、プロンプトログでPromptカラムをクリックすると、トランザクションプロファイルに移動し、トランザクション内のすべてのステップ(DB、HTTP、LLMなど)を時系列で確認できます。

参考

ログタイプ

プロンプトログは内部的に#LlmCallLogカテゴリのログを照会します。

Log TypeDescription
llm_step_status個別LLM呼び出しの最終結果(モデル、トークン、コスト、パフォーマンスなど)
llm_tx_statusトランザクション単位の集計結果(呼び出し数、エラー数、合算トークン/コスト)
system_messageシステムメッセージ(プロンプトのシステムロール部分)
input_message入力メッセージ(ユーザープロンプト)
output_message出力メッセージ(モデル応答)
toolツール呼び出し(Function calling)
tool_resultツール呼び出し結果