プロンプト分析
アプリケーションで使用中のプロンプトを識別し、プロンプト単位で呼び出し数・トークン・レイテンシ（TTFT）・コスト・エラーを分析するメニューです。どのプロンプトが最も多く使われているか、どのプロンプトが遅く、コストが高く、不安定かを把握し、最適化の対象を選定するために活用できます。
呼び出しは**オペレーション（operation）とプロンプトバージョン（prompt version）**の2つの単位で識別されます。オペレーションは機能単位の呼び出しのまとまりで、プロンプトバージョンは該当オペレーションで使用されたシステムプロンプトのバージョンです。1つのオペレーションは複数のプロンプトバージョンを持つことができ、チャートの大部分はプロンプトバージョン単位で集計されます。
画面は上から下へサマリーカード → 呼び出し・推移 → 分布・エラー → 機能使用 → テーブルの順に構成されており、状況の把握から個別オペレーションの点検まで自然にたどることができます。上段オプションバーで時間範囲とフィルターを設定してから、ウィジェットのデータを照会します。
サマリーカード
選択した時間範囲の主要な指標を一目で確認できるカードです。
固有プロンプト数
選択した時間範囲内で1回以上呼び出された、異なるプロンプトの数を表示します。カード下部には、それらのプロンプトの総呼び出し数もあわせて表示されます。
- プロンプト運用の規模を一目で把握するための出発点です。
- 固有プロンプト数が普段より急増した場合は、意図しないプロンプトの変種がデプロイされていないかを確認してください。
総プロンプト呼び出し数
選択した時間範囲内に発生したプロンプト呼び出しの総回数を表示します。カード下部にはプロンプト当たりの平均呼び出し数もあわせて表示されます。プロンプト当たりの平均とあわせて見ることで、少数のプロンプトに呼び出しが集中しているのか、均等に分散しているのかを推し量ることができます。
プロンプト当たり平均 = 総プロンプト呼び出し数 / 固有プロンプト数
プロンプト関連の総コスト
選択した時間範囲にLLM API呼び出しで発生した総コスト（$）を表示します。カード下部には最もコストが高いオペレーションのバージョン名と金額、全体に対する比重（%）もあわせて表示されます。
- 比重が高い単一のプロンプトは、コスト最適化の優先対象です。
- 特定のプロンプトが全体コストの大部分を占める場合は、そのプロンプトのトークンの長さやモデルの選択を優先的に検討してください。
プロンプト別の呼び出し量TOP 10
| Property | Value |
|---|---|
| チャートタイプ | 縦棒バーチャート |
| 集計単位 | プロンプトバージョン |
| アクション | 表示指標の選択（右上のドロップダウン） |
呼び出し量が多い上位10件のプロンプトバージョンを、バーの長さで並べて表示します。右上のドロップダウンで表示指標（呼び出し数、総トークン、総コスト）を切り替えられます。
- 特定のバージョンに呼び出しが集中している場合、そのバージョンが全体の性能・コストに与える影響が大きいため、優先的に管理してください。
- 新規にデプロイしたバージョンが上位に素早く入ってく る場合は、トラフィックの切り替え（ロールアウト）が正常に進行しているという意味です。
プロンプト使用推移
| Property | Value |
|---|---|
| チャートタイプ | 積み上げエリアチャート（stacked area） |
| 集計単位 | プロンプトバージョン |
| アクション | 凡例項目のトグル |
時間帯別に各プロンプトバージョンの呼び出し量の推移を積み上げエリアで表示します。凡例の色が各プロンプトバージョンに対応し、エリアの厚さがそのバージョンの呼び出し量を示します。
- エリア全体の厚さの変化から、時間帯別の総呼び出し量の流れを把握できます。
- 特定の時間帯に特定のバージョンの比重が急変した場合は、トラフィックパターンの変化や新バージョンのデプロイの影響を確認してください。
- 新しいバージョンのデプロイ直後にそのエリアが急速に厚くなる場合は、トラフィックの切り替えが進行中であるという意味です。
プロンプト別のTTFT分布
| Property | Value |
|---|---|
| チャートタイプ | 箱ひげ図（X軸: プロンプトバージョン） |
| 集計単位 | プロンプトバージョン |
| アクション | 詳細表示 |
プロンプトバージョン別の**TTFT（Time To First Token、最初のトークンまでの時間）**の分布を箱ひげ図で比較します。ボックスの領域はp25～p75（中間50%の範囲）、中央の線は中央値、ひげは最小値～最大値を示します。
- 中央値が低くボックスが狭いバージョンが、最も安定して速い初期レスポンスを提供します。
- ひげが長く伸びているバージョンは断続的に極端な初期遅延が発生するため、入力の長さやモデルの負荷を確認してください。
Finish Reason分布
| Property | Value |
|---|---|
| チャートタイプ | ドーナツチャート |
| 集計単位 | 終了理由（length / stop / none） |
| アクション | 凡例項目のトグル |
LLM APIがレスポンスで返す終了理由（finish reason）の値をそのまま集計し、分布として表示します。表示される値と名称はプロバイダー・モデルによって異なる場合があり、WhaTapが独自に定義するのではなく、APIが返した値をそのまま使用します。
- 正常終了を示す値（例:
stop）の比重が大部分であれば、レスポンスが意図どおりに完了している という意味です。 - 長さ制限による中断を示す値（例:
length）の比重が高い場合は、最大トークン（max_tokens）の設定が小さすぎてレスポンスが途中で切れていないかを確認してください。 - 終了理由が空、または記録されていない呼び出しは、別の値（例:
none）としてまとめて表示される場合があります。
表示されるfinish reasonの値は、使用するLLMプロバイダー・モデルのレスポンス仕様に従います。各値の正確な意味は、該当プロバイダーのAPIドキュメントを参照してください。
プロンプト別のエラー率
| Property | Value |
|---|---|
| チャートタイプ | 縦棒バーチャート（X軸: プロンプトバージョン） |
| 集計単位 | プロンプトバージョン |
| アクション | 詳細表示 |
プロンプトバージョン別の、呼び出しに対するエラーの発生率（%）を表示します。
- エラー率が高いバージョンは、誤ったツール定義、スキーマの不一致、トークン超過などが原因である可能性があるため、オペレーション一覧でそのバージョンの指標もあわせて確認してください。
- 失敗したリクエストにもコストが発生するため、エラー率が高いバージョンを改善すると、コスト削減にも直接的な効果があります。
エラー率 = エラー呼び出し数 / 全呼び出し数 x 100
オペレーション別の機能使用比率
| Property | Value |
|---|---|
| チャートタイプ | カードグリッド（オペレーション別カード） |
| 集計単位 | オペレーション |
| アクション | - |
オペレーションごとにカードが1枚生成され、カード上部にオペレーション名と総呼び出し数が表示されます。カード内には、そのオペレーションの呼び出しで各機能（例: reasoning）が使用された比率がバーとパーセントで表示されます。
- 1回の呼び出しで複数の機能を同時に使用できるため、比率の合計は100%にならない場合があり、使用されていない機能は表示されません。
- 機能使用のパターンから、オペレーションの動作方式を素早く理解し、意図と異なる機能の使用を発見できます。
オペレーション一覧
| Property | Value |
|---|---|
| チャートタイプ | テーブル |
| 集計単位 | オペレーション + プロンプトバージョン |
| アクション | ソート |
期間内に識別されたオペレーションをプロンプトバージョン単位で一覧表示し、主要な指標をテーブルにまとめます。同じオペレーションでも、プロンプトバージョンが異なる場合は別の行として表示されます。
| Column | Description |
|---|---|
オペレーション | 機能単位の呼び出しのまとまりの名前 |
プロンプトバージョン | 該当オペレーションで使用されたシステムプロンプトのバージョン |
プロンプトプレビュー | システムプロンプト原文の冒頭部分（ない場合は—） |
呼び出し数 | 期間内の総呼び出し回数 |
平均input | 呼び出し当たりの平均入力トークン数 |
平均output | 呼び出し当たり の平均出力トークン数 |
平均TTFT | 最初のトークンまでの平均時間（ms） |
平均コスト | 呼び出し1件当たりの平均コスト（¢） |
エラー率（%） | 呼び出しに対するエラーの発生率 |
- 既定のソートは呼び出し数の降順で、カラムヘッダーをクリックしてソート基準を変更できます。
平均コストが高い行は、リクエスト当たりの単価が高いプロンプトであるため、プロンプトの長さの短縮やモデルの検討を考慮してください。プロンプトプレビューで、同じオペレーションのバージョン間のプロンプトの違いを素早く比較できます。
参考
プロンプトの識別方式
| 単位 | 説明 |
|---|---|
| オペレーション | 機能単位の呼び出しのまとまり（例: cs_chat_support） |
| プロンプトバージョン | 該当オペレーションで使用されたシステムプロンプトのバージョン（例: v2.1-ko） |
- 1つのオペレーションは複数のプロンプトバージョンを持つことができ、TOP 10・使用推 移・TTFT分布・エラー率のウィジェットはプロンプトバージョン単位で集計されます。
- プロンプトバージョン間の性能差を定量的に比較する場合はプロンプト比較メニューを、レスポンス品質・安全性の評価が必要な場合はレスポンス品質分析メニューをあわせて活用してください。