プロンプト比較
2つのプロンプトを並べて、呼び出し数・コスト・性能・レスポンス品質を比較するメニューです。プロンプトを修正した後、その変更が実際に性能とコストを改善したかを定量的に検証したり、異なるオペレーション・バージョン間の特性の違いを分析したりするために活用できます。
比較対象はオペレーション + プロンプトバージョン + 日付の組み合わせで指定し、基準となる側をA、比較対象をBとします。通常はAに既存バージョン、Bに変更バージョンを置いて差分を確認します。
画面は上から下へサマリー（呼び出し・コスト） → プロンプトDiff → 指標比較 → 推移比較 → 分布比較 → プロンプトログの順に構成されており、「何が変わったのか」（Diff）から「その変更がどのような結果をもたらしたのか」（指標・推移・ログ）までたどることができます。
比較条件の設定
上段オプションバーで比較する2つのプロンプトを指定します。
-
基準日 / オペレーションA / プロンプトバージョンA: 基準となるプロンプト（A）と照会する日付を選択します。
-
比較日 / オペレーションB / プロンプトバージョンB: 比較対象のプロンプト（B）と照会する日付を選択します。
AとBには異なる日付を指定できるため、同じプロンプトのデプロイ前後を異なる期間で比較することもできます。すべてのウィジェットで、Aは青色、Bは紫色で一貫して表示されます。
総プロンプト呼び出し数
| Property | Value |
|---|---|
| チャートタイプ | バーチャート（A vs B） |
| 比較対象 | A（基準）・B（比較） |
| アクション | マウスオーバー時に値を表示 |
選択した2つのプロンプトの総呼び出し数をバーで並べて比較します。各バーには日付 · プロンプトバージョンがラベルとして表示されます。
-
呼び出し数の差が大きい場合は、平均指標や推移を解釈する際にサンプル規模の差もあわせて考慮してください。
-
新しいバージョン（B）の呼び出し数が急速に増えている場合は、トラフィックの切り替え（ロールアウト）が進行中であるという意味です。
プロンプト関連の総コスト
| Property | Value |
|---|---|
| チャートタイプ | バーチャート（A vs B） |
| 比較対象 | A（基準）・B（比較） |
| アクション | マウスオーバー時に値を表示 |
選択した2つのプロンプトの総コストをバーで並べて比較します。
-
呼び出し数が同程度なのに総コストの差が大きい場合は、プロンプトの長さやモデルの単価の違いが原因である可能性があります。
-
呼び出し当たりのコストは、下の指標比較の
呼び出し当たりコストカードで、サンプル規模に関係なく比較できます。
システムプロンプトDiff
| Property | Value |
|---|---|
| チャートタイプ | テキストDiff（左: A / 右: B） |
| アクション | Side-by-side / Inline表示の切り替え |
AとBのシステムプロンプトの原文を行単位で比較します。追加された行と削除された行が色で区別され、右上のアイコンでSide-by-side（左右分割）とInline（1つの流れ）の表示を切り替えられます。
-
このウィジェットは「何が変わったのか」を、下の指標・推移ウィジェットは「その変更がどのような結果をもたらしたのか」を示すため、あわせて解釈してください。
-
一方のバージョンのプロンプトが空の場合は、新規導入または全面的に置き換えられたバージョンであることを意味します。
指標比較カード
| Property | Value |
|---|---|
| チャートタイプ | 指標カード（A・Bの値を並列表示） |
| 比較対象 | A（基準）・B（比較） |
| アクション | - |
主要な性能・コスト・品質の指標を、カードごとにAとBの値を並べて表示します。
| Metric | Description |
|---|---|
| 平均Latency | リクエスト開始～レスポンス完了までの平均時間 |
| 平均TTFT | 最初のトークンまでの平均時間（体感の応答性） |
| 平均TPOT | 出力トークン当たりの平均生成間隔（ストリーミング速度） |
| 呼び出し当たりコスト（$） | リクエスト1件当たりの平均コスト |
| エラー率（%） | 呼び出しに対するエラーの発生率 |
| キャッシュヒット率 | 入力トークンのうちキャッシュから取得したトークンの割合 |
-
AとBの値を直接対照することで、変更が各指標を改善したのか悪化させたのかを一目で確認できます。
-
キャッシュヒット率が上がりながら呼び出し当たりコストが下がった場合は、プロンプトの共通prefixが増えてキャッシュ効率が良くなった可能性があります。
TTFT推移（A vs B）
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート（A、Bの2系列） |
| 比較対象 | A（基準）・B（比較） |
| アクション | マウスオーバー時に値を表示 |
時間帯別の平均TTFTをA・Bで重ねて表示します。
-
特定の時間帯（例: トラフィックのピーク）だけで差が開くのか、全区間で均等に差があるのかを確認してください。
-
一方で断続的なスパイクが現れる場合は、キュー待ちやプロバイダーの遅延が疑われます。
呼び出し当たりコスト推移（A vs B）
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート（A、Bの2系列） |
| 比較対象 | A（基準）・B（比較） |
| アクション | マウスオーバー時に値を表示 |
呼び出し1件当たりのコストの時間帯別推移をA・Bで比較します。
-
キャッシュヒットのパターンや出力の長さの変化が、呼び出し当たりコストに与えた影響を時間の流れで確認できます。
-
平均値は同じでも、特定の区間だけコストが跳ね上がるパターンを発見できます。
呼び出しボリューム推移（A vs B）
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート（A、Bの2系列） |
| 比較対象 | A（基準）・B（比較） |
| アクション | マウスオーバー時に値を表示 |
2つのプロンプトの時間帯別の呼び出し量の推移 を比較します。
- 新しいバージョン（B）へのトラフィック切り替えの進行状況を把握できます。
- ボリュームの差が大きい区間は、他の指標を解釈する際のサンプル規模の差の根拠になります。
エラー推移（A vs B）
| Property | Value |
|---|---|
| チャートタイプ | ラインチャート（A、Bの2系列） |
| 比較対象 | A（基準）・B（比較） |
| アクション | マウスオーバー時に値を表示 |
時間帯別のエラー率の推移をA・Bで比較します。
-
変更直後の特定の時点にエラーが集中したのか、安定して低く維持されているのかを確認してください。
-
Bのエラー率がAより高くなる区間がある場合は、システムプロンプトDiffで原因となった変更を逆にたどってください。
Finish Reason分布
| Property | Value |
|---|---|
| チャートタイプ | ドーナツチャート（A・Bそれぞれ） |
| 集計単位 | finish reasonの値 |
| アクション | 凡例項目のトグル |
AとBそれぞれのレスポンス終了理由（finish reason）の 分布をドーナツで並べて表示します。表示される値と名称はプロバイダー・モデルによって異なる場合があり、WhaTapが独自に定義するのではなく、APIが返した値をそのまま使用します。
-
長さ制限による中断を示す値（例:
length）の比重がBで減った場合は、出力の制御が改善され、レスポンスが途中で切れるケースが減ったという意味です。 -
正常終了を示す値（例:
stop）の比重の変化から、レスポンスの完結性の違いを推し量ることができます。
表示されるfinish reasonの値は、使用するLLMプロバイダー・モデルのレスポンス仕様に従います。各値の正確な意味は、該当プロバイダーのAPIドキュメントを参照してください。
機能使用の比較
| Property | Value |
|---|---|
| チャートタイプ | バーチャート（A vs B） |
| 比較対象 | A（基準）・B（比較） |
| アクション | - |
機能別の使用比率をA・Bで比較します。
-
プロンプトの変更（例: 例示の追加、指示の強化）が、意図した機能使用パターンの変化を導いたかを検証できます。
-
1回の呼び出しで複数の機能を同時に使用できるため、比率の合計は100%にならない場合があります。
モデル分布
| Property | Value |
|---|---|
| チャートタイプ | 100%積み上げ横棒（A・Bの各行） |
| 比較対象 | A（基準）・B（比較） |
| アクション | 凡例項目のトグル |
各プロンプトが呼び出したモデルの構成比率をA・Bの行で比較します。凡例の色が各モデルに対応します。
-
AとBのモデル構成が異なる場合は、レイテンシ・コストの差がプロンプトの変更によるものか、モデルの違いによるものかを区別して解釈する必要があります。
-
特定のモデルの比重が大きく変わった場合は、ルーティングルールやモデル指定が変更されていないかを確認してください。
プロンプトログ（A・B）
| Property | Value |
|---|---|
| チャートタイプ | テーブル（A・Bそれぞれ） |
| アクション | 行の展開、プロンプトログへの移動 |
AとBそれぞれの最近の呼び出しログをテーブルで表示し、指標の差が実際のレスポンスにどう現れているかを個別の事例で確認できます。
| Column | Description |
|---|---|
時間 | 呼び出しが発生した時刻 |
プロンプト | 入力（Input）とレスポンス（Output）の要約 |
モデル | 使用されたLLMモデル名 |
トークン | 全トークン数 |
Latency | リクエスト開始～レスポンス完了までの時間 |
コスト | その呼び出しのコスト |
-
レスポンス品質評価が適用された呼び出しは、
Eval領域に評価項目別のスコア（例: Hallucination、Factuality、Relevance、Toxicity、Prompt Injection、PII Leak、URL Scan、Judge）もあわせて表示されます。評価項目の詳細はレスポンス品質分析のドキュメントを参照してください。 -
各テーブル右上のプロンプトログへの移動ボタンで、該当プロンプトの元のログに移動できます。
参考
比較対象の指定方法
| Term | Description |
|---|---|
| オペレーション | 機能単位の呼び出しのまとまり（例: cs_chat_support） |
| プロンプトバージョン | 該当オペレーションで使用されたシステムプロンプトのバージョン（例: v3.0-structured） |
| 日付 | 各対象を照会する基準日（A・Bで異なる指定が可能） |
-
比較対象の候補をまず探す場合はプロンプト分析を、レスポンス品質・安全性の観点での評価が必要な場合はレスポンス品質分析メニューを活用してください。
-
すべてのウィジェットで、Aは青色、Bは紫色で表示されます。