프롬프트 비교

두 프롬프트를 나란히 놓고 호출량·비용·성능·응답 품질을 비교하는 메뉴입니다. 프롬프트를 수정한 뒤 변경이 실제로 성능과 비용을 개선했는지 정량적으로 검증하거나, 서로 다른 오퍼레이션·버전 간의 특성 차이를 분석하는 데 활용할 수 있습니다.

비교 대상은 오퍼레이션 + 프롬프트 버전 + 날짜의 조합으로 지정하며, 기준이 되는 쪽을 A, 비교 대상을 B로 둡니다. 보통 A에 기존 버전, B에 변경 버전을 놓고 차이를 확인합니다.

화면은 위에서 아래로 요약(호출·비용) → 프롬프트 Diff → 지표 비교 → 추이 비교 → 분포 비교 → 프롬프트 로그 순서로 구성되어, "무엇이 바뀌었는가"(Diff)부터 "그 변경이 어떤 결과를 냈는가"(지표·추이·로그)까지 따라갈 수 있습니다.

비교 조건 설정

상단 옵션바에서 비교할 두 프롬프트를 지정합니다.

• 기준 날짜 / 오퍼레이션 A / 프롬프트 버전 A: 기준이 되는 프롬프트(A)와 조회 날짜를 선택합니다.

• 비교 날짜 / 오퍼레이션 B / 프롬프트 버전 B: 비교 대상 프롬프트(B)와 조회 날짜를 선택합니다.

팁

A와 B는 서로 다른 날짜를 지정할 수 있어, 같은 프롬프트의 배포 전후를 다른 기간으로 비교할 수도 있습니다. 모든 위젯에서 A는 파란색, B는 보라색으로 일관되게 표시됩니다.

총 프롬프트 호출 수

Property	Value
차트 유형	막대 차트 (A vs B)
비교 대상	A(기준) · B(비교)
액션	마우스 오버 시 값 표시

선택한 두 프롬프트의 총 호출 수를 막대로 나란히 비교합니다. 각 막대에는 날짜 · 프롬프트 버전이 라벨로 표시됩니다.

• 호출 수 차이가 크면 평균 지표나 추이를 해석할 때 표본 규모 차이를 함께 고려하세요.

• 새 버전(B)의 호출 수가 빠르게 늘고 있다면 트래픽 전환(롤아웃)이 진행 중이라는 의미입니다.

프롬프트 관련 총 비용

Property	Value
차트 유형	막대 차트 (A vs B)
비교 대상	A(기준) · B(비교)
액션	마우스 오버 시 값 표시

선택한 두 프롬프트의 총 비용을 막대로 나란히 비교합니다.

• 호출 수가 비슷한데 총 비용 차이가 크면 프롬프트 길이나 모델 단가 차이가 원인일 수 있습니다.

• 호출당 비용은 아래 지표 비교의 호출당 비용 카드에서 표본 규모와 무관하게 비교할 수 있습니다.

시스템 프롬프트 Diff

Property	Value
차트 유형	텍스트 Diff (좌: A / 우: B)
액션	Side-by-side / Inline 보기 전환

A와 B의 시스템 프롬프트 원문을 줄 단위로 비교합니다. 추가된 줄과 삭제된 줄이 색상으로 구분되며, 우측 상단 아이콘으로 Side-by-side(좌우 분할)와 Inline(한 흐름) 보기를 전환할 수 있습니다.

• 이 위젯은 "무엇이 바뀌었는가"를, 아래의 지표·추이 위젯은 "그 변경이 어떤 결과를 냈는가"를 보여주므로 함께 해석하세요.

• 한쪽 버전의 프롬프트가 비어 있으면 신규 도입 또는 전면 교체된 버전임을 의미합니다.

지표 비교 카드

Property	Value
차트 유형	지표 카드 (A · B 값 병렬 표시)
비교 대상	A(기준) · B(비교)
액션	-

핵심 성능·비용·품질 지표를 카드별로 A와 B 값을 나란히 표시합니다.

Metric	Description
평균 Latency	요청 시작~응답 완료까지의 평균 시간
평균 TTFT	첫 토큰까지의 평균 시간 (체감 응답성)
평균 TPOT	출력 토큰당 평균 생성 간격 (스트리밍 속도)
호출당 비용 ($)	요청 1건당 평균 비용
에러율 (%)	호출 대비 에러 발생 비율
캐시 적중률	입력 토큰 중 캐시에서 가져온 토큰 비율

• A와 B의 값을 직접 대조하여, 변경이 각 지표를 개선했는지 악화시켰는지 한눈에 확인할 수 있습니다.

• 캐시 적중률이 오르면서 호출당 비용이 내려갔다면, 프롬프트 공통 prefix 증가로 캐싱 효율이 좋아졌을 가능성이 있습니다.

TTFT 추이 (A vs B)

Property	Value
차트 유형	라인 차트 (A, B 2개 시리즈)
비교 대상	A(기준) · B(비교)
액션	마우스 오버 시 값 표시

시간대별 평균 TTFT를 A·B로 겹쳐 표시합니다.

• 특정 시간대(예: 트래픽 피크)에서만 격차가 벌어지는지, 전 구간에서 고르게 차이가 나는지 확인하세요.

• 한쪽에서 간헐적 스파이크가 나타나면 큐 대기나 프로바이더 지연을 의심할 수 있습니다.

호출당 비용 추이 (A vs B)

Property	Value
차트 유형	라인 차트 (A, B 2개 시리즈)
비교 대상	A(기준) · B(비교)
액션	마우스 오버 시 값 표시

호출 1건당 비용의 시간대별 추이를 A·B로 비교합니다.

• 캐시 적중 패턴이나 출력 길이 변화가 호출당 비용에 미친 영향을 시간 흐름으로 확인할 수 있습니다.

• 평균값은 같아도 특정 구간에서만 비용이 튀는 패턴을 발견할 수 있습니다.

호출 볼륨 추이 (A vs B)

Property	Value
차트 유형	라인 차트 (A, B 2개 시리즈)
비교 대상	A(기준) · B(비교)
액션	마우스 오버 시 값 표시

두 프롬프트의 시간대별 호출량 추이를 비교합니다.

• 새 버전(B)으로의 트래픽 전환 진행 상황을 파악할 수 있습니다.
• 볼륨 차이가 큰 구간은 다른 지표를 해석할 때 표본 규모 차이의 근거가 됩니다.

에러 추이 (A vs B)

Property	Value
차트 유형	라인 차트 (A, B 2개 시리즈)
비교 대상	A(기준) · B(비교)
액션	마우스 오버 시 값 표시

시간대별 에러율 추이를 A·B로 비교합니다.

• 변경 직후 특정 시점에 에러가 몰렸는지, 안정적으로 낮게 유지되는지 확인하세요.

• B의 에러율이 A보다 높아지는 구간이 있으면 시스템 프롬프트 Diff에서 원인이 된 변경을 역추적하세요.

Finish Reason 분포

Property	Value
차트 유형	도넛 차트 (A · B 각각)
집계 단위	finish reason 값
액션	범례 항목 토글

A와 B 각각의 응답 종료 사유(finish reason) 분포를 도넛으로 나란히 표시합니다. 표시되는 값과 명칭은 프로바이더·모델에 따라 다를 수 있으며, WhaTap이 별도로 정의하지 않고 API가 내려준 값을 그대로 사용합니다.

• 길이 제한으로 인한 중단을 나타내는 값(예: length)의 비중이 B에서 줄었다면, 출력 제어가 개선되어 응답이 잘리는 경우가 감소했다는 의미입니다.

• 정상 종료를 나타내는 값(예: stop)의 비중 변화로 응답 완결성의 차이를 가늠할 수 있습니다.

노트

표시되는 finish reason 값은 사용하는 LLM 프로바이더·모델의 응답 스펙을 따릅니다. 각 값의 정확한 의미는 해당 프로바이더의 API 문서를 참고하세요.

기능 사용 비교

Property	Value
차트 유형	막대 차트 (A vs B)
비교 대상	A(기준) · B(비교)
액션	-

기능별 사용 비율을 A·B로 비교합니다.

• 프롬프트 변경(예: 예시 추가, 지시 강화)이 의도한 기능 사용 패턴 변화를 유도했는지 검증할 수 있습니다.

• 한 호출이 여러 기능을 동시에 사용할 수 있어 비율의 합은 100%가 아닐 수 있습니다.

모델 분포

Property	Value
차트 유형	100% 누적 가로 막대 (A · B 각 행)
비교 대상	A(기준) · B(비교)
액션	범례 항목 토글

각 프롬프트가 호출한 모델의 구성 비율을 A·B 행으로 비교합니다. 범례의 색상이 각 모델에 대응합니다.

• A와 B의 모델 구성이 다르면 지연·비용 차이가 프롬프트 변경 때문인지 모델 차이 때문인지 구분해 해석해야 합니다.

• 특정 모델 비중이 크게 달라졌다면, 라우팅 규칙이나 모델 지정이 변경되었는지 점검하세요.

프롬프트 로그 (A · B)

Property	Value
차트 유형	테이블 (A · B 각각)
액션	행 펼치기, 프롬프트 로그 이동

A와 B 각각의 최근 호출 로그를 테이블로 표시하여, 지표 차이가 실제 응답에서 어떻게 나타나는지 개별 사례로 확인할 수 있습니다.

Column	Description
시간	호출 발생 시각
프롬프트	입력(Input)과 응답(Output)의 요약
모델	사용된 LLM 모델명
토큰	전체 토큰 수
Latency	요청 시작 ~ 응답 완료 시간
비용	해당 호출의 비용

• 응답 품질 평가가 적용된 호출은 Eval 영역에 평가 항목별 점수(예: Hallucination, Factuality, Relevance, Toxicity, Prompt Injection, PII Leak, URL Scan, Judge)가 함께 표시됩니다. 평가 항목에 대한 자세한 내용은 응답 품질 분석 문서를 참조하세요.

• 각 테이블 우측 상단의 프롬프트 로그 이동 버튼으로 해당 프롬프트의 원본 로그로 이동할 수 있습니다.

참고

비교 대상 지정 방식

Term	Description
오퍼레이션	기능 단위의 호출 묶음 (예: cs_chat_support)
프롬프트 버전	해당 오퍼레이션에서 사용된 시스템 프롬프트 버전 (예: v3.0-structured)
날짜	각 대상을 조회할 기준 날짜 (A·B 서로 다르게 지정 가능)

• 비교 대상 후보를 먼저 찾으려면 프롬프트 분석, 응답 품질·안전성 관점의 평가가 필요하면 응답 품질 분석 메뉴를 활용하세요.

• 모든 위젯에서 A는 파란색, B는 보라색으로 표시됩니다.