프롬프트 분석
애플리케이션에서 사용 중인 프롬프트를 식별하고, 프롬프트 단위로 호출량·토큰·지연(TTFT)·비용·에러를 분석하는 메뉴입니다. 어떤 프롬프트가 가장 많이 쓰이는지, 어떤 프롬프트가 느리고 비싸고 불안정한지 파악하여 최적화 대상을 선정하는 데 활용할 수 있습니다.
호출은 오퍼레이션(operation) 과 프롬프트 버전(prompt version) 의 두 단위로 식별됩니다. 오퍼레이션은 기능 단위의 호출 묶음이고, 프롬프트 버전은 해당 오퍼레이션에서 사용된 시스템 프롬프트의 버전입니다. 하나의 오퍼레이션은 여러 프롬프트 버전을 가질 수 있으며, 차트 대부분은 프롬프트 버전 단위로 집계됩니다.
화면은 위에서 아래로 요약 카드 → 호출·추이 → 분포·에러 → 기능 사용 → 테이블 순서로 구성되어, 현황 파악부터 개별 오퍼레이션 점검까지 자연스럽게 따라갈 수 있습니다. 상단 옵션바에서 시간 범위와 필터를 설정한 뒤 위젯 데이터를 조회합니다.
요약 카드
선택한 시간 범위의 핵심 지표를 한눈에 보여주는 카드입니다.
고유 프롬프트 수
선택한 시간 범위 내 1회 이상 호출된 서로 다른 프롬프트의 개수를 표시합니다. 카드 하단에는 해당 프롬프트들의 총 호출 수가 함께 표시됩니다.
- 프롬프트 운영 규모를 한눈에 파악하는 출발점입니다.
- 고유 프롬프트 수가 평소보다 급증하면 의도하지 않은 프롬프트 변형이 배포되었을 가능성을 점검하세요.
총 프롬프트 호출 수
선택한 시간 범위 내 발생한 전체 프롬프트 호출 횟수를 표시합니다. 카드 하단에는 프롬프트당 평균 호출 수가 함께 표시됩니다. 프롬프트당 평균과 함께 보면 소수의 프롬프트에 호출이 집중되어 있는지, 고르게 분산되어 있는지 가늠할 수 있습니다.
프롬프트당 평균 = 총 프롬프트 호출 수 / 고유 프롬프트 수
프롬프트 관련 총 비용
선택한 시간 범위 LLM API 호출로 발생한 총 비용($)을 표시합니다. 카드 하단에는 가장 비싼 오퍼레이션의 버전명과 금액, 전체 대비 비중(%)이 함께 표시됩니다.
- 비중이 높은 단일 프롬프트는 비용 최적화의 우선 대상입니다.
- 특정 프롬프트가 전체 비용의 큰 부분을 차지하면, 해당 프롬프트의 토큰 길이나 모델 선택을 우선 검토하세요.
프롬프트별 호출량 TOP 10
| Property | Value |
|---|---|
| 차트 유형 | 세로 막대 차트 |
| 집계 단위 | 프롬프트 버전 |
| 액션 | 표시 지표 선택 (우측 상단 드롭다운) |
호출량이 많은 상위 10개 프롬프트 버전을 막대 길이로 정렬해 보여줍니다. 우측 상단 드롭다운에서 표시 지표(호출 수, 총 토큰 , 총 비용)를 전환할 수 있습니다.
- 특정 버전에 호출이 집중되어 있다면, 그 버전이 전체 성능·비용에 미치는 영향이 크므로 우선적으로 관리하세요.
- 신규 배포 버전이 상위권에 빠르게 진입하면 트래픽 전환(롤아웃)이 정상적으로 진행되고 있다는 의미입니다.
프롬프트 사용 추이
| Property | Value |
|---|---|
| 차트 유형 | 누적 영역 차트(stacked area) |
| 집계 단위 | 프롬프트 버전 |
| 액션 | 범례 항목 토글 |
시간대별로 각 프롬프트 버전의 호출량 추이를 누적 영역으로 표시합니다. 범례의 색상이 각 프롬프트 버전에 대응하며, 영역의 두께가 해당 버전의 호출량을 나타냅니다.
- 전체 영역의 두께 변화로 시간대별 총 호출량의 흐름을 파악할 수 있습니다.
- 특정 시간대에 특정 버전의 비중이 급변하면 트래픽 패턴 변화나 신규 버전 배포의 영향을 점검하세요.
- 새 버전 배포 직후 해당 영역이 빠르게 두꺼워지면 트래픽 전환이 진행 중이라는 의미입니다.
프롬프트별 TTFT 분포
| Property | Value |
|---|---|
| 차트 유형 | 박스플롯 (x축: 프롬프트 버전) |
| 집계 단위 | 프롬프트 버전 |
| 액션 | 상세 보기 |
프롬프트 버전별 TTFT(Time To First Token, 첫 토큰까지의 시간) 분포를 박스플롯으로 비교합니다. 박스 영역은 p25 ~ p75(중간 50% 범위), 중앙 선은 중앙값, 위스커는 최솟값 ~ 최댓값을 나타냅니다.
- 중앙값이 낮고 박스가 좁은 버전이 가장 안정적으로 빠른 초기 응답을 제공합니다.
- 위스커가 길게 늘어진 버전은 간헐적으로 극단적인 초기 지연이 발생하므로, 입력 길이나 모델 부하를 점검하세요.
Finish Reason 분포
| Property | Value |
|---|---|
| 차트 유형 | 도넛 차트 |
| 집계 단위 | 종료 사유 (length / stop / none) |
| 액션 | 범례 항목 토글 |
LLM API가 응답에 반환하는 종료 사유(finish reason) 값을 그대로 집계하여 분포로 표시합니다. 표시되는 값과 명칭은 프로바이더·모델에 따라 다를 수 있으며, WhaTap이 별도로 정의하지 않고 API가 내려준 값을 그대로 사용합니다.
- 정상 종료를 나타내는 값(예:
stop)의 비중이 대부분이라면 응답이 의도대로 마무리되고 있다는 의미입니다. - 길이 제한으로 인한 중단을 나타내는 값(예:
length)의 비중이 높다면, 최대 토큰(max_tokens) 설정이 너무 작아 응답이 중간에 잘리고 있지 않은지 점검하세요. - 종료 사유가 비어 있거나 기록되지 않은 호출은 별도 값(예:
none)으로 묶여 표시될 수 있습니다.
표시되는 finish reason 값은 사용하는 LLM 프로바이더·모 델의 응답 스펙을 따릅니다. 각 값의 정확한 의미는 해당 프로바이더의 API 문서를 참고하세요.
프롬프트별 에러율
| Property | Value |
|---|---|
| 차트 유형 | 세로 막대 차트 (x축: 프롬프트 버전) |
| 집계 단위 | 프롬프트 버전 |
| 액션 | 상세 보기 |
프롬프트 버전별 호출 대비 에러 발생 비율(%)을 표시합니다.
- 에러율이 높은 버전은 잘못된 툴 정의, 스키마 불일치, 토큰 초과 등이 원인일 수 있으므로 오퍼레이션 목록에서 해당 버전의 지표를 함께 확인하세요.
- 실패한 요청에도 비용이 발생하므로, 에러율이 높은 버전을 개선하면 비용 절감에도 직접적인 효과가 있습니다.
에러율 = 에러 호출 수 / 전체 호출 수 x 100
오퍼레이션별 기능 사용 비율
| Property | Value |
|---|---|
| 차트 유형 | 카드 그리드 (오퍼레이션별 카드) |
| 집계 단위 | 오퍼레이션 |
| 액션 | - |
오퍼레이션마다 카드 한 장이 생성되며, 카드 상단에 오퍼레이션 이름과 총 호출 수가 표시됩니다. 카드 안에는 해당 오퍼레이션의 호출에서 각 기능(예: reasoning)이 사용된 비율이 막대와 퍼센트로 표시됩니다.
- 한 호출이 여러 기능을 동시에 사용할 수 있어 비율의 합은 100%가 아닐 수 있으며, 사용하지 않은 기능은 표시되지 않습니다.
- 기능 사용 패턴을 통해 오퍼레이션의 동작 방식을 빠르게 이해하고, 의도와 다른 기능 사용을 발견할 수 있습니다.
오퍼레이션 목록
| Property | Value |
|---|---|
| 차트 유형 | 테이블 |
| 집계 단위 | 오퍼레이션 + 프롬프트 버전 |
| 액션 | 정렬 |
기간 내 식별된 오퍼레이션을 프롬프트 버전 단위로 나열하고, 핵심 지표를 테이블로 정리합니다. 동일 오퍼레이션이라도 프롬프트 버전이 다르면 별도의 행으로 표시됩니다.
| Column | Description |
|---|---|
오퍼레이션 | 기능 단위의 호출 묶음 이름 |
프롬프트 버전 | 해당 오퍼레이션에서 사용된 시스템 프롬프트 버전 |
프롬프트 미리보기 | 시스템 프롬프트 원문의 앞부분 (없으면 —) |
호출 수 | 기간 내 총 호출 횟수 |
평균 input | 호출당 평균 입력 토큰 수 |
평균 output | 호출당 평균 출력 토큰 수 |
평균 TTFT | 첫 토큰까지의 평균 시간(ms) |
평균 비용 | 호출 1건당 평균 비용(¢) |
에러율 (%) | 호출 대비 에러 발생 비율 |
- 기본 정렬은 호출 수 내림차순이며, 컬럼 헤더를 클릭해 정렬 기준을 변경할 수 있습니다.
평균 비용이 높은 행은 요청당 단가가 비싼 프롬프트이므로, 프롬프트 길이 축소나 모델 검토를 고려하세요.프롬프트 미리보기로 동일 오퍼레이션의 버전 간 프롬프트 차이를 빠르게 비교할 수 있습니다.
참고
프롬프트 식별 방식
| 단위 | 설명 |
|---|---|
| 오퍼레이션 | 기능 단위의 호출 묶음 (예: cs_chat_support) |
| 프롬프트 버전 | 해당 오퍼레이션에서 사용된 시스템 프롬프트의 버전 (예: v2.1-ko) |
- 하나의 오퍼레이션은 여러 프롬프트 버전을 가질 수 있으며, TOP 10·사용 추이·TTFT 분포·에러율 위젯은 프롬프트 버전 단위로 집계됩니다.
- 프롬프트 버전 간 성능 차이를 정량 비교하려면 프롬프트 비교 메뉴를, 응답 품질·안전성 평가가 필요하면 응답 품질 분석 메뉴를 함께 활용하세요.