응답 품질 분석

LLM이 생성한 응답의 품질과 안전성을 자동 평가하여, 할루시네이션, 유해성, PII 유출, 프롬프트 인젝션, 사실성, 답변 적절성 등의 위험을 카테고리별로 모니터링하는 메뉴입니다. 호출량, 비용, 지연 같은 운영 지표만으로는 드러나지 않는 "응답 내용 자체가 믿을 만하고 안전한가"를 진단하는 데 활용합니다.

평가는 정규식, NLI, LLM Judge 등 여러 평가기를 조합한 하이브리드 방식으로 수행되며, 비용 통제를 위해 전체 호출 중 일부를 샘플링하여 평가합니다. 각 평가 항목은 점수로 산출되고, 위젯의 위반 기준(임계값) 을 기준으로 위반 여부가 집계됩니다.

화면은 위에서 아래로 요약 → 위반 추이 및 히트맵 → 점수 분포 및 모델 비교 → 시간대 히트맵 → 위반 케이스 순서로 구성되어, 전체 현황 파악부터 개별 위반 사례 확인까지 따라갈 수 있습니다. 상단 옵션바에서 시간 범위와 필터를 설정한 뒤 위젯 데이터를 조회합니다.

요약 카드

선택한 시간 범위의 핵심 품질 지표를 한눈에 보여주는 카드입니다.

평가율

전체 LLM 호출 중 품질 평가가 수행된 호출의 비율을 표시합니다. 카드 하단에는 평가 LLM 호출 수와 전체 호출 수가 함께 표시됩니다. (예를 들어 평가 LLM 호출 170 / 134.8K)

• 평가는 비용이 발생하므로 샘플링 비율 내에서 운영됩니다. 평가율이 낮으면 표본이 작아 다른 위젯의 비율 해석에 주의가 필요합니다.

응답 품질

평가된 응답의 종합 품질 점수를 표시합니다.

• 여러 평가 항목을 종합한 대표 지표로, 추세가 하락하면 품질 저하 신호로 해석하세요.

할루시네이션 의심율

할루시네이션 점수가 기준 이상인 호출의 비율을 표시합니다. 카드 하단에는 판정 기준과 해당 호출 수가 함께 표시됩니다. (예를 들어 score ≥ 0.5 11.4K)

• RAG, 검색 기반 응답에서 사실과 다른 내용이 생성되는 정도를 나타냅니다. 비율이 상승하면 컨텍스트 구성이나 모델을 점검하세요.

사실성

응답이 사실에 부합하는 정도(Factuality)의 평균 수준을 표시합니다.

• 값이 높을수록 응답이 사실에 충실합니다. 할루시네이션 의심율과 함께 보면 사실 왜곡의 전반적인 경향을 파악할 수 있습니다.

유해성

유해(Toxicity)로 평가된 응답의 비율을 표시합니다.

• 사용자에게 노출되면 안 되는 공격적이거나 유해한 표현의 발생 정도를 모니터링합니다. 값이 급증하면 위반 케이스에서 실제 응답을 확인하세요.

카테고리별 위반 추이

Property	Value
차트 유형	누적 영역 차트(stacked area)
집계 단위	평가 카테고리
액션	위반 기준(임계값) 선택, 범례 항목 토글

시간대별로 각 위험 카테고리의 위반 발생량 추이를 누적 영역으로 표시합니다. 범례의 색상이 각 카테고리(할루시네이션, 유해성, PII 유출, 프롬프트 인젝션, 사실성, 답변 적절성)에 대응합니다.

• 우측 상단의 위반 기준 드롭다운으로 위반으로 집계할 점수 임계값을 조정할 수 있습니다.

• 특정 시점에 특정 카테고리가 급증했다면 배포, 트래픽 변화와 연관 지어 원인을 추적하세요.

오퍼레이션 × 카테고리 위반율 히트맵

Property	Value
차트 유형	히트맵 테이블 (행: 오퍼레이션, 열: 카테고리)
집계 단위	오퍼레이션 × 카테고리
액션	위반 기준(임계값) 선택

행은 오퍼레이션, 열은 위험 카테고리이며, 각 셀에 해당 조합의 위반율(%)이 표시됩니다. 위반율이 높을수록 붉은 계열, 낮을수록 녹색 계열로 표시됩니다.

• "어떤 오퍼레이션이 어떤 위험에 취약한가"를 한눈에 짚어내는 위젯입니다.

• 예를 들어 특정 오퍼레이션의 답변 적절성 열이 붉게 나타나면, 해당 프롬프트가 질문 의도와 어긋난 응답을 자주 생성하고 있다는 의미입니다.

• 우측 상단의 위반 기준 드롭다운으로 임계값을 조정하면 셀 색상과 값이 함께 갱신됩니다.

할루시네이션 점수 분포

Property	Value
차트 유형	히스토그램 (x축: 점수 구간, y축: 평가 호출 수)
집계 단위	점수 구간 (0 ~ 10% … 100%)
액션	마우스 오버 시 값 표시

할루시네이션 평가 점수의 분포를 점수 구간별 호출 수로 표시합니다.

• 점수가 낮은 구간(0 ~ 10%)에 분포가 몰려 있으면 대부분의 응답에서 할루시네이션이 의심되지 않는다는 의미입니다.

• 높은 점수 구간(특히 100%)에 꼬리가 두껍게 나타나면 사실 왜곡이 의심되는 응답이 일정량 존재하므로 위반 케이스에서 실제 사례를 확인하세요.

모델별 품질 비교

Property	Value
차트 유형	막대 차트 (x축: 모델)
집계 단위	모델
액션	마우스 오버 시 값 표시

모델별 응답 품질 점수를 막대로 비교합니다.

• 품질 점수가 낮은 모델은 동일 워크로드에서 위반을 더 많이 유발할 수 있습니다.

• 비용, 지연 지표와 함께 검토하여, 품질 대비 효율이 좋은 모델로의 전환을 판단하세요.

사실성 점수 분포

Property	Value
차트 유형	히스토그램 (x축: 점수 구간, y축: 평가 호출 수)
집계 단위	점수 구간 (0 ~ 10% … 100%)
액션	마우스 오버 시 값 표시

사실성(Factuality) 평가 점수의 분포를 점수 구간별 호출 수로 표시합니다.

• 점수가 높은 구간(특히 100%)에 분포가 몰려 있으면 대부분의 응답이 사실에 충실하다는 의미입니다.

• 낮은 점수 구간(0 ~ 10%)의 비중이 두껍다면 사실과 다른 응답이 일정량 존재하므로, 할루시네이션 점수 분포와 함께 해석하세요.

시간대별 위반 히트맵

Property	Value
차트 유형	히트맵 (요일 × 시간대)
집계 단위	요일(Sun ~ Sat) × 시간(0 ~ 23)
액션	위반 기준(임계값) 선택

요일(세로)과 시간대(가로)의 격자로 위반 발생 밀도를 표시합니다. 색이 진한 셀일수록 해당 시간대에 위반이 집중되어 있음을 의미합니다.

• 특정 요일, 시간대(예를 들어 평일 오후)에 위반이 몰린다면 트래픽 부하나 특정 사용자 패턴과의 연관성을 점검하세요.

• 우측 상단의 위반 기준 드롭다운으로 임계값을 조정할 수 있습니다.

위반 케이스

Property	Value
차트 유형	테이블
액션	위반 기준(임계값) 선택, 행 펼치기

평가 결과 위반으로 판정된 개별 호출을 행 단위로 나열합니다. 통계가 아닌 실제 사례를 직접 확인하기 위한 위젯입니다.

Column	Description
시간	호출 발생 시각
오퍼레이션	위반이 발생한 오퍼레이션
프롬프트	입력(Input)과 응답(Output)의 요약
모델	사용된 LLM 모델명
프로바이더	LLM 프로바이더
토큰	전체 토큰 수
Latency	요청 시작 ~ 응답 완료 시간
비용	해당 호출의 비용

• 행을 펼치면 입력, 응답 원문과 함께 Eval 영역에 평가 항목별 점수가 표시됩니다. (Hallucination, Factuality, Relevance, Toxicity, Prompt Injection, PII Leak, URL Scan, Judge)

• 우측 상단의 위반 기준 드롭다운으로 위반으로 표시할 임계값을 조정할 수 있습니다.

참고

평가 카테고리

화면의 한글 카테고리명과 Eval 영역의 평가 항목은 다음과 같이 대응됩니다.

Category	Eval Item	Description
할루시네이션	Hallucination	컨텍스트에 없는 내용을 생성한 정도
사실성	Factuality	응답이 사실에 부합하는 정도
답변 적절성	Relevance	응답이 질문 의도에 부합하는 정도
유해성	Toxicity	공격적이거나 유해한 표현 포함 정도
프롬프트 인젝션	Prompt Injection	시스템 프롬프트 탈취 및 우회 시도
PII 유출	PII Leak	개인식별정보 노출 정도
-	URL Scan	응답에 포함된 URL의 위험 여부
-	Judge	LLM Judge 종합 판정 점수

위반 기준(임계값)

• 카테고리별 위반 추이, 위반율 히트맵, 시간대별 위반 히트맵, 위반 케이스 위젯은 우측 상단에서 위반 기준(점수 임계값)을 선택할 수 있습니다.

• 임계값을 조정하면 해당 위젯이 위반으로 집계하는 기준이 바뀌며 데이터가 함께 갱신됩니다.

• 평가는 전체 호출 중 일부를 샘플링하여 수행되므로 위반율은 평가된 호출을 기준으로 산출됩니다.