LLM 메트릭 용어 사전

이 문서는 AI Agent Observability에서 사용하는 주요 메트릭과 개념을 정리한 용어 사전입니다. 대시보드, 토큰 추이, 비용 분석 등 여러 메뉴에서 공통으로 사용되는 지표의 정의와 단위를 확인할 수 있습니다.

LLM 성능 지표

Metric	Description
Latency	LLM API 요청부터 응답 완료까지 전체 소요 시간(ms)으로 사용자 체감 전체 대기 시간
TTFT	Time To First Token. 요청 후 첫 번째 응답 토큰 도착까지의 시간(ms)으로 스트리밍 환경에서 응답 시작 체감 시점
TPOT	Time Per Output Token. 출력 토큰 1개 생성 평균 시간(ms)으로 높을수록 응답이 끊기는 느낌
Output TPS	Tokens Per Second. 초당 출력 토큰 수로 모델 전체 처리량 지표

토큰 및 비용

Metric	Description
Input Tokens	프롬프트 전체 입력 토큰 수. Cached Tokens 포함
Output Tokens	모델 생성 응답 토큰 수. 비용에 직접 영향
Cached Tokens	캐시에서 가져온 입력 토큰 수. Input Tokens의 부분집합. 일반 입력 대비 낮은 단가 적용
Cache Hit Rate	전체 입력 토큰 중 캐시 적중 토큰 비율(%). 높을수록 비용 절감
I/O Ratio	전체 토큰 중 출력 토큰 비율(%). 워크로드 특성 파악용(입력 위주 vs 생성 위주)

백분위수

Percentile	Description
p50	전체 데이터의 50% 이하 값으로 일반 사용자 체감 성능
p75	전체 데이터의 75% 이하 값으로 p50 격차로 상위 요청 추가 지연 파악
p95	전체 데이터의 95% 이하 값으로 SLA 기준으로 주로 사용
p99	전체 데이터의 99% 이하 값으로 상위 1% 성능, 시스템 안정성 판단 기준

품질 평가 지표

Metric	Description
Hallucination	환각 점수. 거짓 정보 또는 컨텍스트 모순 정도로 낮을수록 좋음 (0.0 ~ 1.0)
Answer Relevance	답변 관련성 점수, 질문 적절 응답 여부로 높을수록 좋음 (0.0 ~ 1.0)
Toxicity	유해성 점수, 혐오·욕설·폭력·성적 콘텐츠 수준으로 낮을수록 좋음 (0.0 ~ 1.0)
Combined Judge	종합 위험도 max(hallucination, toxicity, 1 − answer_relevance) - 세 지표 중 최대 위험값. 낮을수록 좋음 (0.0 ~ 1.0)
Prompt Injection	프롬프트 인젝션 시도 탐지 정도로 낮을수록 좋음 (0.0 ~ 1.0)
Factuality	응답 사실 정확성 점수로 높을수록 좋음 (0.0 ~ 1.0)
PII Leak	개인식별정보(PII) 노출 정도
URL Scan	응답 내 URL 위험도
Eval Success	평가 성공 여부 (1 = 정상, 0 = judge 호출/파싱 실패)

태그 기반 필터

AI Agent Observability의 모든 데이터는 다음 태그 기준으로 필터링하거나 그룹화할 수 있습니다.

Tag	Description	Example
Agent	LLM 에이전트(애플리케이션 인스턴스)	llm-app-01, llm-app-02
Model	사용된 LLM 모델	gpt-4o, claude-sonnet-4-20250514
Provider	LLM API 프로바이더	api.openai.com, api.anthropic.com
Operation	사용자 지정 호출 단위 라벨 (chain/prompt/agent 이름 등) - 미지정 시 default. prompt_meta로 설정	checkout_chain, rag_query, default
Prompt Version	프롬프트/체인 버전	v1, v2, v3