본문으로 건너뛰기

AI Agent Observability

제품명과 용어가 바뀌었습니다

LLM Observability의 제품명이 AI Agent Observability로 바뀌었습니다. 함께 「에이전트」라는 말이 가리키던 대상도 셋으로 나뉘었습니다.

가리키는 대상바뀐 표기
모니터링 대상(선택·검색·그룹의 기준이 되는 인스턴스)애플리케이션
와탭이 제공하는 수집 라이브러리(설치·설정·버전·활성 여부의 주체)SDK
AI 에이전트(트라젝토리 안에서 실행되는 서브에이전트)에이전트

즉, 이 제품에서 「에이전트」는 AI 에이전트만 가리킵니다. 수집 라이브러리를 말할 때는 SDK, 수집 대상을 말할 때는 애플리케이션이라고 씁니다.

URL 경로와 메트릭 태그 키(agent 등) 같은 식별자는 바뀌지 않았으므로, 기존 대시보드나 알림 설정을 다시 만들 필요는 없습니다.

AI Agent Observability는 LLM(Large Language Model) 기반 애플리케이션의 성능, 비용, 안정성을 통합 모니터링하는 플랫폼입니다. LLM API의 요청량, 응답 성능, 토큰 사용량, 비용, 에러 현황을 실시간으로 수집하고, 모델·애플리케이션·프로바이더 단위의 상세 분석을 제공합니다. WhaTap APM, 서버, 쿠버네티스 인프라와 결합하여 LLM 호출을 애플리케이션 트랜잭션과 GPU 인프라까지 엔드투엔드로 추적할 수 있습니다.

LLM 모니터링, 왜 필요한가?​

추론 엔진 200 응답 뒤에 숨은 LLM 이상 감지​

LLM 추론 엔진은 추론 모델이 할루시네이션을 생성하거나 비정상적인 응답을 반환해도 HTTP 200을 내보냅니다. 기존 서버 모니터링으로는 이 문제를 감지할 수 없기 때문에, 장애 인지가 늦어지고 대응 시점을 놓치게 됩니다. AI Agent Observability는 응답 시간, 토큰 패턴, 에러율의 이상 변화를 실시간으로 추적하여 HTTP 상태코드만으로는 보이지 않는 모델 이상을 빠르게 감지합니다.

모델 비용이 보이지 않으면, 통제할 수 없습니다​

LLM API는 호출할 때마다 토큰 단위로 과금됩니다. 모델, 프롬프트 길이, 응답 크기에 따라 건당 비용이 크게 달라지며, 트래픽이 늘어나면 예측하지 못한 비용이 발생할 수 있습니다. 어떤 모델이, 어떤 요청에, 얼마나 비용을 발생시키는지 실시간으로 파악해야 비용을 통제할 수 있습니다. 에러로 실패한 요청에도 토큰 비용이 발생하므로, 에러 비용을 별도로 추적하여 낭비되는 금액을 정량화해야 합니다.

느린 응답은 사용자가 가장 먼저 체감합니다​

LLM 응답은 기존 API보다 수 초 단위로 느릴 수 있습니다. 특히 스트리밍 환경에서 첫 토큰이 늦게 도착하거나, 토큰 생성 속도가 느려지면 사용자는 "응답이 멈췄다"고 느낍니다. 대다수 사용자는 정상인데 일부만 느린 상황은 평균값으로는 감지할 수 없습니다. 어떤 모델이, 어떤 시간대에, 어떤 패턴으로 느려지는지를 시계열로 추적하고 모델 간 비교까지 가능해야 실질적인 개선이 가능합니다.

프롬프트 재현을 위한 호출 맥락 보존​

LLM 호출은 동일한 프롬프트에도 매번 다른 응답을 생성합니다. 문제가 발생했을 때 "어떤 프롬프트로, 어떤 모델에, 어떤 파라미터로 호출했는지"가 보존되어 있지 않으면 재현 자체가 불가능합니다. AI Agent Observability는 모든 LLM 호출의 시스템 메시지, 입력 프롬프트, 모델 응답, 도구 호출을 원본 그대로 수집하고 보존합니다. 문제 발생 시 해당 시점의 정확한 호출 맥락을 복원하여, "그때 무슨 일이 있었는지"를 즉시 확인하고 재현할 수 있습니다.

멀티 모델 환경에서는 비교 분석이 필수입니다​

하나의 애플리케이션에서 여러 LLM 모델과 프로바이더를 동시에 사용하는 것이 일반적입니다. 모델별 성능, 비용, 에러율을 비교하여 워크로드에 가장 적합한 모델을 선택하고, 비용 대비 성능이 낮은 모델을 교체하는 의사결정에 데이터 기반의 근거가 필요합니다.

모니터링 데이터가 흩어져 있으면, 원인을 찾을 수 없습니다​

AI 애플리케이션을 운영하면 로그는 로그 플랫폼에, 메트릭은 인프라 모니터링에, 비용은 프로바이더 콘솔에, 트레이스는 APM에 파편화됩니다. 문제가 발생했을 때 여러 도구를 번갈아 보며 데이터를 수동으로 연결해야 하므로, 원인 파악에 시간이 오래 걸립니다. AI Agent Observability는 성능, 비용, 에러, 프롬프트 로그, 트랜잭션 트레이스, GPU 인프라를 하나의 플랫폼에서 통합하여 컨텍스트 전환 없이 문제의 원인까지 드릴다운할 수 있습니다.

AI Agent Observability 주요 기능​

종합 현황 대시보드​

실시간 LLM API 성능과 LLM 트랜잭션을 종합적으로 볼 수 있는 화면입니다. 기본 프리셋이 제공되며 LLM API 성능 대시보드와 AI 에이전트 메인 대시보드에서 사용된 위젯들을 사용자 우선순위에 맞게 재배치하여 모니터링할 수 있습니다.

LLM API 성능 대시보드​

LLM API의 실시간 상태를 한 화면에서 모니터링합니다. 요청량, 응답 성능, TTFT, TPOT, 토큰, 비용, 에러 등 핵심 지표를 위젯으로 제공합니다.

AI 에이전트 메인 대시보드​

애플리케이션에서 어떤 트라젝토리가 실행 중인지 실시간 상태를 한 화면에서 모니터링합니다. 10분 단위의 트라젝토리 수, LLM API 호출 건수 등 전반적인 트래픽의 핵심 지표를 위젯으로 제공합니다.

토큰 추이 분석 및 모델별 성능 비교​

토큰 사용 패턴과 LLM 응답 성능을 시계열로 분석합니다. 모델·애플리케이션·프로바이더 간 성능 분포를 비교하여 가장 안정적인 모델을 식별할 수 있습니다.

비용 분석 및 최적화​

토큰 단위의 비용 추적, 이전 기간 대비 변동률, 모델별 비용 비교를 제공합니다. 성능 대비 비용 버블 차트로 비용 최적화 의사결정을 지원합니다.

캐시 효율 모니터링​

프롬프트 캐싱의 캐시 적중률과 절감 비용을 시간대별로 추적합니다. 캐싱 전략이 실제 비용 절감에 기여하는지 정량적으로 확인할 수 있습니다.

프롬프트 로그 분석​

LLM 호출의 시스템 메시지, 입력 프롬프트, 모델 응답, 도구 호출을 개별 건 단위로 수집하고 보존합니다. 대시보드에서 이상을 발견한 후 드릴다운하여 원인을 파악할 수 있습니다.

LLM 트랜잭션 추적 및 GPU 연계 분석​

LLM 호출을 애플리케이션 트랜잭션의 일부로 추적합니다. 트랜잭션 프로파일에서 LLM 스텝의 프롬프트, 토큰, 비용은 물론 GPU 상관관계 분석까지 확인할 수 있습니다.

다음 단계​

최종 수정: