종합 현황 대시보드
종합 현황 대시보드는 LLM(Large Language Model) API의 요청량, 응답 성능, 토큰 사용량, 비용, 에러 현황을 한 화면에서 실시간으로 모니터링하는 메뉴입니다. 화면 위에서 아래로 실시간 상태 → 요청과 성능 → 토큰과 비용 → 비교와 에러 순서로 위젯이 배치되어, 현황 파악부터 원인 분석까지 자연스럽게 따라갈 수 있습니다. 이 구성은 기본 프리셋으로 저장되어 있으며, 별도 설정 없이 즉시 모니터링을 시작할 수 있습니다.
종합 현황 대시보드는 기본 프리셋 기준으로 5개 영역으로 구성됩니다.
| 영역 | 이름 | 설명 |
|---|---|---|
| ① | 옵션바 | 조회 시간, 애플리케이션 필터, 화면 모드, 프리셋을 설정합니다. |
| ② | 실시간 상태 | 현재 트랜잭션 속도, LLM 호출 유형, 액티브 HTTPC, 히트맵을 실시간으로 확인합니다. |
| ③ | LLM 성능 지표 | API 요청량, TTFT·TPOT 백분위, 출력 토큰 처리량으로 LLM 응답 품질을 파악합니다. |
| ④ | 토큰 및 비용 | 입출력 토큰 사용량, 요청당 평균 토큰, 금일 비용을 추적합니다. |
| ⑤ | 모델별 비교·분석 | 모델 간 성능·토큰·에러를 비교하고 상태 코드별 요청 건수를 확인합니다. |
옵션바
대시보드 상단 옵션바에서 조회 시간, 애플리케이션 필터, 화면 모드(고정/스크롤), 프리셋을 설정합니다. 각 기능의 상세 사용법은 대시보드 공통 기능 문서를 참조하세요.
실시간 상태
애플리케이션의 실시간 상태를 보여줍니다.
-
액티브 트랜잭션 스피드. 초당 요청 수(RPS)와 응답 수(TPS), 진행 중인 트랜잭션 건수를 실시간으로 표시합니다.
-
LLM 액티브 스테이터스. 현재 처리 중인 LLM 호출을 유형별(
chat,completion등)로 구분해 보여줍니다. -
액티브 HTTPC. 외부 LLM API로 나가는 HTTP 요청의 실시간 상태를 속도 구간(Very Slow, Slow, Normal)으로 분류합니다.
-
히트맵. 완료된 트랜잭션의 응답 시간을 시간 축(X)과 경과 시간 축(Y)에 점으로 표시합니다. 점이 위로 올라갈수록 응답이 느린 트랜잭션입니다.
LLM 성능 지표
LLM API의 핵심 성능 지표를 모아 봅니다.
-
LLM API 요청 수. 시간대별 요청 건수(바)와 에러율(라인)을 함께 표시합니다. 요청 급증과 에러율 상승이 동시에 나타나면 Rate Limit 초과나 프로바이더 장애를 의심할 수 있습니다.
-
백분위 TTFT. 첫 번째 토큰이 도착하기까지 걸린 시간(Time To First Token)을 p50·p75·p95·p99 백분위로 보여줍니다. TTFT가 높으면 사용자가 체감하는 초기 대기 시간이 길어집니다.
-
백분위 TPOT. 토큰 하나를 생성하는 데 걸리는 시간(Time Per Output Token)을 백분위로 보여줍니다. TPOT가 높으면 스트리밍 응답이 끊기거나 느려질 수 있습니다.
-
출력 토큰 처리량. 초당 출력 토큰 수(tok/s)를 표시합니다. 처리량이 갑자기 떨어지면 프로바이더 측 성능 저하를 의심할 수 있습니다.
토큰 및 비용
토큰 사용량과 비용을 추적합니다.
-
토큰 사용량. 시간대별 입력(Input)·출력(Output) 토큰 사용량을 추이 차트로 보여줍니다.
-
요청당 평균 토큰. 요청 한 건당 평균 입력·출력 토큰 수를 표시합니다. 프롬프트 최적화 효과를 확인할 때 유용합니다.
-
금일 비용. 오늘 누적 비용과 전일 대비 증감을 표시합니다. 비용 이상 징후를 빠르게 감지할 수 있습니다.
모델별 비교·분석
모델별 성능·토큰·에러를 비교합니다.
-
종합 성능 비교. 모델별 TTFT p95, TPOT p95를 한 차트에서 비교합니다. 모델 교체나 버전 업그레이드 효과를 판단할 때 유용합니다.
-
토큰 사용 분포 — 모델별 입력·출력 토큰 사용량을 애플리케이션, 프로바이더, 오퍼레이션, 엔드포인트 기준으로 비교합니다.
-
에러율 분포 — 모델별 에러율을 애플리케이션, 프로바이더, 오퍼레 이션, 엔드포인트 기준으로 비교합니다. 특정 모델에서 에러가 집중되는지 빠르게 확인할 수 있습니다.
-
상태코드별 요청 건수. HTTP 상태 코드(4xx, 5xx)별 요청 건수를 시간대별로 표시합니다.
위젯 편집, 위젯 옵션, 프리셋 등 대시보드 공통 기능은 대시보드 공통 기능 문서를 참조하세요.
각 위젯의 차트 유형, 필터, 활용 방법은 종합 현황 대시보드 위젯 문서를 참조하세요.
AI 에이전트 단위로 현황을 보려면 AI 에이전트 메인 대시보드 문서를 참조하세요.