본문으로 건너뛰기

LLM API 성능 대시보드

LLM API 성능 대시보드는 LLM API 호출의 요청량, 응답 성능, 토큰, 비용, 에러를 한 화면에서 보여 주는 메뉴입니다. 위에서 아래로 실행 중인 호출과 응답 시간 → 요청량과 스트리밍 성능 → 토큰과 비용 → 분포와 에러 순서로 배치되어, 지금 느린 호출이 있는지 먼저 확인하고 원인이 되는 지표로 내려가는 흐름을 따라갈 수 있습니다.

좌측 사이드바에서 대시보드 > LLM API 성능 대시보드를 클릭하여 이동합니다.

노트

이 대시보드는 읽기 전용입니다. 위젯을 추가·삭제하거나 위치를 바꿀 수 없고, 프리셋도 사용할 수 없습니다. 위젯 구성을 직접 정하려면 종합 현황 대시보드를 사용하세요. 여기에 놓인 위젯은 위젯 레퍼런스에서 하나씩 찾아볼 수 있습니다.

화면 구성​

LLM API 성능 대시보드

LLM API 성능 대시보드는 옵션바와 그 아래 4개 행에 놓인 위젯 13개로 구성됩니다.

영역위젯설명
①옵션바맨 위에서 조회 시각과 애플리케이션 필터를 설정합니다.
②액티브 LLM API · 백분위 Latency첫 행에 조회 시각 기준으로 실행 중인 LLM API 호출과 응답 시간 백분위를 표시합니다.
③LLM API 요청 수 · 백분위 TPOT · 출력 토큰 처리량 · 백분위 TTFT둘째 행에 요청량과 에러율, 토큰 생성 속도, 처리량, 첫 토큰까지 걸린 시간을 표시합니다.
④토큰 사용량 · 요청당 평균 토큰 · 금일 누적 비용셋째 행에 토큰 사용 추이와 오늘 누적 비용을 표시합니다.
⑤캐시 적중률 · 토큰 사용 분포 · 에러율 분포 · 상태코드별 요청 건수맨 아래 행에 캐시 효율, 기준별 토큰 분포, 에러 분포를 표시합니다.

옵션바​

상단 옵션바에서 조회 시각과 애플리케이션 필터를 설정합니다. 각 기능의 자세한 사용법은 대시보드 공통 기능 문서를 참조하세요.

  • 조회 구간은 선택한 시각을 기준으로 한 최근 10분입니다. 금일 누적 비용은 예외로 오늘 0시부터 조회 시각까지를 표시합니다.
  • 실시간 모드에서는 구간이 5초마다 앞으로 밀리며 위젯이 함께 갱신됩니다. 실시간 모니터링을 멈추거나 과거 시각을 지정하면 그 시점의 10분 구간이 고정됩니다.
  • 애플리케이션 필터로 대상을 좁힐 수 있습니다. 실시간 모드에서는 바꾼 필터가 바로 반영됩니다. 실시간 모니터링을 멈춘 상태에서 필터를 바꾸면 적용 버튼이 나타나며, 이 버튼을 클릭해야 반영됩니다.
  • 애플리케이션 선택 상자 오른쪽의 Total, Active, Inactive는 목록에 표시된 애플리케이션 수와 그중 활성·비활성 애플리케이션 수입니다. Inactive는 비활성 SDK 표시가 켜져 있을 때만 나타나며, 목록에 애플리케이션 대신 종류나 서버를 표시하면 Active와 Inactive는 나타나지 않습니다.

실행 중인 호출과 응답 시간​

  • 액티브 LLM API: 조회 시각에 실행 중인 LLM API 호출을 모델별 트랙 위에 점으로 표시합니다. 점 하나가 호출 하나이며, 가로 위치는 SDK 옵션에 설정한 기준으로 나눈 Normal, Slow, Very Slow 구간을 나타냅니다. 모델 이름 아래에는 호출 수가 표시되고, 점이 구간에 다 들어가지 않으면 그 옆에 그리지 못한 개수를 (+N)으로 표시합니다. 모델이 많아 위젯 높이에 다 들어가지 않으면 나머지 모델은 마지막 줄 하나로 묶여 그 외 N개 모델로 표시됩니다. 모델 줄을 클릭하면 해당 모델의 실행 중 호출 목록이 열리고, 호출을 선택하면 그 호출이 속한 트라젝토리 뷰로 이동합니다. 위젯 헤더의 상세 아이콘을 클릭하면 모든 모델의 실행 중 호출 목록을 넓은 화면으로 엽니다. 이 아이콘은 실시간 모드에서만 표시됩니다.
  • 백분위 Latency: LLM API 응답 시간(Latency)의 p50, p75, p95, p99 추이를 표시합니다. Latency는 요청을 보낸 시점부터 응답이 완전히 끝날 때까지 걸린 전체 시간입니다. p50과 p99의 격차가 크면 대부분의 요청은 빠르지만 일부 요청에서 심한 지연이 발생하고 있다는 의미입니다.

실행 중 호출 목록은 대시보드 조회 시각과 관계없이 현재 시점의 호출을 보여 줍니다. 목록의 구성은 위젯 레퍼런스의 액티브 LLM API 항목을, 트라젝토리 뷰에서 실행 흐름을 확인하고 중지하는 방법은 트라젝토리 뷰와 중지 문서를 참조하세요.

요청량과 스트리밍 성능​

  • LLM API 요청 수: 시간대별 요청 건수(막대)와 에러율(선)을 함께 표시합니다. 요청량이 급증하면서 에러율도 함께 오르면 Rate Limit 초과나 프로바이더 장애를 의심할 수 있습니다.
  • 백분위 TPOT: 출력 토큰 하나를 생성하는 데 걸리는 시간(Time Per Output Token)의 p50, p75, p95, p99 추이를 표시합니다.
  • 출력 토큰 처리량: 초당 출력 토큰 수(tok/s)를 표시합니다. 처리량이 떨어지는 구간에서는 모델 응답 병목이나 Rate Limit 영향을 점검하세요.
  • 백분위 TTFT: 첫 토큰이 도착하기까지 걸린 시간(Time To First Token)의 p50, p75, p95, p99 추이를 표시합니다.

토큰과 비용​

  • 토큰 사용량: 시간대별 입력(Input)·출력(Output) 토큰 사용량을 표시합니다.
  • 요청당 평균 토큰: 요청 한 건당 평균 입력·출력 토큰 수의 시간대별 추이를 표시합니다.
  • 금일 누적 비용: 오늘 0시부터 조회 시각까지의 누적 비용과 비교 대상일의 같은 시간대 대비 증감을 표시합니다. 비교 대상일은 기본으로 1일 전이며, 위젯 헤더의 비교 선택 상자에서 바꿀 수 있습니다. 금액이 $1 미만이면 ¢ 단위로 표시합니다.

분포와 에러​

  • 캐시 적중률: 전체 입력 토큰 중 캐시에서 가져온 토큰의 비율(%)을 시간대별로 표시합니다. 처음에는 하나로 합친 병합 보기로 표시됩니다. 위젯 헤더의 병합 / 개별로 보기 아이콘을 클릭해 개별로 보기로 바꾸면 애플리케이션별로 나누어 표시하며, 헤더에 나타나는 기준 버튼으로 기준을 바꿀 수 있습니다.
  • 토큰 사용 분포: 기준별 입력·출력 토큰 총량을 막대로 비교합니다. 기본 기준은 모델입니다.
  • 에러율 분포: 기준별 에러율(%)을 가로 막대로 비교합니다. 기본 기준은 모델입니다.
  • 상태코드별 요청 건수: 시간대별 요청 건수를 HTTP 상태 코드 4xx, 5xx로 나누어 표시합니다. 성공(2xx) 요청은 표시하지 않습니다.

토큰 사용 분포와 에러율 분포는 위젯 헤더에서 비교 기준을 애플리케이션, 모델, 프로바이더, 오퍼레이션, 엔드포인트 중 하나로 바꿀 수 있습니다. 위젯 폭이 좁으면 일부 기준 버튼은 +3처럼 남은 개수를 표시한 버튼 안에 접혀 들어갑니다.

LLM API 요청 수, 토큰 사용량, 요청당 평균 토큰, 출력 토큰 처리량도 처음에는 병합 보기로 표시되며, 병합 / 개별로 보기 아이콘을 클릭해 개별로 보기로 바꿀 수 있습니다. 이때 처음 기준은 모델이며, 헤더의 기준 버튼으로 다른 기준을 고를 수 있습니다.

팁

에러율 분포와 상태코드별 요청 건수는 종합 현황 대시보드의 기본 프리셋에 포함되어 있지 않습니다. 에러 현황은 이 대시보드에서 확인하거나, 종합 현황 대시보드에 두 위젯을 추가해 확인하세요.

관련 문서​

최종 수정: