사용자 및 세션 검색

LLM 호출 로그를 사용자 > 세션 > 턴 3계층으로 집계해 조회하는 메뉴입니다. 이 메뉴는 같은 로그를 사용자 단위로 보여 주기 때문에 특정 사용자의 대화 이력을 시간순으로 따라가고, 평가 점수가 나쁜 세션만 골라 낼 수 있습니다. LLM 서비스의 품질과 오남용을 점검하는 운영자, 응답 품질 담당자를 대상으로 합니다.

로그 읽기 권한이 필요합니다. 권한이 없으면 메뉴에 접근할 수 없습니다.

메뉴는 베타로 제공됩니다. 화면 구성과 라벨은 정식 제공 시점에 달라질 수 있습니다.

화면 구성

상단 옵션바, 왼쪽 사용자 목록, 오른쪽 메인 영역의 3단 레이아웃입니다. 오른쪽 메인 영역은 다시 위쪽 세션 목록과 아래쪽 프롬프트 묶음으로 나뉩니다.

상단 옵션바

• 시간 범위 선택: 시작일시와 종료일시를 지정합니다. 빠른 선택 옵션(최근 5분, 10분, 30분, 1시간, 3시간, 6시간, 12시간)을 제공하며 초 단위와 밀리초 단위까지 지정할 수 있습니다. 조회 가능한 최대 범위는 3일입니다. 3일을 넘기면 검색이 비활성화됩니다.

• 그룹 기준: 메인 영역이 세션을 묶는 기준을 선택하세요.

  • 사용자: 왼쪽 목록에서 고른 사용자의 세션만 표시합니다.

  • 세션: 사용자 구분 없이 전체 세션을 한 목록으로 펼칩니다. 이 기준에서는 왼쪽 사용자 목록이 숨겨집니다.

• 필터: 검색 쿼리를 입력해 특정 조건의 로그만 조회합니다. 자주 쓰는 조건은 북마크로 저장할 수 있습니다.

• 검색 버튼: 돋보기 아이콘 버튼을 클릭하면 조회를 실행합니다. 조회가 진행되는 동안에는 취소 버튼으로 바뀝니다. 시간이나 필터를 바꾸면 조회가 자동으로 다시 실행되며, 조건이 그대로일 때도 검색 버튼을 클릭하면 다시 조회합니다.

왼쪽 사용자 목록

조회 범위에 나타난 사용자를 위험도 배지와 함께 표시합니다. 사용자를 선택하면 오른쪽 메인 영역이 그 사용자의 세션으로 바뀝니다.

• 사용자 ID 검색: 사용자 ID의 일부를 입력해 목록을 좁힙니다.

• 정렬 기준: 위험도 순, 비용 순, 세션 순 중 하나를 선택하세요.

• 각 항목에는 사용자 ID와 함께 세션 수, 턴 수가 표시됩니다.

보기 옵션

메인 영역 오른쪽 위에 두 개의 스위치가 있습니다.

• 개인정보 표시: 마스킹된 프롬프트 원문을 표시합니다. 개인정보 조회 권한이 필요합니다.

• 위험 세션만: 위험도가 정상이 아닌 세션만 표시합니다. 이 옵션은 요약 지표 값에도 함께 반영됩니다.

요약 지표

현재 표시 중인 세션 범위를 기준으로 집계한 4개 카드입니다. 그룹 기준이 사용자이면 선택한 사용자의 세션, 세션이면 전체 세션이 대상입니다.

Item	Description
세션	표시 중인 세션 수
총 턴	세션에 포함된 턴 수 합계
총 토큰	턴 토큰 합계
총 비용	턴 비용 합계($). 비용이 있는 턴이 없으면 -

세션 목록

메인 영역 위쪽에 세션 요약 카드를 나열합니다. 카드를 클릭하면 아래쪽 프롬프트 묶음이 그 세션의 턴으로 바뀝니다.

Item	Description
위험도	세션 위험도 배지(정상·주의·높음)
세션 ID	세션 식별자
지속시간	세션의 첫 턴 시작부터 마지막 턴 종료까지
턴	세션에 포함된 턴 수
토큰	세션 토큰 합계
판정	세션 안 턴의 종합 점수 최댓값

그룹 기준이 세션이면 카드에 사용자 칩이 함께 표시됩니다. 칩을 클릭하면 그룹 기준이 사용자로 바뀌면서 그 사용자의 세션으로 이동합니다.

목록 위쪽에는 표시 중인 세션 수와 시간 정렬 방향 스위치가 있습니다. 정렬 방향은 세션 시작 시각을 기준으로 최신순과 과거순을 바꿉니다.

프롬프트 묶음

선택한 세션의 턴을 시작 시각 오름차순으로 표시합니다. 턴은 사용자와 모델이 한 번 주고받은 교환 단위입니다. 한 턴에 여러 LLM 호출이 들어갈 수 있습니다.

Column	Description
시각	턴 시작 시각(날짜와 시:분:초.밀리초)
Operation	턴의 Operation Type. 없으면 -
프롬프트	Input 태그와 Output 태그로 구분한 입력 요약과 응답 요약. 평가 결과가 있으면 아래에 평가 배지 표시
모델	턴 안에서 사용한 모델 목록. 아래 줄에 프로바이더 표시
토큰	턴 토큰 합계
지연시간·비용	턴 지연시간(ms)과 비용($)

프롬프트 영역을 클릭하면 트랜잭션 프로파일 팝아웃이 열립니다. Input 줄과 Output 줄은 각각 자기 트랜잭션을 엽니다. 팝아웃에서 프롬프트 원문, 토큰과 비용 상세를 확인할 수 있습니다. 자세한 내용은 LLM API 분석 문서를 참조하세요.

세션을 선택하지 않으면 목록 첫 세션이 자동으로 선택됩니다. 조건에 맞는 세션이 없으면 필터 해제를 안내하는 문구가 표시됩니다.

위험도 판정

위험도는 평가 기능의 종합 점수를 기준으로 판정합니다. 임계값은 응답 품질 평가와 같은 기준을 사용하므로, 이 화면의 위험도와 응답 품질 화면의 판정은 서로 어긋나지 않습니다.

Level	Description
정상	종합 점수가 임계값 아래. 평가 결과가 없는 턴도 정상으로 봄
주의	종합 점수가 주의 임계값 이상
높음	종합 점수가 위험 임계값 이상

세션 위험도는 그 세션에 속한 턴 위험도의 최악값이고, 사용자 위험도는 그 사용자 세션 위험도의 최악값입니다. 즉 한 턴이라도 높음이면 세션과 사용자 모두 높음으로 표시됩니다.

평가 기능을 켜고 종합 점수를 수집하는 방법은 Evaluation 문서를 참조하세요.

조회 동작

이 화면은 지정한 시간 범위의 로그를 전수 조회합니다. 한 페이지만 받아 멈추면 요약 지표와 세션 수가 실제와 어긋나므로, 조회가 끝날 때까지 페이지를 이어서 받습니다.

• 조회 중에는 결과 자리에 진행 상태(수집한 로그 수, 전체 대비 진행률, 페이지 수)가 표시됩니다.

• 조회 중 취소 버튼을 클릭하면 그때까지 받은 만큼으로 집계합니다. 이때 목록 위쪽에 부분 결과임을 알리는 안내와 다시 시도 버튼이 표시됩니다.

• 조회에 실패해도 같은 자리에 상태 안내와 다시 시도 버튼이 표시됩니다.

• 조회 제한 건수에 도달하면 일부 데이터만 표시된다는 안내와 함께 더 불러오기 버튼이 나타납니다.

로그 양이 많은 구간은 조회에 시간이 걸립니다. 조회 범위를 좁히거나 필터로 대상을 줄이면 완료까지 걸리는 시간을 줄일 수 있습니다.

참고

식별 태그

Tag	Type	Description
user_id	string	사용자 식별자
session_id	string	세션 식별자
turn_id	string	사용자와 모델이 한 번 주고받은 교환의 식별자

세션은 user_id와 session_id를 함께 묶어 구분합니다. 따라서 같은 session_id가 서로 다른 사용자에게 나타나도 별개 세션으로 셉니다.