본문으로 건너뛰기

Python SDK 설정

기본 필수 활성화 옵션​

llm_license= llm.whatap.server.host=

파이썬 SDK는 APM과 LLMOBS 프로젝트를 함께 사용할 수 있으며, LLM 프로젝트의 관련 값들은 이와 같은 옵션에 태깅을 해야만 합니다.

llm_enabled=true

이 옵션을 통해 LLM 로그싱크팩과 메트릭 수집을 활성화 할 수 있습니다. LLMOBS 사용시 필수적으로 해당 옵션은 true 로 되어 있어야 합니다.

LLM API 호스트 인식​

llm_api_hosts=localhost:8000,api.openai.com:443

자동 계측이 모르는 LLM API endpoint (vLLM / LiteLLM / 사설 게이트웨이 등) 를 LLM 호출로 판단하기 위한 설정 옵션 입니다. httpc driver 가 해당 호스트로 가는 호출을 LLM API 드라이버로 마킹하게 됩니다.

모델 가격 수동 입력​

llm_model_pricing=gpt-4o|2.50|10.00|1.25,gpt-4o-mini|0.15|0.60|0.075,my-custom-model|1.00|5.00

모델의 토큰 별 가격을 수동 지정할 수 있습니다. 설정된 값은 실제 비용이 인식되더라도 가장 최우선으로 반영됩니다.

형식: model|input_per_1m|output_per_1m|cached_per_1m 

  • 4 필드

  • 모델 간 콤마 구분

  • 4번째 (cached) 는 optional, 비우거나 생략 가능

사용자 차단​

llm_blocked_users=u-1024,abuse@example.com

지정한 사용자 ID의 LLM 호출을 차단합니다. 기본값은 빈 문자열("")이며 이때는 차단하지 않습니다.

  • 사용자 ID는 쉼표(,)로 구분하며 대소문자를 구분하지 않습니다.
  • 사용자 ID는 Session & User ID 설정하기에서 수집하는 user_id 값과 같습니다.
  • 차단된 호출은 애플리케이션이 LLM API 호출에 쓰는 클라이언트 라이브러리의 연결 오류(예를 들어 APIConnectionError)로 반환됩니다. 애플리케이션에서 이 오류를 처리하도록 구성하세요.
  • 차단된 지점은 WhaTap: LLM call blocked for user … 메시지 스텝으로 기록되며, LLM 트레이스 상세의 테이블 뷰에서 확인할 수 있습니다.
  • Python SDK 2.2.1 이상에서 지원합니다.

LLM 워크플로우의 HTTP 호출 수집​

llm_httpc_step_enabled=true

LLM 워크플로우 안에서 발생한 HTTP 호출(MCP, REST 도구 호출 등)을 LLM 스텝과 함께 수집합니다. 기본값은 true입니다. false로 설정하면 LLM API 호출만 수집합니다. Python SDK 2.2.1 이상에서 지원합니다.

노트

llm_blocked_users 같은 옵션은 whatap.conf에 직접 입력하거나, 화면 왼쪽 메뉴의 관리 > SDK 설정에서 애플리케이션별로 확인하고 수정할 수 있습니다. SDK 설정 화면에서 옵션을 수정하려면 프로젝트 수정 권한이 있어야 하며, 권한이 없으면 값만 확인할 수 있습니다. SDK 설정 화면에서 입력란이 비활성인 옵션은 whatap.conf에서 설정하세요.

SDK 설정 화면

최종 수정: