본문으로 건너뛰기

쿠버네티스 지표

쿠버네티스에서 수집되는 지표 일부는 서버 모니터링, 애플리케이션과 동일합니다.

컨테이너(container) 지표

container 카테고리는 컨테이너의 pod에 설정된 모든 사용자 정의 라벨들을 태그로 수집합니다.

  • 대상: 클러스터 프로젝트, 네임스페이스 프로젝트
  • 수집 간격: 5초
  • 통계 데이터: 5분

Tags

태그명설명비고
agentOid노드 에이전트 고유 ID고유값
agentPcode프로젝트 코드고유값
command실행 명령어-
containerId컨테이너 ID고유값
containerKey컨테이너 Key-
created컨테이너가 생성된 TimeStamp-
image컨테이너 이미지명-
imageHash이미지 해시 값-
imageId이미지 ID-
k8s-appPod의 레이블 k8s-app에 대한 값-
microOid컨테이너에 설치된 와탭 APM 에이전트의 고유 ID-
name컨테이너 이름-
namespace컨테이너가 소속된 네임스페이스-
namespaceHash컨테이너가 소속된 네임스페이스 해시 값-
okind컨테이너에 설치된 와탭 APM 에이전트에 지정한 OKIND 고유 ID-
okindName컨테이너에 설치된 와탭 APM 에이전트에 지정한 OKIND 이름-
oname컨테이너에 설치된 와탭 APM 에이전트 이름-
onode컨테이너가 작동 중인 노드 에이전트의 고유 ID-
onodeName컨테이너가 작동 중인 노드 이름-
podHash컨테이너의 Pod 해시 값-
podName컨테이너의 Pod 이름-
replicaSetHash컨테이너의 레플리카셋 해시 값-
replicaSetName컨테이너의 레플리카셋 이름-
whatap_project컨테이너가 속한 와탭 프로젝트 이름-

Fields

필드명단위설명 (Shortname, Name, Description)
blkio_rbps바이트IoReadBytes
Container Block I/O Read Byte
컨테이너 전체 블럭 디바이스의 초당 읽은 바이트 합
blkio_riops건수IoReadIops
Container Block I/O Read IOPS
컨테이너 전체 블럭 디바이스의 초당 읽은 건수 합
blkio_wbps바이트IoWriteBytes
Container Block I/O Write Byte
컨테이너 전체 블럭 디바이스의 초당 쓴 바이트 합
blkio_wiops건수IoWriteIops
Container Block I/O Write IOPS
컨테이너 전체 블럭 디바이스의 초당 쓴 건수 합
cpu_per_quota퍼센트CpuByLimit
Container CPU Usage by Limit (%)
CPU Limit 기준 CPU 전체 사용률
cpu_quota밀리 코어CpuLimit
Container CPU Limit (core)
컨테이너 CPU Limit 할당량
Limit 미설정인 경우 컨테이너가 작동 중인 해당 노드의 CPU 전체 코어가 밀리코어 단위로 표시된다.
cpu_quota_percent퍼센트CpuLimitByNode
Container CPU Limit by Node (%)
노드 CPU 대비 컨테이너 CPU Limit 할당량
Limit 미설정인 경우 컨테이너가 작동 중인 해당 노드의 CPU 전체 코어가 퍼센트로 표시된다.
cpu_sys퍼센트CpuSysByNode
Container CPU Sys Usage by Node (%)
노드 CPU 대비 컨테이너 CPU System 사용률
cpu_throttledperiods건수CpuThrottledCnt
Container CPU Throttling Count
컨테이너 CPU Throttled 건수
cpu_throttledtime나노세컨드CpuThrottledTime
Container CPU Throttling Time
컨테이너 CPU Throttled 시간
cpu_total퍼센트CpuByNode
Container CPU Usage by Node (%)
노드 CPU 대비 컨테이너 CPU 사용률
cpu_total_milli밀리코어CpuTotUsage
Container CPU Usage (millicore)
컨테이너 CPU 사용량
cpu_user퍼센트CpuUserByNode
Container CPU User Usage by Node (%)
노드 CPU 대비 컨테이너 CPU User 사용률
cpu_request밀리코어CpuRequest
Container CPU Request (core)
컨테이너 CPU 요청
cpu_per_request퍼센트CpuByRequest
Container CPU Usage by Request (%)
컨테이너 CPU 요청 대비 사용률
= cpu_total_milli / cpu_request * 100
mem_failcnt건수MemFailCnt
Container Memory Failure Count
컨테이너 메모리 Limit 도달 건수
mem_limit바이트MemLimit
Container Memory Limit (byte)
컨테이너 메모리 Limit 크기
mem_maxusage바이트MemMaxUsage
Container Memory Max Usage (byte)
컨테이너 메모리 최대 사용량 기록 값
mem_percent퍼센트MemWsByLimit
Container Memory Working Set by Limit (%)
컨테이너 메모리 Limit 기준 working set 사용량
= mem_working_set / mem_limit * 100
mem_totalcache바이트MemTotCache
Container Memory Total Cache (byte)
컨테이너 전체 캐시 크기
mem_totalpgfault횟수MemTotPageFaultCnt
Container Memory Total Page Fault Count
컨테이너 Page Fault 횟수
mem_totalrss바이트MemTotRss
Container Memory Total RSS (byte)
컨테이너 RSS 메모리 전체 크기
mem_totalrss_percent퍼센트MemTotRssByLimit
Container Memory Total RSS by Limit (%)
컨테이너 RSS 메모리 전체 사용률
mem_totalunevictable바이트MemTotUnevictable
Container Memory Total Unevictable (byte)
컨테이너 Unevictable Memory 전체 크기
mem_usage바이트MemUsage
Container Memory Usage (byte)
컨테이너 메모리 사용량
mem_working_set바이트MemWs
Container Memory Working Set (byte)
컨테이너 메모리 working set
= mem_usage - inactive file
mem_working_set_percent퍼센트MemWsByLimit
Container Memory Working Set by Limit (%)
컨테이너 메모리 Limit 기준 working set 사용량
= mem_working_set / mem_limit * 100
mem_request바이트MemRequest
Container Memory Request (byte)
컨테이너 메모리 Request 크기
mem_per_request퍼센트MemWsByRequest
Container Memory Working Set by Request (%)
컨테이너 메모리 Request 기준 working set 사용량
= mem_working_set / mem_request * 100
network_rbps바이트NetRxBytes
Container Network Receive Byte
컨테이너 전체 블럭 디바이스의 초당 읽기 바이트 합
network_rdropped바이트NetRxDropped
Container Network Receive Dropped
컨테이너 네트워크 수신 dropped 건수
network_rerror바이트NetRxError
Container Network Receive Error
컨테이너 네트워크 수신 에러 건수
network_riops바이트NetRxIops
Container Network Receive IOPS
컨테이너 네트워크 수신 건수
network_wbps바이트NetTxByes
Container Network Transmit Byte
컨테이너 네트워크 송신 데이터 크기
network_wdropped건수NetTxDropped
Container Network Transmit Dropped
컨테이너 네트워크 송신 dropped 건수
network_werror건수NetTxError
Container Network Transmit Error
컨테이너 네트워크 송신 에러 건수
network_wiops건수NetTxIops
Container Network Transmit IOPS
컨테이너 네트워크 송신 건수
node_cpu퍼센트ConNodeCpu
Container Work Node CPU Usage (%)
컨테이너가 실행 중인 노드의 CPU 사용량
node_mem퍼센트ConNodeMem
Container Work Node Memory Usage (%)
컨테이너가 실행 중인 노드의 메모리 사용량
phase문자열Pod 라이프사이클
① PENDING
② RUNNING
③ SUCCEEDED
④ FAILED
⑤ UNKNOWN
restart_count정수ConRestartCnt
Container Restart Count
컨테이너 다시 시작 횟수
state정수ConState
Container Current State
컨테이너 상태 코드
① RUNNING = 114
② PAUSE = 112
③ RESTARTING = 101
④ OOMKILLED = 111M
⑤ DEAD = 100
⑥ WAITING = 119
status문자열ConStatus
Container Current Status
컨테이너 상태 정보
① running 상태: uptime 정보 표시
② waiting/terminated 상태: 상태에 대한 reason 정보 표시

쿠버네티스 노드(kube_node) 지표

kube_node 카테고리는 노드에 설정된 모든 사용자 정의 라벨들을 태그로 수집합니다.

  • 대상: 클러스터 프로젝트, 네임스페이스 프로젝트
  • 수집 간격: 5초
  • 통계 데이터: 5분, 1시간

Tags

태그명설명비고
nodeName노드 이름-

Fields

필드명단위설명비고
allocatable_cpu밀리 코어노드 할당 가능한 CPU량-
allocatable_memory바이트노드 할당 가능한 메모리량-
allocatable_pods정수노드 할당 가능한 Pod 수-
limit_cpu밀리 코어노드 CPU Limit 합계-
limit_memory바이트노드 메모리 Limit 합계-
pods정수노드 Pod 총개수-
request_cpu밀리 코어노드 CPU Request 합계-
request_memory바이트노드 메모리 Request 합계-

쿠버네티스 이벤트(kube_event) 지표

kube_event 카테고리는 클러스터 프로젝트의 경우 클러스터 전체를 대상으로 데이터를 수집하며 네임스페이스 프로젝트는 해당 네임스페이스에서 발생한 이벤트에 대해서만 수집합니다.

  • 대상: 클러스터 프로젝트, 네임스페이스 프로젝트
  • 수집 간격: 5초
  • 통계 데이터: 5분, 1시간

Tags

태그명설명비고
field_pathField Path-
kind종류이벤트가 발생한 오브젝트 종류
name오브젝트 이름이벤트가 발생한 쿠버네티스 오브젝트 이름
namespace네임스페이스 이름이벤트가 발생한 네임스페이스
reason이벤트 발생 사유-
type이벤트 유형Warning 또는 Normal
uidUID이벤트가 발생한 오브젝트

Fields

필드명단위설명비고
action문자열액션 이름-
count건수이벤트 발생 건수-
event_time정수이벤트 최초 발생 TimeStamp-
first_timestamp정수이벤트 최초 발생 시간-
last_timestamp정수이벤트 마지막 발생 시간-
message문자열이벤트 메시지-
reasonFiled문자열이벤트 Reason-
reporting_component문자열현재 이벤트를 보고하는 컴포넌트-
reporting_instance문자열현재 이벤트를 보고하는 인스턴스-
series_last_observed_time정수series last observed time-

쿠버네티스 클러스터(kube_stat) 지표

kube_stat 카테고리는 클러스터 프로젝트의 경우 클러스터 전체 대상으로 수집하고 네임스페이스 프로젝트는 해당 네임스페이스와 연관된 오브젝트를 대상으로만 수집합니다.

  • 대상: 클러스터 프로젝트, 네임스페이스 프로젝트
  • 수집 간격: 5초
  • 통계 데이터: 5분, 1시간

Tags

태그명설명비고
namekube_stat고정 값

Fields

필드명단위설명비고
alloctable_cpu밀리 코어클러스터 전체 코어 수클러스터 프로젝트 Only
alloctable_ephemeral-storage바이트클러스터 전체 할당 가능한 ephemeral storage클러스터 프로젝트 Only
alloctable_hugepages-1gi바이트클러스터 전체 할당 가능한 hugepages-1Gi클러스터 프로젝트 Only
alloctable_hugepages-2mi바이트클러스터 전체 할당 가능한 hugepages-2Mi클러스터 프로젝트 Only
alloctable_memory바이트클러스터 전체 할당 가능한 메모리클러스터 프로젝트 Only
alloctable_pods정수할당 가능한 Pod 수-
available_pod정수Phase가 Running 상태인 Pod의 수-
desired_pod정수metadata.ownerReferences 없이 배포된 Pod 수와 쿠버네티스 오브젝트(ReplicaSet, Daemonset, StatefulSet)에 정의된 Desired Pod 수의 합-
kubectl get pods -A로 조회한 Pod 수와 동일-
nodes정수노드 수-
pod_phase_Pending정수Pending 상태 Pod 수-
pod_phase_Running정수Running 상태 Pod 수-
running_containers정수Running 컨테이너 수-
stopped_containers정수Stopped 컨테이너 수-
total_available_cpu정수할당 가능한 CPU 총합-
total_available_memory정수할당 가능한 Memory 총합-
total_limit_cpu밀리 코어Limit CPU 총합-
total_limit_memory바이트Limit Memory 총합-
total_request_cpu밀리 코어Request CPU 총합-
total_request_memory바이트Request Memory 총합-
unavailable_pod정수Phase가 Running 상태가 아닌(Pending, Failed, Succedded) Pod 수-
waiting_containers정수Waiting Container 수-

Pod(kube_pod) 지표

kube_pod 카테고리는 Pod에 설정된 모든 사용자 정의 라벨들을 태그로 수집합니다.

  • 대상: 마스터(클러스터) 프로젝트, 네임스페이스 프로젝트
  • 수집 간격: 5초
  • 통계 데이터: 5분

Tags

태그명설명비고
agentOid노드 에이전트 고유 ID고유값
agentPcode프로젝트 코드고유값
command실행 명령어-
containerIdsPod 에 속해있는 컨테이너 ID-
containerIdsCountcontainerIds 의 개수-
containerKeysPod 에 속해있는 컨테이너 ID 의 해시 값-
containerKeysCountcontainerKeys 의 개수-
DaemonSetPod의 DaemonSet 이름-
DeploymentDeployment-
k8s-appPod의 레이블 k8s-app에 대한 값-
microOidPod 의 컨테이너 내부 애플리케이션에서 실행중인 에이전트의 id-
microOidsPod 안의 복수개 컨테이너 내부 애플리케이션에서 실행 중인 에이전트의 복수개 id-
microOidsCountmicroOids 의 개수-
namePod 이름-
onamesPod 의 컨테이너 내부 애플리케이션에서 실행중인 에이전트의 명칭-
onamesCountonames 의 개수-
podNamePod 이름-
namespacePod가 소속된 네임스페이스-
namespaceHashPod가 소속된 네임스페이스 해시 값-
replicaSetHashPod의 ReplicaSet 해시 값-
replicaSetNamePod의 ReplicaSet 이름-
whatap_projectPod가 속한 와탭 프로젝트 이름-

Fields

필드명단위(Shortname, Name, Description)
blkio_rbps바이트IoReadBytes
Pod Block I/O Read Byte
Pod 전체 블럭 디바이스의 초당 읽은 바이트 합
blkio_riops건수IoReadIops
Pod Block I/O Read IOPS
Pod 전체 블럭 디바이스의 초당 읽은 건수 합
blkio_wbps바이트IoWriteBytes
Pod Block I/O Write Byte
Pod 전체 블럭 디바이스의 초당 쓴 바이트 합
blkio_wiops건수IoWriteIops
Pod Block I/O Write IOPS
Pod 전체 블럭 디바이스의 초당 쓴 건수 합
cpu_per_limit퍼센트CpuByLimit
Pod CPU Usage by Limit (%)
CPU Limit 기준 CPU 전체 사용률
cpu_per_request퍼센트CpuByRequest
Pod CPU Usage by Limit (%)
CPU Limit 기준 CPU 전체 사용률
cpu_quota_percent퍼센트CpuLimitByNode
Pod CPU Limit by Node (%)
노드 CPU 대비 Pod CPU Limit 할당량
Limit 미설정인 경우 Pod가 작동 중인 해당 노드의 CPU 전체 코어가 퍼센트로 표시된다.
cpu_sys퍼센트CpuSysByNode
Pod CPU Sys Usage by Node (%)
노드 CPU 대비 Pod CPU System 사용률
cpu_throttledperiods건수CpuThrottledCnt
Pod CPU Throttling Count
Pod CPU Throttled 건수
cpu_throttledtime나노세컨드CpuThrottledTime
Pod CPU Throttling Time
Pod CPU Throttled 시간
cpu_total퍼센트CpuByNode
Pod CPU Usage by Node (%)
노드 CPU 대비 Pod CPU 사용률
cpu_total_milli밀리코어CpuTotUsage
Pod CPU Usage (millicore)
Pod CPU 사용률
cpu_user퍼센트CpuUserByNode
Pod CPU User Usage by Node (%)
노드 CPU 대비 Pod CPU User 사용률
cpu_request밀리코어CpuRequest
Pod CPU Request (core)
Pod CPU 요청
cpu_per_request퍼센트CpuByRequest
Pod CPU Usage by Request (%)
Pod CPU 요청 대비 사용률
= cpu_total_milli / cpu_request * 100
mem_totalcache바이트MemTotCache
Pod Memory Total Cache (byte)
Pod 전체 캐시 크기
mem_totalpgfault횟수MemTotPageFaultCnt
Pod Memory Total Page Fault Count
Pod Page Fault 횟수
mem_totalrss바이트MemTotRss
Pod Memory Total RSS (byte)
Pod RSS 메모리 전체 크기
mem_totalrss_percent퍼센트MemTotRssByLimit
Pod Memory Total RSS by Limit (%)
Pod RSS 메모리 전체 사용률
mem_totalunevictable바이트MemTotUnevictable
Pod Memory Total Unevictable (byte)
Pod Unevictable Memory 전체 크기
mem_usage바이트MemUsage
Pod Memory Usage (byte)
Pod 메모리 사용량
mem_working_set바이트MemWs
Pod Memory Working Set (byte)
Pod 메모리 working set
= mem_usage - inactive file
memory_request바이트MemRequest
Pod Memory Request (byte)
Pod 메모리 요청량
memory_limit바이트MemLimit
Pod Memory Limit (byte)
Pod 메모리 Limit 할당량
memory_per_request퍼센트MemByRequest
Pod Memory by Request (%)
Pod 메모리 요청량 기준 사용량
memory_per_limit퍼센트MemByLimit
Pod Memory by Limit (%)
Pod 메모리 Limit 기준 사용량
network_rbps바이트NetRxBytes
Pod Network Receive Byte
Pod 전체 블럭 디바이스의 초당 읽기 바이트 합
network_rdropped바이트NetRxDropped
Pod Network Receive Dropped
Pod 네트워크 수신 dropped 건수
network_rerror바이트NetRxError
Pod Network Receive Error
Pod 네트워크 수신 에러 건수
network_riops바이트NetRxIops
Pod Network Receive IOPS
Pod 네트워크 수신 건수
network_wbps바이트NetTxByes
Pod Network Transmit Byte
Pod 네트워크 송신 데이터 크기
network_wdropped건수NetTxDropped
Pod Network Transmit Dropped
Pod 네트워크 송신 dropped 건수
network_werror건수NetTxError
Pod Network Transmit Error
Pod 네트워크 송신 에러 건수
network_wiops건수NetTxIops
Pod Network Transmit IOPS
Pod 네트워크 송신 건수
phase문자열Phase
Pod Current Phase
Pod 라이프사이클
① PENDING
② RUNNING
③ SUCCEEDED
④ FAILED
⑤ UNKNOWN

다음 필드는 내부용으로 예약되었습니다.

필드명설명비고
kube_sless_normal쿠버네티스 정보성 이벤트 발생 건수-
kube_sless_warning쿠버네티스 경고 이벤트 발생 건수-
micro_sful_criticalapm 심각 상태 기반 이벤트 발생 건수-
micro_sful_infoapm 정보성 상태 기반 이벤트 발생 건수-
micro_sful_warningapm 경고 상태 기반 이벤트 발생 건수-
micro_sless_criticalapm 심각 무상태 이벤트 발생 건수-
micro_sless_infoapm 정보성 무상태 이벤트 발생 건수-
micro_sless_warningapm 경고 무상태 이벤트 발생 건수-
sful_critical메트릭스 심각 상태 기반 이벤트 발생 건수-
sful_info메트릭스 정보성 상태 기반 이벤트 발생 건수-
sful_warning메트릭스 경고 상태 기반 이벤트 발생 건수-
sless_critical메트릭스 심각 무상태 이벤트 발생 건수-
sless_info메트릭스 정보성 무상태 이벤트 발생 건수-
sless_warning메트릭스 경고 무상태 이벤트 발생 건수-

쿠버네티스 Pod 통계(kube_pod_stat) 지표

kube_pod_stat 카테고리 클러스터 프로젝트는 클러스터 전체를 대상으로 데이터를 수집하며 네임스페이스 프로젝트는 해당 네임스페이스에 소속된 Pod에 대해서만 수집합니다.

  • 대상: 클러스터 프로젝트, 네임스페이스 프로젝트
  • 수집 간격: 5초
  • 통계 데이터: 5분, 1시간

Tags

태그명설명비고
kind유형클러스터 프로젝트의 경우 cluster 고정 값을 가지며 네임스페이스 프로젝트의 경우 Deployment 또는 ReplicaSet에 대해서만 수집합니다.
name쿠버네티스 자원 이름클러스터 프로젝트는 name 값이 없으며 네임스페이스 프로젝트는 Deployment 또는 ReplicaSet의 이름입니다.

Fields

필드명단위설명비고
available_pod정수Phase가 Running 상태인 Pod의 수-
desired_pod정수metadata.ownerReferences 없이 배포된 Pod 수와 쿠버네티스 오브젝트(ReplicaSet, Daemonset, StatefulSet)에 정의된 Desired Pod 수의 합-
kubectl get pods -A로 조회한 Pod 수와 동일-
limit_cpu밀리 코어CPU Limit 사용량-
limit_memory바이트Memory Limit 사용량-
request_cpu밀리 코어CPU Request 사용량-
request_memory바이트Memory Request 사용량-
running_container정수Running Container 수-
stopped_container정수Stopped Container 수-
waiting_container정수Waiting Container 수-

쿠버네티스 Horizontal Pod Autoscaler(HPA)(kube_hpa_stat) 지표

와탭에서 사용하는 ClusterRole에 HPA가 추가되어야 지표 수집이 시작됩니다.

  • 대상: 클러스터 프로젝트
  • 수집 간격: 5초
  • 통계 데이터: 5분, 1시간

Tags

태그명설명비고
nameHPA 이름-

Fields

필드명단위설명비고
currentReplicas정수현재 레플리카 수-
desiredReplicas정수Desired 레플리카 수-
lastScaleTime정수마지막으로 스케일이 변경된 TimeStamp-
maxReplicas정수최대 레플리카 수-
minReplicas정수최소 레플리카 수-