本文へスキップ

Kubernetes指標

Kubernetesから収集される指標の一部は、サーバーモニタリング、アプリケーションと同じです。

コンテナ(container) 指標

containerカテゴリは、コンテナのPODに設定されているすべてのユーザー定義ラベルをタグとして収集します。

  • 対象:クラスタープロジェクト、ネームスペースプロジェクト
  • 収集間隔:5秒
  • 統計データ:5分

Tags

タグ名説明備考
agentOidノードエージェント固有IDユニーク値
agentPcodeプロジェクトコードユニーク値
command実行コマンド-
containerIdコンテナIDユニーク値
containerKeyコンテナKey-
createdコンテナが生成されたTimeStamp-
imageコンテナイメージ名-
imageHashイメージハッシュ値-
imageIdイメージID-
k8s-appPodのラベルk8s-appに対する値-
microOidコンテナにインストールされたWhaTap APMエージェントの固有ID-
nameコンテナ名-
namespaceコンテナが所属するネームスペース-
namespaceHashコンテナが所属するネームスペースのハッシュ値-
okindコンテナにインストールされているWhaTap APMエージェントに指定したOKINDの固有ID-
okindNameコンテナにインストールされているWhaTap APMエージェントに指定したOKIND名-
onameコンテナにインストールされているWhaTap APMエージェント名-
onodeコンテナが実行されているノードエージェントの固有ID-
onodeNameコンテナが動作しているノード名-
podHashコンテナのPodハッシュ値-
podNameコンテナのPod名-
replicaSetHashコンテナのレプリカセットハッシュ値-
replicaSetNameコンテナのレプリカセット名-
whatap_projectコンテナが属するWhaTapプロジェクト名-

Fields

フィールド名単位説明(Shortname、 Name、 Description)
blkio_rbpsバイトIoReadBytes
Container Block I/O Read Byte
コンテナ全体ブロックデバイスの1秒当たり読み込んだバイトの合計
blkio_riops件数IoReadIops
Container Block I/O Read IOPS
コンテナ全体ブロックデバイスの1秒当たり読み込んだ数の合計
blkio_wbpsバイトIoWriteBytes
Container Block I/O Write Byte
コンテナ全体ブロックデバイスの1秒当たり書き込んだバイトの合計
blkio_wiops件数IoWriteIops
Container Block I/O Write IOPS
コンテナ全体ブロックデバイスの1秒当たり書き込んだ数の合計
cpu_per_quotaパーセントCpuByLimit
Container CPU Usage by Limit (%)
CPU Limit基準CPUの全体使用率
cpu_quotaミリコアCpuLimit
Container CPU Limit (core)
コンテナのCPU Limit割当量
Limitが未設定の場合、コンテナが実行中のノードのCPU全体コアがミリコア単位で表示されます。
cpu_quota_percentパーセントCpuLimitByNode
Container CPU Limit by Node (%)
ノードCPUに対するコンテナCPU Limit割当量
Limit未設定の場合、コンテナが作動中の当該ノードのCPU全体コアがパーセントで表示される。
cpu_sysパーセントCpuSysByNode
Container CPU Sys Usage by Node (%)
ノードCPUに対するコンテナCPU System使用率
cpu_throttledperiods件数CpuThrottledCnt
Container CPU Throttling Count
コンテナCPU Throttled数
cpu_throttledtimeナノ秒CpuThrottledTime
Container CPU Throttling Time
コンテナCPU Throttled時間
cpu_totalパーセントCpuByNode
Container CPU Usage by Node (%)
ノードCPUに対するコンテナCPU使用率
cpu_total_milliミリコアCpuTotUsage
Container CPU Usage (millicore)
コンテナCPU使用量
cpu_userパーセントCpuUserByNode
Container CPU User Usage by Node (%)
ノードCPUに対するコンテナCPU User使用率
cpu_requestミリコアCpuRequest
Container CPU Request (core)
コンテナCPU要求
cpu_per_requestパーセントCpuByRequest
Container CPU Usage by Request (%)
コンテナCPUリクエストに対する使用率
= cpu_total_milli / cpu_request * 100
mem_failcnt件数MemFailCnt
Container Memory Failure Count
コンテナメモリLimit到達件数
mem_limitバイトMemLimit
Container Memory Limit (byte)
コンテナのメモリLimitサイズ
mem_maxusageバイトMemMaxUsage
Container Memory Max Usage (byte)
コンテナメモリの最大使用量の記録値
mem_percentパーセントMemWsByLimit
Container Memory Working Set by Limit (%)
コンテナメモリLimit基準working set使用量
= mem_working_set / mem_limit * 100
mem_totalcacheバイトMemTotCache
Container Memory Total Cache (byte)
コンテナ全体のキャッシュサイズ
mem_totalpgfault回数MemTotPageFaultCnt
Container Memory Total Page Fault Count
コンテナPage Fault回数
mem_totalrssバイトMemTotRss
Container Memory Total RSS (byte)
コンテナRSSメモリ全体サイズ
mem_totalrss_percentパーセントMemTotRssByLimit
Container Memory Total RSS by Limit (%)
コンテナRSSメモリ全体使用率
mem_totalunevictableバイトMemTotUnevictable
Container Memory Total Unevictable (byte)
コンテナUnevictable Memory全体サイズ
mem_usageバイトMemUsage
Container Memory Usage (byte)
コンテナメモリ使用量
mem_working_setバイトMemWs
Container Memory Working Set (byte)
コンテナメモリworking set
= mem_usage - inactive file
mem_working_set_percentパーセントMemWsByLimit
Container Memory Working Set by Limit (%)
コンテナメモリLimit基準working set使用量
= mem_working_set / mem_limit * 100
mem_requestバイトMemRequest
Container Memory Request (byte)
コンテナのメモリRequestサイズ
mem_per_requestパーセントMemWsByRequest
Container Memory Working Set by Request (%)
コンテナメモリRequest基準working set使用量
= mem_working_set / mem_request * 100
network_rbpsバイトNetRxBytes
Container Network Receive Byte
コンテナ全体ブロックデバイスの1秒当たり読み取りバイトの合計
network_rdroppedバイトNetRxDropped
Container Network Receive Dropped
コンテナネットワーク受信dropped数
network_rerrorバイトNetRxError
Container Network Receive Error
コンテナのネットワーク受信エラー数
network_riopsバイトNetRxIops
Container Network Receive IOPS
コンテナのネットワーク受信数
network_wbpsバイトNetTxByes
Container Network Transmit Byte
コンテナのネットワーク送信データサイズ
network_wdropped件数NetTxDropped
Container Network Transmit Dropped
コンテナのネットワーク送信dropped数
network_werror件数NetTxError
Container Network Transmit Error
コンテナのネットワーク送信エラー数
network_wiops件数NetTxIops
Container Network Transmit IOPS
コンテナのネットワーク送信数
node_cpuパーセントConNodeCpu
Container Work Node CPU Usage (%)
コンテナ実行中のノードのCPU使用量
node_memパーセントConNodeMem
Container Work Node Memory Usage (%)
コンテナ実行中のノードのメモリ使用量
phase文字列Podライフサイクル
① PENDING
② RUNNING
③ SUCCEEDED
④ FAILED
⑤ UNKNOWN
restart_count整数ConRestartCnt
Container Restart Count
コンテナの再起動回数
state整数ConState
Container Current State
コンテナステータスコード
① RUNNING = 114
② PAUSE = 112
③ RESTARTING = 101
④ OOMKILLED = 111M
⑤ DEAD = 100
⑥ WAITING = 119
status文字列ConStatus
Container Current Status
コンテナステータス情報
① runningステータス:uptime情報表示
② waiting/terminatedステータス:ステータスに対するreason情報の表示

Kubernetesノード(kube_node) 指標

kube_nodeカテゴリは、ノードに設定されているすべてのユーザー定義ラベルをタグとして収集します。

  • 対象:クラスタープロジェクト、ネームスペースプロジェクト
  • 収集間隔:5秒
  • 統計データ:5分、1時間

Tags

タグ名説明備考
nodeNameノード名-

Fields

フィールド名単位説明備考
allocatable_cpuミリコアノード割り当て可能なCPU量-
allocatable_memoryバイトノード割り当て可能なメモリ量-
allocatable_pods整数ノード割り当て可能なPod数-
limit_cpuミリコアノードCPU Limit合計-
limit_memoryバイトノードメモリLimit合計-
pods整数ノードPodの総個数-
request_cpuミリコアノードCPU Request合計-
request_memoryバイトノードメモリRequest合計-

Kubernetesイベント(kube_event) 指標

kube_eventカテゴリは、クラスタープロジェクトの場合は、クラスター全体を対象としてデータを収集し、ネームスペースプロジェクトの場合は、ネームスペースで発生したイベントのみ収集します。

  • 対象:クラスタープロジェクト、ネームスペースプロジェクト
  • 収集間隔:5秒
  • 統計データ:5分、1時間

Tags

タグ名説明備考
field_pathField Path-
kind種類イベントが発生したオブジェクトの種類
nameオブジェクト名イベントが発生したKubernetesオブジェクト名
namespaceネームスペース名イベントが発生したネームスペース
reasonイベント発生理由-
typeイベントタイプWarningまたはNormal
uidUIDイベントが発生したオブジェクト

Fields

フィールド名単位説明備考
action文字列アクション名-
count件数イベント発生件数-
event_time整数イベント初期発生TimeStamp-
first_timestamp整数イベント初期発生時間-
last_timestamp整数イベント最終発生時間-
message文字列イベントメッセージ-
reasonFiled文字列イベントReason-
reporting_component文字列現在のイベントを報告するコンポーネント-
reporting_instance文字列現在のイベントを報告するインスタンス-
series_last_observed_time整数series last observed time-

Kubernetesクラスター(kube_stat) 指標

kube_statカテゴリは、クラスタープロジェクトのクラスター全体を対象として収集し、ネームスペースプロジェクトは、そのネームスペースに関連するオブジェクトのみ対象に収集します。

  • 対象:クラスタープロジェクト、ネームスペースプロジェクト
  • 収集間隔:5秒
  • 統計データ:5分、1時間

Tags

タグ名説明備考
namekube_stat固定値

Fields

フィールド名単位説明備考
alloctable_cpuミリコアクラスター全体のコア数クラスタープロジェクトOnly
alloctable_ephemeral-storageバイトクラスター全体の割り当て可能なephemeral storageクラスタープロジェクトOnly
alloctable_hugepages-1giバイトクラスター全体の割り当て可能なhugepages-1GiクラスタープロジェクトOnly
alloctable_hugepages-2miバイトクラスター全体の割り当て可能なhugepages-2MiクラスタープロジェクトOnly
alloctable_memoryバイトクラスタ全体の割り当て可能なメモリクラスタープロジェクトOnly
alloctable_pods整数割り当て可能なPod数-
available_pod整数PhaseがRunning状態のPodの数-
desired_pod整数metadata.ownerReferencesなしで配布されたPod数とクバネティスオブジェクト(ReplicaSet, Daemonset, StatefulSet)に定義されたDesired Pod数の合計-
kubectl get pods -Aで参照したPod数と同じ-
nodes整数ノード数-
pod_phase_Pending整数PendingステータスPod数-
pod_phase_Running整数Running状態Pod数-
running_containers整数Runningコンテナ数-
stopped_containers整数Stoppedコンテナ数-
total_available_cpu整数割り当て可能なCPUの合計-
total_available_memory整数割り当て可能なMemory合計-
total_limit_cpuミリコアLimit CPU合計-
total_limit_memoryバイトLimit Memory合計-
total_request_cpuミリコアRequest CPU合計-
total_request_memoryバイトRequest Memory合計-
unavailable_pod整数PhaseがRunning状態ではない(Pending, Failed, Succedded) Pod数-
waiting_containers整数Waiting Container数-

Pod(kube_pod) 指標

kube_podカテゴリは、Podに設定されているすべてのユーザー定義ラベルをタグとして収集します。

  • 対象:マスター(クラスター) プロジェクト、ネームスペースプロジェクト
  • 収集間隔:5秒
  • 統計データ:5分

Tags

タグ名説明備考
agentOidノードエージェント固有IDユニーク値
agentPcodeプロジェクトコードユニーク値
command実行コマンド-
containerIdsPodに属しているコンテナID-
containerIdsCountcontainerIdsの個数-
containerKeysPodに属しているコンテナIDのハッシュ値-
containerKeysCountcontainerKeysの個数-
DaemonSetPodのDaemonSet名-
DeploymentDeployment-
k8s-appPodのラベルk8s-appに対する値-
microOidPodのコンテナ内部アプリケーションで実行中のエージェントのid-
microOidsPodの複数コンテナ内部のアプリケーションで実行中のエージェントの複数id-
microOidsCountmicroOidsの個数-
namePod名-
onamesPodのコンテナ内部アプリケーションで実行中のエージェントの名称-
onamesCountonamesの個数-
podNamePod名-
namespacePodが所属するネームスペース-
namespaceHashPodが所属するネームスペースハッシュ値-
replicaSetHashPodのReplicaSetハッシュ値-
replicaSetNamePodのReplicaSet名-
whatap_projectPodが属するWhaTapプロジェクト名-

Fields

フィールド名単位(Shortname, Name, Description)
blkio_rbpsバイトIoReadBytes
Pod Block I/O Read Byte
Pod全体ブロックデバイスの1秒あたり読み込みバイトの合計
blkio_riops件数IoReadIops
Pod Block I/O Read IOPS
Pod全体ブロックデバイスの1秒当たり読み込み件数の合計
blkio_wbpsバイトIoWriteBytes
Pod Block I/O Write Byte
Pod全体ブロックデバイスの1秒あたり書き込みバイトの合計
blkio_wiops件数IoWriteIops
Pod Block I/O Write IOPS
Pod全体ブロックデバイスの1秒当たり書き込み件数の合計
cpu_per_limitパーセントCpuByLimit
Pod CPU Usage by Limit (%)
CPU Limit基準CPUの全体使用率
cpu_per_requestパーセントCpuByRequest
Pod CPU Usage by Limit (%)
CPU Limit基準CPUの全体使用率
cpu_quota_percentパーセントCpuLimitByNode
Pod CPU Limit by Node (%)
ノードCPUに対するPod CPU Limit割当量
Limit未設定の場合、Podが実行中のノードのCPU全体コアがパーセントで表示される。
cpu_sysパーセントCpuSysByNode
Pod CPU Sys Usage by Node (%)
ノードCPUに対するPod CPU System使用率
cpu_throttledperiods件数CpuThrottledCnt
Pod CPU Throttling Count
Pod CPU Throttled件数
cpu_throttledtimeナノ秒CpuThrottledTime
Pod CPU Throttling Time
Pod CPU Throttled時間
cpu_totalパーセントCpuByNode
Pod CPU Usage by Node (%)
ノードCPUに対するPod CPU使用率
cpu_total_milliミリコアCpuTotUsage
Pod CPU Usage (millicore)
Pod CPU使用率
cpu_userパーセントCpuUserByNode
Pod CPU User Usage by Node (%)
ノードCPUに対するPod CPU User使用率
cpu_requestミリコアCpuRequest
Pod CPU Request (core)
Pod CPUリクエスト
cpu_per_requestパーセントCpuByRequest
Pod CPU Usage by Request (%)
Pod CPUリクエストに対する使用率
= cpu_total_milli / cpu_request * 100
mem_totalcacheバイトMemTotCache
Pod Memory Total Cache (byte)
Pod全体のキャッシュサイズ
mem_totalpgfault回数MemTotPageFaultCnt
Pod Memory Total Page Fault Count
Pod PageFault回数
mem_totalrssバイトMemTotRss
Pod Memory Total RSS (byte)
Pod RSSメモリ全体サイズ
mem_totalrss_percentパーセントMemTotRssByLimit
Pod Memory Total RSS by Limit (%)
Pod RSSメモリ全体使用率
mem_totalunevictableバイトMemTotUnevictable
Pod Memory Total Unevictable (byte)
Pod Unevictable Memory全体サイズ
mem_usageバイトMemUsage
Pod Memory Usage (byte)
Podメモリ使用量
mem_working_setバイトMemWs
Pod Memory Working Set (byte)
Podメモリworking set
= mem_usage - inactive file
memory_requestバイトMemRequest
Pod Memory Request (byte)
Podメモリー要求量
memory_limitバイトMemLimit
Pod Memory Limit (byte)
PodメモリLimit割当量
memory_per_requestパーセントMemByRequest
Pod Memory by Request (%)
Podメモリ要求量基準使用量
memory_per_limitパーセントMemByLimit
Pod Memory by Limit (%)
PodメモリLimit基準使用量
network_rbpsバイトNetRxBytes
Pod Network Receive Byte
Pod全体ブロックデバイスの1秒あたり読み込みバイトの合計
network_rdroppedバイトNetRxDropped
Pod Network Receive Dropped
Podネットワーク受信のdropped件数
network_rerrorバイトNetRxError
Pod Network Receive Error
Podネットワーク受信エラー件数
network_riopsバイトNetRxIops
Pod Network Receive IOPS
Podネットワーク受信件数
network_wbpsバイトNetTxByes
Pod Network Transmit Byte
Podネットワーク送信データサイズ
network_wdropped件数NetTxDropped
Pod Network Transmit Dropped
Podネットワーク送信dropped件数
network_werror件数NetTxError
Pod Network Transmit Error
Podネットワーク送信エラー件数
network_wiops件数NetTxIops
Pod Network Transmit IOPS
Podネットワーク送信件数
phase文字列Phase
Pod Current Phase
Podライフサイクル
① PENDING
② RUNNING
③ SUCCEEDED
④ FAILED
⑤ UNKNOWN

次のフィールドは内部用に予約されています。

フィールド名説明備考
kube_sless_normalKubernetes情報イベント発生件数-
kube_sless_warningKubernetes警告イベント発生件数-
micro_sful_criticalapm重要ステータスベースのイベント発生件数-
micro_sful_infoapm情報ステータスベースのイベント発生件数-
micro_sful_warningapm警告ステータスベースのイベント発生件数-
micro_sless_criticalapm深刻状態イベント発生件数-
micro_sless_infoapm情報状態イベント発生件数-
micro_sless_warningapm警告状態イベント発生件数-
sful_criticalメトリクス重要状態ベースのイベント発生件数-
sful_infoメトリクス情報ステータスベースのイベント発生件数-
sful_warningメトリクス警告ステータスベースのイベント発生件数-
sless_criticalメトリクス重要状態イベント発生件数-
sless_infoメトリクス情報状態イベント発生件数-
sless_warningメトリクス警告状態イベント発生件数-

Kubernetes Pod統計(kube_pod_stat) 指標

kube_pod_statカテゴリのクラスタープロジェクトは、クラスター全体のデータを収集し、ネームスペースプロジェクトは、ネームスペースに所属するPodのデータのみ収集します。

  • 対象:クラスタープロジェクト、ネームスペースプロジェクト
  • 収集間隔:5秒
  • 統計データ:5分、1時間

Tags

タグ名説明備考
kind種類クラスタープロジェクトの場合は、clusterに固定値を持ち、ネームスペースプロジェクトの場合は、DeploymentまたはReplicaSet のみ収集します。
nameKubernetesリソース名クラスタープロジェクトにはname値がなく、ネームスペースプロジェクトはDeploymentまたはReplicaSetの名前です。

Fields

フィールド名単位説明備考
available_pod整数PhaseがRunning状態のPodの数-
desired_pod整数metadata.ownerReferencesなしで配布されたPod数とクバネティスオブジェクト(ReplicaSet, Daemonset, StatefulSet)に定義されたDesired Pod数の合計-
kubectl get pods -Aで参照したPod数と同じ-
limit_cpuミリコアCPU Limit使用量-
limit_memoryバイトMemory Limit使用量-
request_cpuミリコアCPU Request使用量-
request_memoryバイトMemory Request使用量-
running_container整数Running Container数-
stopped_container整数Stopped Container数-
waiting_container整数Waiting Container数-

Kubernetes Horizontal Pod Autoscaler(HPA)(kube_hpa_stat) 指標

WhaTapで使用するCluster RoleにHPAが追加されると、指標収集が開始されます。

  • 対象:クラスタープロジェクト
  • 収集間隔:5秒
  • 統計データ:5分、1時間

Tags

タグ名説明備考
nameHPA名-

Fields

フィールド名単位説明備考
currentReplicas整数現在のレプリカ数-
desiredReplicas整数Desiredレプリカ数-
lastScaleTime整数最後にスケールが変更されたTimeStamp-
maxReplicas整数最大レプリカ数-
minReplicas整数最小レプリカ数-