GPUメトリクス

WhaTapサーバーモニタリングのGPUパフォーマンスメトリクスは、NVIDIA GPU環境においてGPUサーバー、個別GPU、GPU使用プロセス、GPU障害イベントの観点からパフォーマンスおよび状態情報を収集して提供します。GPU使用率、演算リソース活用度、メモリ使用量、電力、温度、クロック、PCIe/NVLink転送量、ECCエラー、パフォーマンス制限状態、Xidイベントなどを確認でき、GPUサーバー全体の活用水準の把握から個別GPUのボトルネック分析、プロセス単位の原因追跡、ドライバー・ハードウェアの異常イベント確認まで段階的に分析できます。一部の指標はPhysical GPUのみで収集され、MIG環境では収集対象と解釈基準が異なる場合があるため、GPU Typeと収集対象を併せて確認することをお勧めします。また、XidイベントはNVIDIAドライバーがシステムログに記録した障害/イベント履歴に基づいて収集します。原因分析の際は、イベント発生時刻、GPU識別情報、Xid Code、PID、Task Name、詳細メッセージを併せて確認してください。

ノート

GPUモニタリングを有効にするには、エージェント設定が必要です。詳細はGPU機能設定を参照してください。

GPUパフォーマンスメトリクスは分析の観点に応じて、サーバー全体のGPU集計、個別GPU詳細、GPU使用プロセス、GPU Xidイベント基準の4つのカテゴリで提供します。

• infra_gpu

  サーバーに搭載されたすべてのGPUのステータスを集計し、GPUサーバー全体の観点からパフォーマンスと状態を確認できるカテゴリです。GPU使用率、メモリ、電力、温度、クロック、PCIe/NVLink、ECC、Violation状態を平均・合計・最大値基準で提供し、GPUサーバー全体の活用水準とボトルネックの可能性を素早く確認できます。

• infra_gpu_id

  個別GPU単位のパフォーマンスと状態を提供するカテゴリです。GPU別の使用率、演算リソース活用度、メモリ、温度、電力、クロック、PCIe/NVLink、ECC、Violation状態を確認し、特定のGPUで発生するボトルネックや制約状態を分析できます。Physical GPUとMIGインスタンスによって収集可能な指標が異なる場合があるため、GPU Typeと収集対象を併せて確認する必要があります。

• infra_gpu_process

  GPUを使用するプロセス単位のリソース使用情報を提供するカテゴリです。PID、プロセス名、ユーザー、GPU UUIDとともにSM使用率、メモリコントローラー使用率、エンコーダー/デコーダー使用率、FBメモリ使用量などを確認し、どのプロセスがGPUリソースを使用しているかを追跡できます。ただし、一部のプロセス別GPU使用率指標はGPU全体の指標と測定基準が異なる場合があるため、個別プロセスの寄与度を判断する際はGPU全体の指標と合わせて解釈することをお勧めします。

• infra_gpu_xid

  NVIDIAドライバーが記録したGPU Xidイベント情報を提供するカテゴリです。/var/log/messagesまたはシステムログに記録されたNVRM: Xidログを基に、Xid Code、GPU Index、PCI Bus ID、発生時刻、PID、Task Name、詳細メッセージを収集し、GPUドライバー、ハードウェア、PCIe、メモリ、アプリケーションエラーなどのGPU異常イベントを追跡できます。すべてのXidイベントが直ちにハードウェア障害を意味するわけではないため、Xid Codeの意味、発生頻度、同時点のGPUパフォーマンス指標、プロセス情報、システムログを併せて確認して解釈することをお勧めします。

GPUメトリクス詳細

カテゴリ別の収集指標の詳細内容は次のとおりです。

infra_gpu

サーバーに搭載されたGPU全体を集計した使用状態を収集するカテゴリです。GPU使用率、メモリ使用量、電力、温度、クロック、PCIe/NVLink処理量、ECC、violation状態などをサーバー全体のGPU観点で平均、合計、最大値などに再構成して提供します。GPUサーバー全体の活用水準とボトルネック、制約状態を把握する際に使用します。

• DCP（Datacenter Profiling）指標の収集には、nvidia-dcgmサービス（またはnv-hostengineプロセス）が起動している必要があります。
• Agent 2.9.16以上のバージョンでnvidiav2.collector=trueを設定すると、接続可能なNVML、DCGM Libraryを通じてメトリクスデータを自動的に収集します。（nvidia-smiまたはdcgmiクエリは使用しません。）
• デフォルト収集周期：30s

Field カテゴリフィールド名	Title パフォーマンスサマリー/パフォーマンス詳細/メトリクスエクスプローラーの指標名	Unit	Description	備考	メトリクス収集条件	最小サポートエージェントバージョン
name_50	GPU Name	string	該当GPUのモデル名を表す値です。ドライバーバージョンまたは収集経路によって表示文字列が若干異なる場合があります。			2.9.3
model_family	GPU Model Family	string	ドライバーバージョン、ファームウェア、収集経路によって異なる表示となりうるGPUモデル名を、A100、H100、L40Sなどの代表的なファミリー名に正規化した値です。モデル別の集計、フィルタリング、比較分析を一貫して実行するための識別子として使用します。			2.9.7
gpu_count	GPU Count	string	サーバーで認識されているPhysical GPUの数を表す値です。全GPU平均値、合計量、比率指標を解釈する際の基準となります。			2.9.3
gpu_utilization	GPU Utilization	%	サーバー内の個別GPU活用率の平均値です。Physical GPU環境では一般的なGPU Util値を意味し、MIG環境では個別インスタンスのGR Engine Active値を代表GPU使用率として活用できます。サーバー全体のGPUの全般的な活用水準を示す指標です。	搭載Physical GPUのAVG値	MIG有効環境では、nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.6
enc_util_206	Encoder Util	%	サーバー内の個別GPUのエンコーダー（Encoder）エンジン活用率の平均値です。動画エンコード作業がGPUでどの程度使用されているかを示します。値が高いほどNVENCファミリーエンジンの使用比率が高いことを意味します。	搭載Physical GPUのAVG値		2.9.3
dec_util_207	Decoder Util	%	サーバー内の個別GPUのデコーダー（Decoder）エンジン活用率の平均値です。動画デコード作業がGPUでどの程度使用されているかを示します。値が高いほどNVDECファミリーエンジンの使用比率が高いことを意味します。	搭載Physical GPUのAVG値		2.9.3
gr_engine_active_1001	GR Engine Active Util	%	サーバー内の個別GPUのGraphics/Compute Engine活性比率の平均値です。MIGインスタンス環境では、そのインスタンスのGPU使用率を代表的に解釈できる指標として活用します。	搭載Physical GPUのAVG値	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
sm_active_1002	SM Active Util	%	サーバー内の個別GPUのSM（Streaming Multiprocessor）活性比率の平均値です。実際の演算処理に使用されたSMリソースの全般的な使用水準を示します。	搭載Physical GPUのAVG値	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
sm_occupancy_1003	SM Occupancy	%	サーバー内の個別GPUのSM Occupancyの平均値です。アクティブワープがSMにどの程度充填されているかを示し、単純な活性率とは異なりSMリソース活用密度を表します。	搭載Physical GPUのAVG値	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
tensor_active_1004	Tensor Core Util	%	サーバー内の個別GPUのTensor Core活性比率の平均値です。AI/ディープラーニング演算のようにTensor Coreを使用するワークロードの比率を把握する際に役立ちます。	搭載Physical GPUのAVG値	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
fp64_active_1006	FP64 Compute Util	%	サーバー内の個別GPUのFP64演算活性比率の平均値です。倍精度（double precision）演算負荷水準を示します。	搭載Physical GPUのAVG値	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
fp32_active_1007	FP32 Compute Util	%	サーバー内の個別GPUのFP32演算活性比率の平均値です。単精度（single precision）演算負荷水準を示します。	搭載Physical GPUのAVG値	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
fp16_active_1008	FP16 Compute Util	%	サーバー内の個別GPUのFP16演算活性比率の平均値です。半精度（half precision）演算負荷水準を示し、AI推論/学習ワークロードで重要になる場合があります。	搭載Physical GPUのAVG値	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
memory_copy_util_204	Memory Copy Util	%	サーバー内の個別GPUのメモリコピーエンジン活用率の平均値です。GPUメモリとGPU内部演算領域間のデータ移動、Host ↔ Deviceコピー、Device ↔ Deviceコピーなどのメモリコピーやデータ移動経路がどの程度使用されているかを示す指標です。値が高いほど、GPU演算自体よりデータ移動負荷が大きいか、メモリコピー作業がボトルネックになる可能性があります。この値はメモリ容量使用率ではなく、メモリコピー/転送エンジンの活動水準として解釈する必要があります。	搭載Physical GPUのAVG値		2.9.3
dram_active_1005	DRAM Active Util	%	サーバー内の個別GPUのDRAM活性比率の平均値です。GPU DRAMメモリサブシステムがアクティブ状態だった比率を示します。GPUメモリ帯域幅がどの程度活発に使用されているかを示す指標で、メモリ読み取り/書き込み要求が多いか、メモリアクセス中心のワークロードで高くなる傾向があります。高い値が継続する場合、演算性能よりGPUメモリ帯域幅がボトルネックになっている状況かもしれません。この値はFB Memory Usedのようなメモリ使用容量ではなく、GPU DRAMが実際にどの程度バジーに動作したかを示す活性度指標です。	搭載Physical GPUのAVG値	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
fb_total_250	FB Total Memory	MiB	サーバー内の個別GPUのFB（Frame Buffer）全体メモリ容量を合計した値です。サーバー全体のGPUメモリ総量を示します。	搭載Physical GPUのSUM値		2.9.3
fb_free_251	FB Free Memory	MiB	サーバー内の個別GPUのFB空きメモリ容量を合計した値です。サーバー全体で利用可能なGPUメモリ総量を示します。	搭載Physical GPUのSUM値		2.9.3
fb_used_252	FB Used Memory	MiB	サーバー内の個別GPUのFB使用メモリ容量を合計した値です。サーバー全体のGPUメモリ使用総量を示します。	搭載Physical GPUのSUM値		2.9.3
fb_resv_253	FB Reserved Memory	MiB	サーバー内の個別GPUのFB予約メモリ容量を合計した値です。システム/ドライバー/ファームウェアなどによって予約されたGPUメモリ総量を示します。	搭載Physical GPUのSUM値		2.9.3
fb_USDP_254	FB Memory Usage	%	サーバー全体のFBメモリ使用率を示す指標です。個別GPUのメモリ使用率を単純平均せず、FB Used合計 / FB Total合計 * 100で再計算した値です。	搭載Physical GPUのAVG値		2.9.3
bar1_total_90	BAR1 Total Memory	MiB	サーバー内の個別GPUのBAR1全体容量を合計した値です。BAR1はホストがGPUメモリにアクセスするために使用するメモリマッピング領域で、サーバー全体のBAR1総量を示します。	搭載Physical GPUのSUM値		2.9.3
bar1_used_92	BAR1 Used Memory	MiB	サーバー内の個別GPUのBAR1使用量を合計した値です。サーバー全体で現在使用中のBAR1メモリ総量を示します。	搭載Physical GPUのSUM値		2.9.3
bar1_free_93	BAR1 Free Memory	MiB	サーバー内の個別GPUのBAR1空き容量を合計した値です。サーバー全体で利用可能なBAR1総量を示します。	搭載Physical GPUのSUM値		2.9.3
bar1_usdp	BAR1 Memory Usage	%	サーバー全体のBAR1使用率を示す指標です。個別GPUの比率を単純平均せず、BAR1 Used合計 / BAR1 Total合計 * 100で再計算した値です。	搭載Physical GPUのAVG値		2.9.3
ecc_sbe_aggregate_total_312	ECC SBE Total	count	サーバー内の個別GPUのECC Single Bit Error累積カウンターを合計した値です。サーバー全体で累積された単一ビットECCエラーの総量を示します。	搭載Physical GPUのSUM値		2.9.3
ecc_dbe_aggregate_total_313	ECC DBE Total	count	サーバー内の個別GPUのECC Double Bit Error累積カウンターを合計した値です。サーバー全体で累積された二重ビットECCエラーの総量を示します。	搭載Physical GPUのSUM値		2.9.3
ecc_sbe_aggregate_delta_312	ECC SBE Delta	count	収集区間中にサーバー内の個別GPUのECC Single Bit Error増加分を合計した値です。直近の区間で新たに発生した単一ビットECCエラー量を示します。	搭載Physical GPUのSUM値		2.9.16
ecc_dbe_aggregate_delta_313	ECC DBE Delta	count	収集区間中にサーバー内の個別GPUのECC Double Bit Error増加分を合計した値です。直近の区間で新たに発生した二重ビットECCエラー量を示します。	搭載Physical GPUのSUM値		2.9.16
gpu_temp_150	GPU Temperature	°C	サーバー内の個別GPU温度の最大値を示す指標です。サーバー全体のGPUの中で最も高い温度を代表し、特定GPUの過熱の有無を素早く識別するために使用します。	搭載Physical GPUのMAX値		2.9.10
memTemp_140	GPU Memory Temperature	°C	サーバー内の個別GPUメモリ温度の最大値を示す指標です。一般的にHBMまたはGDDRメモリ基準の温度で、メモリの発熱状態や冷却異常の有無を確認する際に使用します。メモリ集約型ワークロードではGPUコア温度より先に上昇することがあるため、合わせて確認することをお勧めします。	搭載Physical GPUのMAX値		2.9.16
power_usage_155	Power Usage	watt	サーバー内の個別GPUの電力使用量を合計した値です。サーバー全体のGPUが消費している総電力をワット（W）単位で示します。	搭載Physical GPUのSUM値		2.9.3
energy_cumulative_daily_kwh	Energy Cumulative	kWh	当日00時を基準に累積されたサーバー全体GPUのエネルギー使用量を示す指標です。NVIDIAドライバー/DCGMなどを通じて収集したpowerUsage値を収集周期単位で積算して計算した参考用推定値で、別途の電力計測器で測定した正確な電力量とは差異がある場合があります。GPU別の電力使用推移と日次使用パターンを参考にする用途で活用します。	搭載Physical GPUのSUM値		2.9.16
fan_speed_191	Fan Speed	%	サーバー内の個別GPUのファン速度の平均値です。ファンが存在するGPUモデルで冷却装置の動作水準を示します。	搭載Physical GPUのAVG値		2.9.3
sm_clock_100	SM Clock	MHz	サーバー内の個別GPUのSMクロックの平均値です。演算ユニットが動作中の平均コアクロック水準を示します。	搭載Physical GPUのAVG値		2.9.3
memory_clock_101	Memory Clock	MHz	サーバー内の個別GPUのメモリクロックの平均値です。GPUメモリの動作速度水準を示します。	搭載Physical GPUのAVG値		2.9.3
video_clock_102	Video Clock	MHz	サーバー内の個別GPUのビデオエンジンクロックの平均値です。映像処理関連エンジンの動作速度水準を示します。	搭載Physical GPUのAVG値		2.9.3
pcie_tx_bytes_1009	PCIE TX	bytes/s	サーバー内の個別GPUのPCIe送信処理量を合計した値です。GPUからホストまたは外部へ転送されたPCIeデータ総量をbytes/s単位で示します。	搭載Physical GPUのSUM値	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
pcie_rx_bytes_1010	PCIE RX	bytes/s	サーバー内の個別GPUのPCIe受信処理量を合計した値です。GPUがホストまたは外部から受信したPCIeデータ総量をbytes/s単位で示します。	搭載Physical GPUのSUM値	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
pcie_tx_rx_bytes	PCIE Total	bytes/s	サーバー内の個別GPUのPCIe送受信処理量を合計した値です。PCIE TX + PCIE RXに該当するサーバー全体のPCIeデータ移動総量です。	搭載Physical GPUのSUM値	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.16
nvlink_tx_bytes_1011	NVLink TX	bytes/s	サーバー内の個別GPUのNVLink送信処理量を合計した値です。GPU間でNVLinkを通じて転送されたデータ総量をbytes/s単位で示します。	搭載Physical GPUのSUM値	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
nvlink_rx_bytes_1012	NVLink RX	bytes/s	サーバー内の個別GPUのNVLink受信処理量を合計した値です。GPU間でNVLinkを通じて受信されたデータ総量をbytes/s単位で示します。	搭載Physical GPUのSUM値	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
nvlink_tx_rx_bytes	NVLink Total	bytes/s	サーバー内の個別GPUのNVLink送受信処理量を合計した値です。NVLink TX + NVLink RXに該当するサーバー全体のGPU間通信総量です。	搭載Physical GPUのSUM値	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.16
power_violation_rate_240	Power Violation Rate	%	サーバー内の個別GPUの中で電力制限（power cap）違反比率が最も高い値を代表として示す指標です。電力制約によりパフォーマンス制限が発生しているGPUがあるかどうかを素早く識別するために使用します。	搭載Physical GPUのMAX値		2.9.16
thermal_violation_rate_241	Thermal Violation Rate	%	サーバー内の個別GPUの中で熱制約（thermal limit）違反比率が最も高い値を代表として示す指標です。過熱によるパフォーマンス制限の有無を素早く識別するために使用します。	搭載Physical GPUのMAX値		2.9.16
low_util_violation_rate_244	Low Util Violation Rate	%	サーバー内の個別GPUの中で低活用（low utilization）関連違反比率が最も高い値を代表として示す指標です。設定された低活用条件に該当するGPUがあるかどうかを確認するために使用します。	搭載Physical GPUのMAX値		2.9.16
board_limit_violation_rate_243	Board Limit Violation Rate	%	サーバー内の個別GPUの中でボード全体のハードウェア限界（board limit）関連違反比率が最も高い値を代表として示す指標です。電源部・ボード設計限界などボードレベルの制約が最も多くかかっているGPUを識別する際に使用します。	搭載Physical GPUのMAX値		2.9.16
sync_boost_violation_rate_242	Sync Boost Violation Rate	%	サーバー内の個別GPUの中で同期ブースト（sync boost）関連違反比率が最も高い値を代表として示す指標です。複数GPUの動作速度を合わせるための制約に最も大きく影響を受けているGPUを識別する際に使用します。	搭載Physical GPUのMAX値		2.9.16
reliability_violation_rate_245	Reliability Violation Rate	%	サーバー内の個別GPUの中で信頼性（reliability）保護関連違反比率が最も高い値を代表として示す指標です。安定性とハードウェア保護のための制約に最も大きく影響を受けているGPUを識別する際に使用します。	搭載Physical GPUのMAX値		2.9.16
power_violation_240	Power Violation	ns	収集区間中にサーバー内の個別GPUが電力制限（power cap）制約状態にあった時間を合計した値です。単位はns（ナノ秒）で、サーバー全体で電力制約によりパフォーマンス制限が発生した時間を総量の観点で示します。	搭載Physical GPUのSUM値		2.9.16
thermal_violation_241	Thermal Violation	ns	収集区間中にサーバー内の個別GPUが熱制限（thermal limit）制約状態にあった時間を合計した値です。単位はns（ナノ秒）で、サーバー全体で過熱によりパフォーマンス制限が発生した時間を総量の観点で示します。	搭載Physical GPUのSUM値		2.9.16
low_util_violation_244	Low Util Violation	ns	収集区間中にサーバー内の個別GPUが低活用関連制約状態にあった時間を合計した値です。単位はns（ナノ秒）で、サーバー全体で低活用条件違反状態がどの程度継続したかを総量の観点で示します。	搭載Physical GPUのSUM値		2.9.16
board_limit_violation_243	Board Limit Violation	ns	収集区間中にサーバー内の個別GPUがボード限界（board limit）制約状態にあった時間を合計した値です。単位はns（ナノ秒）で、電源部・ボード設計限界などボードレベルの制約が最も多くかかっているGPUを識別する際に使用します。	搭載Physical GPUのSUM値		2.9.16
sync_boost_violation_242	Sync Boost Violation	ns	収集区間中にサーバー内の個別GPUがsync boost関連制約状態にあった時間を合計した値です。単位はns（ナノ秒）で、複数GPUの動作速度を合わせるための制約に最も大きく影響を受けているGPUを識別する際に使用します。	搭載Physical GPUのSUM値		2.9.16
reliability_violation_245	Reliability Violation	ns	収集区間中にサーバー内の個別GPUが信頼性（reliability）保護制約状態にあった時間を合計した値です。単位はns（ナノ秒）で、安定性とハードウェア保護のための制約に最も大きく影響を受けているGPUを識別する際に使用します。	搭載Physical GPUのSUM値		2.9.16
response_timeout	Response Timeout	string	一定時間NVMLを通じたデータ収集が行われない場合、この値をFalseとして記録します。			2.9.19

infra_gpu_id

サーバーに搭載された個別GPU 1台単位のパフォーマンス/状態情報を収集するカテゴリです。GPU別のutilization、SM/DRAM/Tensor/FP演算使用率、メモリ容量/使用量、温度、電力、クロック、PCIe/NVLink、ECC、violation状態などを提供します。特定GPUの過熱、電力制限、メモリ不足、インターコネクトのボトルネックを確認する際に使用します。

• 収集対象をPhysical / MIGに区分する基準：ボード/カード全体のハードウェア状態を代表する指標かどうかに応じて、Physicalのみ収集すれば十分な対象はPhysical指標のみを収集します。
• DCP（Datacenter Profiling）指標の収集には、nvidia-dcgmサービス（またはnv-hostengineプロセス）が起動している必要があります。
• Agent 2.9.16以上のバージョンでnvidiav2.collector=trueを設定すると、接続可能なNVML、DCGM Libraryを通じてメトリクスデータを自動的に収集します。（nvidia-smiまたはdcgmiクエリは使用しません。）
• デフォルト収集周期：30s

Field カテゴリフィールド名	Title パフォーマンスサマリー/パフォーマンス詳細/メトリクスエクスプローラーの指標名	Unit	Description	対象	メトリクス収集条件	最小サポートエージェントバージョン
index	GPU Index	string	サーバー内のGPUを識別するためのインデックス値で、OSまたはドライバーが認識したGPUの順番を意味します。	Physical, MIG		2.9.3
name_50	GPU Name	string	該当GPUのモデル名を表す値です。ドライバーバージョンまたは収集経路によって表示文字列が若干異なる場合があります。	Physical, MIG		2.9.3
uuid_54	GPU UUID	string	該当GPUの固有識別子（UUID）です。再起動やデバイス順序の変更に関係なく、GPUを安定して識別する際に使用します。	Physical, MIG		2.9.3
gpuType	GPU Type	string	該当GPUのTypeをPhysicalとMIGで表示します。	Physical, MIG		2.9.3
modelFamily	GPU Model Family	string	該当GPUモデルを代表する上位モデル群の値を示します。ドライバーバージョンや収集経路によって同一のGPUでもモデル名が若干異なる場合があるため、A100、H100、L4などの共通基準の単純化されたモデル名に正規化して提供します。同一ファミリーのGPUを一貫して分類・集計・比較する際に使用します。	Physical, MIG		2.9.7
gpuUtilization	GPU Utilization	%	該当GPUの活用率を意味します。Physical GPU環境では一般的なGPU Util値を意味し、MIG環境ではGR Engine Active値を代表GPU使用率として解釈できます。	Physical, MIG	MIG有効環境では、nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.6
encUtil_206	Encoder Util	%	該当GPUのエンコーダー（Encoder）エンジン活用率を示します。値が高いほどNVENCファミリーエンジンの使用比率が高いことを意味します。	Physical		2.9.3
decUtil_207	Decoder Util	%	該当GPUのデコーダー（Decoder）エンジン活用率を示します。値が高いほどNVDECファミリーエンジンの使用比率が高いことを意味します。	Physical		2.9.3
grEngineActive_1001	GR Engine Active Util	%	該当GPUのGraphics/Compute Engine活性比率を示します。MIGインスタンス環境では、そのインスタンスのGPU使用率を代表的に解釈できる指標として活用します。	Physical, MIG	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
smActive_1002	SM Active Util	%	該当GPUのSM（Streaming Multiprocessor）活性比率を示します。実際の演算処理に使用されたSMリソースの全般的な使用水準を示します。	Physical, MIG	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
smOccupancy_1003	SM Occupancy	%	該当GPUのSM Occupancyを示します。アクティブワープがSMにどの程度充填されているかを示し、単純な活性率よりSMリソース活用密度をより正確に表します。	Physical, MIG	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
tensorActive_1004	Tensor Core Util	%	該当GPUのTensor Core活性比率を示します。AI/ディープラーニング演算のようにTensor Coreを使用するワークロードの比率を把握する際に役立ちます。	Physical, MIG	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
fp64Active_1006	FP64 Compute Util	%	該当GPUのFP64演算活性比率を示します。倍精度（double precision）演算負荷水準を示します。	Physical, MIG	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
fp32Active_1007	FP32 Compute Util	%	該当GPUのFP32演算活性比率を示します。単精度（single precision）演算負荷水準を示します。	Physical, MIG	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
fp16Active_1008	FP16 Compute Util	%	該当GPUのFP16演算活性比率を示します。半精度（half precision）演算負荷水準を示し、AI推論/学習ワークロードで重要になる場合があります。	Physical, MIG	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
memoryCopyUtil_204	Memory Copy Util	%	該当GPUのメモリコピーエンジンの使用率を示します。GPUメモリとGPU内部演算領域間のデータ移動、Host ↔ Deviceコピー、Device ↔ Deviceコピーなどのメモリコピーやデータ移動経路がどの程度使用されているかを示す指標です。値が高いほど、GPU演算自体よりデータ移動負荷が大きいか、メモリコピー作業がボトルネックになる可能性があります。この値はメモリ容量使用率ではなく、メモリコピー/転送エンジンの活動水準として解釈する必要があります。MIG有効のPhysical GPUはデータを収集できません。	Physical		2.9.3
dramActive_1005	DRAM Active Util	%	該当GPU DRAMメモリサブシステムがアクティブ状態だった比率を示します。GPUメモリ帯域幅がどの程度活発に使用されているかを示す指標で、メモリ読み取り/書き込み要求が多いか、メモリアクセス中心のワークロードで高くなる傾向があります。高い値が継続する場合、演算性能よりGPUメモリ帯域幅がボトルネックになっている状況かもしれません。この値はFB Memory Usedのようなメモリ使用容量ではなく、GPU DRAMが実際にどの程度バジーに動作したかを示す活性度指標です。	Physical, MIG	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
fbTotal_250	FB Total Memory	MiB	該当GPUのFB（Frame Buffer）全体メモリ容量を示します。	Physical, MIG		2.9.3
fbFree_251	FB Free Memory	MiB	該当GPUのFB空きメモリ容量を示します。現在利用可能なGPUメモリ量を意味します。	Physical, MIG		2.9.3
fbUsed_252	FB Used Memory	MiB	該当GPUのFB使用メモリ容量を示します。現在実際に占有されているGPUメモリ量を意味します。	Physical, MIG		2.9.3
fbResv_253	FB Reserved Memory	MiB	該当GPUのFB予約メモリ容量を示します。システム/ドライバー/ファームウェアなどによって予約されたGPUメモリ領域です。	Physical, MIG		2.9.3
fbUsdp_254	FB Memory Usage	%	該当GPUのFBメモリ使用率を示す指標です。FB Used / FB Total * 100で計算します。	Physical, MIG		2.9.3
bar1Total_90	BAR1 Total Memory	MiB	該当GPUのBAR1全体容量を示します。BAR1はホストがGPUメモリにアクセスするために使用するメモリマッピング領域です。	Physical, MIG		2.9.3
bar1Used_92	BAR1 Used Memory	MiB	該当GPUで現在使用中のBAR1メモリ容量を示します。	Physical, MIG		2.9.3
bar1Free_93	BAR1 Free Memory	MiB	該当GPUで利用可能なBAR1空き容量を示します。	Physical, MIG		2.9.3
bar1Usdp	BAR1 Memory Usage	%	該当GPUのBAR1使用率を示す指標です。BAR1 Used / BAR1 Total * 100で計算します。	Physical, MIG		2.9.3
eccSbeAggregateTotal_312	ECC SBE Total	count	該当GPUで累積されたECC Single Bit Errorの総数を示します。累積カウンターのため、継続的な傾向観察が重要です。	Physical		2.9.3
eccDbeAggregateTotal_313	ECC DBE Total	count	該当GPUで累積されたECC Double Bit Errorの総数を示します。二重ビットエラーは単一ビットエラーよりも深刻な状況を意味します。	Physical		2.9.3
eccSbeAggregateDelta_312	ECC SBE Delta	count	直近の収集区間中に新たに増加したECC Single Bit Errorの数を示します。その区間の新規単一ビットエラー発生量を確認する際に使用します。	Physical		2.9.16
eccDbeAggregateDelta_313	ECC DBE Delta	count	直近の収集区間中に新たに増加したECC Double Bit Errorの数を示します。その区間の新規二重ビットエラー発生量を確認する際に使用します。	Physical		2.9.16
gpuTemp_150	GPU Temperature	°C	該当GPUの現在温度を示します。個別GPU基準の過熱の有無を判断する代表的な指標です。	Physical		2.9.3
memTemp_140	GPU Memory Temperature	°C	該当GPUメモリの現在温度を示します。一般的にHBMまたはGDDRメモリ基準の温度で、メモリの発熱状態や冷却異常の有無を確認する際に使用します。メモリ集約型ワークロードではGPUコア温度より先に上昇することがあるため、合わせて確認することをお勧めします。	Physical		2.9.16
powerUsage_155	Power Usage	watt	該当GPUが現在消費している電力をワット（W）単位で示します。	Physical		2.9.3
powerRate	Power Rate	%	該当GPUの電力使用率を示します。電力使用量 / 電力上限 * 100として解釈し、電力上限に対してどの水準まで使用しているかを示します。	Physical		2.9.3
energyCumulativeDaily	Energy Cumulative	kWh	当日00時を基準に累積計算した該当GPUの日次エネルギー使用量です。NVIDIAドライバー/DCGMなどを通じて収集したpowerUsage値を収集周期単位で積算して計算した参考用推定値で、別途の電力計測器で測定した正確な電力量とは差異がある場合があります。GPU別の電力使用推移と日次使用パターンを参考にする用途で活用します。	Physical		2.9.16
pstate_190	Performance State	P	該当GPUの現在のパフォーマンス状態（P-state）を示す値です。数字が低いほど高いパフォーマンス状態を意味し、P0が最も高いパフォーマンス状態です。値の範囲は通常P0からP15で、実際の保存時にはプレフィックスPを除いた数字のみを使用します。例えばP0は0、P2は2として保存されます。	Physical		2.9.3
fanSpeed_191	Fan Speed	%	該当GPUファンの現在速度をパーセンテージで示します。ファンが存在するモデルで冷却装置の動作水準を示します。	Physical		2.9.3
smClock_100	SM Clock	MHz	該当GPUのSMクロックをMHz単位で示します。演算ユニットが動作中のコアクロック水準を示します。	Physical		2.9.3
memoryClock_101	Memory Clock	MHz	該当GPUのメモリクロックをMHz単位で示します。GPUメモリの動作速度を示します。	Physical		2.9.3
videoClock_102	Video Clock	MHz	該当GPUのビデオエンジンクロックをMHz単位で示します。映像処理関連エンジンの動作速度水準を示します。	Physical		2.9.3
pcieTxBytes_1009	PCIE TX	bytes/s	該当GPUからPCIeを通じて外部へ転送されたデータ処理量をbytes/s単位で示します。	Physical	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
pcieRxBytes_1010	PCIE RX	bytes/s	該当GPUがPCIeを通じて外部から受信したデータ処理量をbytes/s単位で示します。	Physical	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
pcieTxRxBytes	PCIE Total	bytes/s	該当GPUのPCIe送受信処理量の合計をbytes/s単位で示します。PCIE TX + PCIE RXに該当します。	Physical	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.16
nvlinkTxBytes_1011	NVLink TX	bytes/s	該当GPUからNVLinkを通じて他のGPUへ転送されたデータ処理量をbytes/s単位で示します。	Physical	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
nvlinkRxBytes_1012	NVLink RX	bytes/s	該当GPUがNVLinkを通じて他のGPUから受信したデータ処理量をbytes/s単位で示します。	Physical	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.3
nvlinkTxRxBytes	NVLink Total	bytes/s	該当GPUのNVLink送受信処理量の合計をbytes/s単位で示します。NVLink TX + NVLink RXに該当します。	Physical	nvidia-dcgm serviceまたはnv-hostengineプロセスの起動が必須	2.9.16
powerViolationRate_240	Power Violation Rate	%	該当GPUが電力制限（power cap）制約状態にあった比率を示す指標です。電力制限によりパフォーマンス制限がどの程度発生したかを示します。	Physical		2.9.16
thermalViolationRate_241	Thermal Violation Rate	%	該当GPUが熱制限（thermal limit）制約状態にあった比率を示す指標です。過熱によりパフォーマンス制限がどの程度発生したかを示します。	Physical		2.9.16
lowUtilViolationRate_244	Low Util Violation Rate	%	該当GPUが低活用（low utilization）関連制約状態にあった比率を示す指標です。設定された低活用条件に該当する状態がどの程度発生したかを示します。	Physical		2.9.16
boardLimitViolationRate_243	Board Limit Violation Rate	%	該当GPUがボード全体のハードウェア限界（board limit）関連制約状態にあった比率を示す指標です。電源部・ボード設計限界などボードレベルの制約によりパフォーマンス制限がどの程度発生したかを示します。	Physical		2.9.16
syncBoostViolationRate_242	Sync Boost Violation Rate	%	該当GPUが同期ブースト（sync boost）関連制約状態にあった比率を示す指標です。複数GPUの動作速度を合わせるための制約によりパフォーマンス制限がどの程度発生したかを示します。	Physical		2.9.16
reliabilityViolationRate_245	Reliability Violation Rate	%	該当GPUが信頼性（reliability）保護関連制約状態にあった比率を示す指標です。安定性とハードウェア保護のための制約によりパフォーマンス制限がどの程度発生したかを示します。	Physical		2.9.16
powerViolation_240	Power Violation	ns	収集区間中に該当GPUが電力制限（power cap）制約状態にあった時間を示す値です。単位はns（ナノ秒）で、電力制限によりパフォーマンス制限が発生した時間を示します。	Physical		2.9.16
thermalViolation_241	Thermal Violation	ns	収集区間中に該当GPUが熱制限（thermal limit）制約状態にあった時間を示す値です。単位はns（ナノ秒）で、過熱によりパフォーマンス制限が発生した時間を示します。	Physical		2.9.16
lowUtilViolation_244	Low Util Violation	ns	収集区間中に該当GPUが低活用関連制約状態にあった時間を示す値です。単位はns（ナノ秒）で、低活用条件違反状態がどの程度継続したかを示します。	Physical		2.9.16
boardLimitViolation_243	Board Limit Violation	ns	収集区間中に該当GPUがボード全体のハードウェア限界（board limit）関連制約状態にあった時間を示す値です。単位はns（ナノ秒）で、ボードレベルの制約によりパフォーマンス制限が発生した時間を示します。	Physical		2.9.16
syncBoostViolation_242	Sync Boost Violation	ns	収集区間中に該当GPUが同期ブースト（sync boost）関連制約状態にあった時間を示す値です。単位はns（ナノ秒）で、複数GPUの動作速度を合わせるための制約によりパフォーマンス制限が発生した時間を示します。	Physical		2.9.16
reliabilityViolation_245	Reliability Violation	ns	収集区間中に該当GPUが信頼性（reliability）保護制約状態にあった時間を示す値です。単位はns（ナノ秒）で、安定性とハードウェア保護のための制約によりパフォーマンス制限が発生した時間を示します。	Physical		2.9.16

infra_gpu_process

GPUを使用する個別プロセス単位のGPUおよびシステムリソース使用情報を収集するカテゴリです。GPU index/UUID、PID、process name/type、SM使用率、memory controller使用率、encoder/decoder使用率、FB memory使用量、保護メモリ（CCPM）などを提供します。またCPU使用率、RSSメモリ、process I/O情報も合わせて提供し、GPUリソース使用原因だけでなくCPU・メモリ・I/Oボトルネックの可能性まで、プロセスの観点から分析できます。

• Agent 2.9.16以降、nvidiav2.collector=trueを設定するとMIG環境でプロセスとMIGの対応関係を確認できます。
• デフォルト収集周期：30s

Field カテゴリフィールド名	Title パフォーマンスサマリー/パフォーマンス詳細/メトリクスエクスプローラーの指標名	Unit	Description	備考	メトリクス収集条件	最小サポートエージェントバージョン
index	GPU Index	string	このプロセスが実行されているGPUのindex値を意味します。サーバー内でGPUを区別するための順番として使用します。	Agent 2.9.16以上：MIGに割り当てられたプロセス情報を確認可能		2.9.3
uuid	GPU UUID	string	このプロセスが実行されているGPUのUUIDを意味します。GPUの固有識別子で、indexと異なりデバイス順序の変更に関係なくGPUを安定して識別する際に使用します。			2.9.3
pid	Process ID	string	GPUを使用中のプロセスのPID（Process ID）を意味します。			2.9.3
process_name	Process Command	string	GPUを使用するプロセスの名前を意味します。例えばpython、cuda_program、Xorgなどが表示される場合があります。			2.9.3
process_type	Process Type	string	実行中のGPUプロセスのタイプを意味します。CはComputeプロセス（CUDA、AI/演算作業）、GはGraphicsプロセス（GUI、レンダリング、ディスプレイアクセラレーション）を意味します。環境によって両方のタイプが共存する場合があります。			2.9.3
owner	Owner	string	このプロセスを実行したユーザーアカウント（user）を示す値です。			2.9.16
args	Arguments	string	このプロセスの実行arguments（コマンドライン引数）を示す値です。			2.9.16
stime	StartTime	string	このプロセスの開始時刻をepoch time基準で示した値です。			2.9.16
gpu_utilization	GPU Utilization	%	このプロセスが収集時点でバインドされているGPUデバイス全体のGPU Utilizationを表示します。この値はプロセス別に直接測定したGPU使用率ではなく、そのプロセスが接続されているGPU全体の使用率をプロセス情報と合わせて示す値です。そのため、同一GPUを使用する複数のプロセスには同一または類似した値が表示される場合があり、この値だけで個別プロセスがGPU使用率にどの程度寄与したかを判断してはいけません。			2.9.16
sm_util	SM Util	%	このプロセスがGPUのSM（Streaming Multiprocessor）演算リソースをどの程度使用しているかを示す比率です。実際の演算処理に使用されたGPUコアリソースの活用水準を示し、値が高いほどそのプロセスがGPU演算リソースを強く使用していることを意味します。ただし、この値はプロセス観点のSM使用率であり、GPUデバイス全体を基準に測定されるSM Active Util（%）とは測定基準が異なる場合があります。そのため、特定プロセスのSM Utilが高くても、GPU全体の観察区間のアイドル時間、カーネル間ギャップ、他のプロセスとのスケジューリング、MIG/Time-slicingの影響などによって、GPUのSM Active Utilはより低くまたは異なる値を示す場合があります。（MIG Instanceを使用するプロセスの場合、ドライバーおよびモニタリングインターフェイスの提供範囲の制限により、プロセス別のSM Util値が収集されないか、画面に表示されない場合があります。）			2.9.3
mem_controller_util	Memory Controller Util	%	このプロセスがGPUメモリコントローラーをどの程度使用しているかを示す比率です。VRAMの容量をどの程度占有しているかではなく、GPUメモリへの読み取り/書き込みおよびデータ移動要求がどの程度活発だったかを示す指標です。値が高いほど、そのプロセスがメモリ帯域幅またはメモリアクセス経路を多く使用している可能性があります。ただし、この値はプロセス観点のメモリコントローラー使用率であり、GPUデバイス全体を基準に測定されるMemory Copy Util（%）またはDRAM Active Util（%）とは意味が異なります。Memory Copy UtilはGPU全体のメモリコピー/転送エンジン使用率に近く、DRAM Active UtilはGPU DRAMが観察区間中に読み取り/書き込み要求でアクティブ状態だった比率に近いです。（MIG Instanceを使用するプロセスの場合、ドライバーおよびモニタリングインターフェイスの提供範囲の制限により、プロセス別のSM Util値が収集されないか、画面に表示されない場合があります。）			2.9.15
enc_util	Encoder Util	%	このプロセスがGPUエンコーダー（Encoder）エンジンをどの程度使用しているかを示す比率です。主に動画エンコード、ストリーミング、映像保存/圧縮作業で増加します。			2.9.3
dec_util	Decoder Util	%	このプロセスがGPUデコーダー（Decoder）エンジンをどの程度使用しているかを示す比率です。主に圧縮された動画ストリームのデコード、再生、映像分析前処理過程で増加します。			2.9.3
fb_used	FB Used	MiB	このプロセスが使用中のFrame Buffer（GPUメモリ）のサイズを示します。単位はMiBで、このプロセスが占有しているVRAM使用量として解釈できます。			2.9.3
ccpm	CCPM	MiB	このプロセスが使用中のConfidential Computing Protected Memoryの使用量を示します。単位はMiBで、NVIDIA H100のようにConfidential Computingをサポートするあ GPUで活用できます。この機能をサポートしないGPUでは0と表示される場合があります。			2.9.3
cpu	CPU	%	このプロセスが使用した全体CPU使用率を意味します。			2.9.15
rss	RSS	Byte	このプロセスのRSS（Resident Set Size）値で、現在システムメモリに読み込まれているメモリのサイズを意味します。			2.9.15
total_char_io	Process IO Total	Bytes/s	このプロセスが毎秒発生させる全体Character基づくI/O（char I/O）処理量を意味します。ディスクだけでなく、パイプ、ターミナル、バッファ、キャッシュ層へのI/Oも含まれる場合があるため、実際の物理ディスクI/Oより大きくなる場合があります。			2.9.15

infra_gpu_xid

NVIDIAドライバーが/var/log/messagesに記録したNVRM: Xidログを解析してGPU障害/イベント履歴を収集するカテゴリです。Xid Code、GPU Index、PCI Bus ID、関連PID/プロセス名、原文メッセージを提供し、GPUエラーの発生時点、対象GPU、関連プロセス、エラー種別を追跡する際に使用します。Xidは単純なアプリケーションエラーからドライバー・ハードウェア・PCIeの問題まで多様な原因を含む場合があるため、コードの意味と発生頻度、GPU状態指標、システムログを併せて分析することが重要です。

• Agent 2.9.19以上からサポートします。
• 基本収集周期: 60s

Field カテゴリフィールド名	Title パフォーマンスサマリー/詳細/メトリクスエクスプローラー指標名	Unit	Description	備考	メトリクス収集条件	最小サポートAgent Version
index	GPU Index	string	Xidイベントが発生したGPUのインデックスです。サーバー内のGPUデバイスを識別するための番号で、nvidia-smiに表示されるGPU Indexとマッチングして障害が発生したGPUを確認する際に使用します。			2.9.19
pcieBusId	PCI Bus ID	string	Xidイベントが発生したGPUのPCI Bus IDです。GPU Indexが変更される可能性がある環境で物理GPUを識別するための補助識別子として使用でき、同一サーバー内のGPUデバイス位置を確認する際に参照します。			2.9.19
agentTimestamp	Agent Timestamp	string	/var/log/messagesに記録された実際のイベント発生時刻です。			2.9.19
xidCode	XID Code	string	NVIDIAドライバーから報告されたXidエラーコードです。GPUドライバー、ハードウェア、PCIe、メモリ、アプリケーションエラーなど多様なGPU異常状態を区別するコードで、コード別の意味を基準に障害原因分析とRMA（Return Merchandise Authorization）の要否を判断する際に活用します。			2.9.19
pid	PID	string	Xidログに含まれるプロセスIDです。特定のプロセス実行中にGPUエラーが発生した場合、原因プロセスを追跡するために使用します。ログにPID情報がない場合やドライバー/ハードウェアレベルで発生したイベントの場合は値がないことがあります。			2.9.19
taskName	Task Name	string	Xid発生時にNVIDIAドライバーが記録したTask Nameです。Linuxの/proc/{pid}/commまたはスレッド別/proc/{pid}/task/{tid}/commの値に該当する短い名前で、実行コマンド全体（cmdline）を意味するものではありません。マルチスレッドアプリケーションでは同一PIDでも、エラーが記録されたタスクによってpython3、pt_nccl_watchdgのように異なる名前が表示されることがあります。したがって、実際のアプリケーションを識別する際はPID、GPU PCIアドレス、GPU UUID、cmdline情報と併せて解釈することをお勧めします。			2.9.19
message	Message	string	/var/log/messagesから解析したNVRM: Xidログの詳細メッセージです。Xidコードのほかに、GPU UUID、PCI情報、チャネル情報、プロセス情報、エラー詳細文などが含まれる場合があり、障害原因分析時に原文確認用として使用します。			2.9.19