本文へスキップ

GPU詳細

GPU詳細ページでは、特定サーバーのGPU使用状況を時系列チャートでモニタリングし、GPUを占有しているプロセスをリアルタイムで確認できます。物理GPU(Physical)とMIG(Multi-Instance GPU)インスタンスの情報を1つの画面でまとめて確認でき、どのワークロードがどのGPUリソースをどの程度使用しているかを素早く把握できます。

ノート

対応エージェントバージョン

Linuxのみ対応しており、エージェント 2.9.16 以上を推奨します。

メイン画面

画面上部のオプションバーで照会時間範囲とサーバーを選択できます。選択したサーバーのインライン情報(IP、OS Type、CPU Cores、Memory Total、OS Version)と機能有効化ガイドボタンが表示されます。オプションバー下部でGPUを選択し、画面に表示する対象をフィルタリングできます。

各項目の使用方法は次のとおりです。

  • 時間範囲: 照会する時間区間を選択します。左右の矢印ボタンで区間を移動できます。
  • サーバー選択: モニタリングするサーバーをドロップダウンから選択します。ホスト名とIPが一緒に表示されます。
  • GPU選択: 画面に表示するGPUをフィルタリングします。選択ボックスをクリックするとGPU選択モーダルが開きます。デフォルトは * (Select All) で、サーバーに接続されているすべての物理GPUとMIGインスタンスが選択されます。
  • 機能有効化ガイド: クリックするとGPUモニタリングの対応環境と収集可能なメトリクス一覧を案内するパネルが開きます。

GPUインデックスは、チャートの凡例とプロセステーブル全体で次の形式で表記されます。

  • 物理GPU: 014 などの整数
  • MIGインスタンス: 7/1/06/4/05/8/0 などのスラッシュ表記(Physical/GI/CI

GPUメトリクスチャート

画面左側に選択したサーバーのGPU使用状況が5つの時系列チャートカードで表示されます。ラインチャート2つ(物理GPU + MIGインスタンス両方)とスタック/ライン切り替えチャート3つ(物理GPUのみ)で構成されます。

各カード右上のトグルボタンでラインモードに切り替えられます。

チャートタイプ説明
GPU Utilization (%)ラインGPUコア使用率
FB Memory Used (%)ラインGPUフレームバッファメモリ使用率
Power Usageスタック/ラインGPU消費電力
PCIe TX+RXスタック/ラインPCIe送受信帯域幅
NVLink TX+RXスタック/ラインNVLink送受信帯域幅

各チャートカード右上のアイコンからデータをCSVファイルとしてダウンロードしたり、チャートを画像として保存したりできます。拡大アイコンをクリックすると、そのメトリクスカテゴリのチャート詳細ドロワーが開きます。

ノート

各メトリクスの詳細な定義については、GPUメトリクスドキュメントを参照してください。

チャート詳細(ドロワー)

各チャートカード右上の拡大アイコンをクリックすると、そのメトリクスカテゴリの詳細指標をまとめて確認できるドロワーが右側から開きます。ドロワー内では、時間範囲とGPU選択をメイン画面とは独立して変更できます。

ドロワー下部の解釈ガイドセクションでは、各メトリクスの意味とモニタリングポイントを確認できます。

ドロワー含まれるメトリクス
GPU Utilization詳細GPUコア活用率、SM Active/Occupancy、FP・Tensor・DRAM活性度 など
GPU Memory詳細FB Total/Used/Free/Reserved、FB Used (%)、メモリコピー活用度 など
電力/温度詳細Power Limit/Usage、電力違反率、GPU温度、温度違反率 など
PCIeトラフィック詳細PCIe TX+RX、PCIe TX、PCIe RX、NVLink TX+RX など
NVLinkトラフィック詳細NVLink TX+RX、NVLink TX、NVLink RX、PCIe TX+RX など

GPUプロセステーブル

画面右上のGPUプロセステーブルには、選択したサーバーでGPUを占有しているプロセスの一覧が表示されます。各プロセスのGPU・CPU・メモリ使用状況を一目で確認でき、テーブル右上の検索ボックスでプロセス名によるフィルタリングができます。

各メトリクスセルには、照会期間中の時系列ミニチャートと最大値(Max)が表示されます。

カラム説明
プロセス情報プロセス名、実行コマンド、PID xxxx · アカウント の3行
GPU Utilization (%)プロセスがバインドされているGPUデバイス全体のGPU Utilization。プロセスごとに直接測定した値ではなく、接続されているGPU全体の使用率を表示するため、同一GPUを使用する複数のプロセスに同一または類似した値が表示される場合があります。ミニチャート + Max N%
FB Used (MiB)プロセスが占有しているGPUフレームバッファメモリのサイズ。ミニチャート + Max N MiB
CPU (%)プロセスのCPU使用率。ミニチャート + Max N%
RSS (byte)プロセスのホストシステムメモリ使用量(Resident Set Size)。ミニチャート + Max N GiB
Process IO Total (bytes/s)プロセスのI/O帯域幅。ミニチャート + Max N KiB/s。収集データがない場合は - と表示
GPU Indexプロセスが占有しているGPUインデックス。Physicalは整数(01)、MIGはスラッシュ表記(5/8/0
ノート

VLLM::Worker_TP0VLLM::EngineCorepython3 app.py などは、ユーザー環境で実際に実行中のプロセス名です。テーブルにはGPUを占有しているすべてのプロセスが表示されます。

サーバー情報・GPUインベントリパネル

画面右下のパネルでサーバー情報またはGPUインベントリタブを選択すると、現在照会中のサーバーの詳細情報を確認できます。GPUプロセステーブルとこのパネルの間のドラッグハンドルで上下の比率を調整できます。

サーバー情報

項目説明
Host name (oid)ホスト名とOID
OSオペレーティングシステムの種類とバージョン
GPU modelGPUモデル名(例: A100-40GB
GPU countサーバーに接続されているGPU数(Physical N / MIG M 形式)
Server memoryサーバー全体のメモリ
Agentインストールされているエージェントバージョン

GPUインベントリ

サーバーに接続されている物理GPUとMIGインスタンスの一覧を次のカラムで確認できます。タブ右側の詳細表示ボタンをクリックすると、すべてのカラムを表示するドロワーが開きます。

ノート

現時点のインベントリのみ照会できます。過去の時点の照会はGPUインベントリメニューから行えます。

カラム説明
GPU IndexPhysicalは整数(01)、MIGはスラッシュ表記(5/7/05/8/0
GPU TypePhysical または MIG
Model Name正式なGPUモデル名(例: NVIDIA A100-SXM4-40GB
Model FamilyGPUモデルファミリー(例: A100
GPU Memory Size (MiB)GPUメモリサイズ。Physicalは全メモリ、MIGは分割されたフラグメントサイズ

インベントリメニュー自体と活用方法については、GPUインベントリページを参照してください。