GPU詳細
GPU詳細ページでは、特定サーバーのGPU使用状況を時系列チャートでモニタリングし、GPUを占有しているプロセスをリアルタイムで確認できます。物理GPU(Physical)とMIG(Multi-Instance GPU)インスタンスの情報を1つの画面でまとめて確認でき、どのワークロードがどのGPUリソースをどの程度使用しているかを素早く把握できます。
対応エージェントバージョン
Linuxのみ対応しており、エージェント 2.9.16 以上を推奨します。
メイン画面
画面上部のオプションバーで照会時間範囲とサーバーを選択できます。選択したサーバーのインライン情報(IP、OS Type、CPU Cores、Memory Total、OS Version)と機能有効化ガイドボタンが表示されます。オプションバー下部でGPUを選択し、画面に表示する対象をフィルタリングできます。
各項目の使用方法は次のとおりです。
- 時間範囲: 照会する時間区間を選択します。左右の矢印ボタンで区間を移動できます。
- サーバー選択: モニタリングするサーバーをドロップダウンから選択します。ホスト名とIPが一緒に表示されます。
- GPU選択: 画面に表示するGPUをフィルタリングします。選択ボックスをクリックするとGPU選択モーダルが開きます。デフォルトは
* (Select All)で、サーバーに接続されているすべての物理GPUとMIGインスタンスが選択されます。 - 機能有効化ガイド: クリックするとGPUモニタリングの対応環境と収集可能なメトリクス一覧を案内するパネルが開きます。
GPUインデックスは、チャートの凡例とプロセステーブル全体で次の形式で表記されます。
- 物理GPU:
0、1、4などの整数 - MIGインスタンス:
7/1/0、6/4/0、5/8/0などのスラッシュ表記(Physical/GI/CI)
GPUメトリクスチャート
画面左側に選択したサーバーのGPU使用状況が5つの時系列チャートカードで表示されます。ラインチャート2つ(物理GPU + MIGインスタンス両方)とスタック/ライン切り替えチャート3つ(物理GPUのみ)で構成されます。
各カード右上のトグルボタンでラインモードに切り替えられます。
| チャート | タイプ | 説明 |
|---|---|---|
| GPU Utilization (%) | ライン | GPUコア使用率 |
| FB Memory Used (%) | ライン | GPUフレームバッファメモリ使用率 |
| Power Usage | スタック/ライン | GPU消費電力 |
| PCIe TX+RX | スタック/ライン | PCIe送受信帯域幅 |
| NVLink TX+RX | スタック/ライン | NVLink送受信帯域幅 |
各チャートカード右上のアイコンからデータをCSVファイルとしてダウンロードしたり、チャートを画像として保存したりできます。拡大アイコンをクリックすると、そのメトリクスカテゴリのチャート詳細ドロワーが開きます。
各メトリクスの詳細な定義については、GPUメトリクスドキュメントを参照してください。
チャート詳細(ドロワー)
各チャートカード右上の拡大アイコンをクリックすると、そのメトリクスカテゴリの詳細指標をまとめて確認できるドロワーが右側から開きます。ドロワー内では、時間範囲とGPU選択をメイン画面とは独立して変更できます。
ドロワー下部の解釈ガイドセクションでは、各メトリクスの意味とモニタリングポイントを確認できます。
| ドロワー | 含まれるメトリクス |
|---|---|
| GPU Utilization詳細 | GPUコア活用率、SM Active/Occupancy、FP・Tensor・DRAM活性度 など |
| GPU Memory詳細 | FB Total/Used/Free/Reserved、FB Used (%)、メモリコピー活用度 など |
| 電力/温度詳細 | Power Limit/Usage、電力違反率、GPU温度、温度違反率 など |
| PCIeトラフィック 詳細 | PCIe TX+RX、PCIe TX、PCIe RX、NVLink TX+RX など |
| NVLinkトラフィック詳細 | NVLink TX+RX、NVLink TX、NVLink RX、PCIe TX+RX など |
GPUプロセステーブル
画面右上のGPUプロセステーブルには、選択したサーバーでGPUを占有しているプロセスの一覧が表示されます。各プロセスのGPU・CPU・メモリ使用状況を一目で確認でき、テーブル右上の検索ボックスでプロセス名によるフィルタリングができます。
各メトリクスセルには、照会期間中の時系列ミニチャートと最大値(Max)が表示されます。
| カラム | 説明 |
|---|---|
| プロセス情報 | プロセス名、実行コマンド、PID xxxx · アカウント の3行 |
| GPU Utilization (%) | プロセスがバインドされているGPUデバイス全体のGPU Utilization。プロセスごとに直接測定した値ではなく、接続されているGPU全体の使用率を表示するため、同一GPUを使用する複数のプロセスに同一または類似した値が表示される場合があります。ミニチャート + Max N% |
| FB Used (MiB) | プロセスが占有しているGPUフレームバッファメモリのサイズ。ミニチャート + Max N MiB |
| CPU (%) | プロセスのCPU使用率。ミニチャート + Max N% |
| RSS (byte) | プロセスのホストシステムメモリ使用量(Resident Set Size)。ミニチャート + Max N GiB |
| Process IO Total (bytes/s) | プロセスのI/O帯域幅。ミニチャート + Max N KiB/s。収集データがない場合は - と表示 |
| GPU Index | プロセスが占有しているGPUインデックス。Physicalは整数(0、1)、MIGはスラッシュ表記(5/8/0) |
VLLM::Worker_TP0、VLLM::EngineCore、python3 app.py などは、ユーザー環境で実際に実行中のプロセス名です。テーブルにはGPUを占有しているすべてのプロセスが表示されます。
サーバー情報・GPUインベントリパネル
画面右下のパネルでサーバー情報またはGPUインベントリタブを選択すると、現在照会中のサーバーの詳細情報を確認できます。GPUプロセステーブルとこのパネルの間のドラッグハンドルで上下の比率を調整できます。
サーバー情報
| 項目 | 説明 |
|---|---|
| Host name (oid) | ホスト名とOID |
| OS | オペレーティングシステムの種類とバージョン |
| GPU model | GPUモデル名(例: A100-40GB) |
| GPU count | サーバーに接続されているGPU数(Physical N / MIG M 形式) |
| Server memory | サーバー全体のメモリ |
| Agent | インストールされているエージェントバージョン |
GPUインベントリ
サーバーに接続されている物理GPUとMIGインスタンスの一覧を次のカラムで確認できます。タブ右側の詳細表示ボタンをクリックすると、すべてのカラムを表示するドロワーが開きます。
現時点のインベントリのみ照会できます。過去の時点の照会はGPUインベントリメニューから行えます。
| カラム | 説明 |
|---|---|
| GPU Index | Physicalは整数(0、1)、MIGはスラッシュ表記(5/7/0、5/8/0) |
| GPU Type | Physical または MIG |
| Model Name | 正式なGPUモデル名(例: NVIDIA A100-SXM4-40GB) |
| Model Family | GPUモデルファミリー(例: A100) |
| GPU Memory Size (MiB) | GPUメモリサイズ。Physicalは全メモリ、MIGは分割されたフラグメントサイズ |
インベントリメニュー自体と活用方法については、GPUインベントリページを参照してください。