本文へスキップ

GPUトポロジー

ホーム画面 > プロジェクト選択 > GPU > GPUトポロジー

複数のGPUを1つの学習や推論のジョブにまとめて使用する場合、GPU間の接続経路はジョブの速度を大きく左右します。NVLinkで直接接続されたGPU同士は高速に通信できますが、CPUソケットをまたぐPCIe経路で接続されたGPU同士は通信が遅くなります。GPUトポロジーは、1台のサーバーのGPU間の接続を判定カードとN×Nマトリクスで表示します。ジョブに割り当てるGPUの組み合わせを選ぶときや、同じ機種なのに特定のサーバーだけが遅い原因を調べるときに使用します。GPUサーバーを運用し、GPUの配置と接続状態を点検する必要がある運用者を対象としています。

ノート

サポートするエージェントバージョン

Linuxエージェント2.9.25以上でのみサポートします。Windowsサーバーと、バージョン情報を確認できないサーバーは、サーバー選択リストに表示されません。画面に表示するデータは、エージェントが収集するserver_gpu_topologyインベントリ項目です。収集フィールドとオプションは、サーバーインベントリの収集項目を参照してください。

画面構成​

AreaDescription
ヘッダーサーバー選択、サポートエージェント情報、エージェントの状態、最終構成変更時刻、活用ガイド、再読み込み
判定カード接続の種類別のGPUペア数。カードをクリックすると、該当する種類のセルだけを濃く表示
マトリクスGPUペアごとに1セル。セルに接続経路コードを表示
右パネル選択した接続、見方、GPU一覧の3つの領域

ヘッダー​

  • サーバー選択: ドロップダウンからサーバーを選択してください。リストは「ホスト名 (パブリックIP)」形式で、2行目にプライベートIPを表示します。ホスト名、パブリックIP、プライベートIPのいずれでも検索できます。
  • サポートエージェント情報: アイコンにマウスカーソルを合わせると、サポートするOSと最小バージョンを確認できます。
  • 最終構成変更: GPUの接続構成が最後に変更された時刻です。データを収集した時刻ではありません。
  • エージェントが非アクティブ状態の場合は、ヘッダーの下に黄色の警告バーで最後の収集時点を案内します。それ以降の構成変更は画面に反映されません。
  • 活用ガイドボタンをクリックすると、GPUの割り当て、学習速度の比較、MIG設定の確認など、状況別の活用方法を確認できます。

判定カード​

CardDescription
全体すべてのGPUペア。補足テキストにGPU数とMIGが有効なGPU数を表示
NVLink接続NVLinkで直接接続されたペア
PCIe経由PCIeで通信するペア。両方のGPUでMIGが有効な場合は「PCIe経由 (MIG有効なGPU同士)」と表示
MIG直接通信不可一方のGPUだけでMIGが有効なペア
MIG非対称P2PをサポートするMIG非対称ペア
要確認双方向の照会結果が異なるが、MIG設定では説明できないペア

カードをクリックすると、該当する種類のセルだけが濃く残り、残りのセルは薄く表示されます。同じカードをもう一度クリックすると、全体に戻ります。

マトリクス​

行と列がGPU番号で、2つのGPUが交差するセルに接続経路コードを表示します。同じGPU同士が交差する対角線のセルは-で表示します。MIGが有効なGPUは、見出しにMIGバッジが付きます。

CodeDescription
NVnNVLinkで直接接続。nはリンク数で、大きいほど高速
PIXPCIeブリッジを1つ経由して接続。PCIe経路の中で最も近い
PXBPCIeブリッジを複数経由して接続
PHBCPUのPCIeホストブリッジを経由して接続
NODE同じNUMAノード内でホストブリッジ間を経由して接続
SYSCPUソケット間をまたいで接続。最も遅い経路

PCIe経路は、PIXからSYSの方向に進むほど2つのGPUが物理的に離れており、通信が遅くなります。2つのGPU間で直接通信（P2P）をサポートしていない場合は、セルの右上にP2P不可バッジが付きます。

セルをクリックすると、右側の選択した接続領域に結果を固定します。同じセルをもう一度クリックするか、キーボードのEscキーを押すと、選択を解除します。マトリクス内では、矢印キーでセルを移動できます。

右パネル​

  • 選択した接続: 選択した2つのGPUの判定と説明、2つのGPUを1つのジョブで一緒に使用する場合の活用方法を表示します。詳細値として、接続経路、接続方式（NVSwitch・NVLink・PCIe）、NVLink数、P2Pのサポート有無、BDF（PCIアドレス）を確認できます。
  • 見方: セルの色とコードの意味を案内します。現在のサーバーに存在しない項目は薄く表示します。タイトルをクリックすると折りたたんだり展開したりでき、折りたたんだ状態はブラウザーに保存されます。
  • GPU一覧: GPUごとの番号とNVLink接続数を表示します。MIGが有効なGPUは、NVLink接続のセルに「MIGでは使用しない」と表示します。

判定を解釈する​

要確認は設定の点検が必要です

双方向の照会結果が異なるが、MIG設定では説明できない場合は要確認と表示します。サーバーのACS、IOMMU、GPUドライバーの設定を確認してください。同じ機種の他のサーバーとマトリクスを比較すると、NVLinkであるべきペアがPCIeとして表示されていないかを確認できます。

画面にデータがない場合​

MessageCause
トポロジーを収集するサーバーがありませんGPUサーバーがすべてWindows、またはエージェントバージョンが2.9.25未満
サポートしていないOSですURLで指定したサーバーがLinuxではない
サポートしていないエージェントバージョンですURLで指定したサーバーのエージェントが2.9.25未満。エージェントのアップデートが必要
まだ収集されたトポロジーがありませんエージェントが初めて収集する前。初回収集まで最大1時間かかる

GPUが1枚のサーバーは、比較するGPUペアがないため、マトリクスが空になります。プロジェクトにGPUサーバーが1台もない場合は、GPUモニタリング機能の有効化の案内を表示します。詳細な設定方法は、GPU機能を参照してください。

最終修正：