本文へスキップ

システムトポロジー

ホーム画面 > プロジェクト選択 > ラボ > システムトポロジー

GPUジョブのパフォーマンスは、GPU自体だけでなく、そのGPUがどのCPUソケットとNUMAノードに接続されているか、また一緒に使用するRDMAデバイスがどれだけ近いかにも影響を受けます。ジョブがGPUとは別のソケットのコアやメモリを使用すると、データがソケット間をまたぐため遅延が増えます。システムトポロジーは、1台のサーバーのCPUソケット、NUMAノード、その配下に接続されたGPU・RDMA・NVMe・ネットワークカードとNVSwitchを構成図で表示するラボ機能です。GPUジョブに固定するCPUコアを決めるとき、GPUと一緒に使用するRDMAデバイスを選ぶとき、RDMA通信ができないポートを探すときに使用します。AI・HPCサーバーのデバイス配置を点検する必要がある運用者を対象としています。

ノート

サポートするエージェントバージョン

Linux・Windowsエージェント2.9.25以上でのみサポートします。AIX・HP-UX・Solarisサーバーと、バージョンが低いサーバーは、サーバー選択リストに表示されません。GPUがないサーバーも照会できます。画面に表示するデータは、エージェントが収集するserver_system_topology・server_numa_inventory・server_rdma_inventoryインベントリ項目です。収集フィールドとオプションは、サーバーインベントリの収集項目を参照してください。

システム構成情報を表で確認するにはシステム構成情報を、GPU同士の接続を確認するにはGPUトポロジーを参照してください。ラボ機能のアクセス方法と注意事項は、ラボドキュメントを参照してください。

画面構成​

AreaDescription
ヘッダーサーバー選択、サポートエージェント情報、エージェントの状態、最終構成変更時刻、活用ガイド、再読み込み
異常サマリー行ケーブル未接続・非アクティブなRDMAポート、NVMLが認識できなかったGPUなどの異常項目の数
構成図CPUソケット、NUMAノードカード、デバイスチップをツリー形式で表示
情報パネル選択したデバイスの情報と、一緒に使用すると近いリソース、見方

ヘッダー​

  • サーバー選択: ドロップダウンからサーバーを選択してください。リストは「ホスト名 (パブリックIP)」形式で、2行目にプライベートIPを表示します。ホスト名、パブリックIP、プライベートIPのいずれでも検索できます。
  • 最終構成変更: デバイス構成が最後に変更された時刻です。データを収集した時刻ではありません。
  • エージェントが非アクティブ状態の場合は、ヘッダーの下に黄色の警告バーで最後の収集時点を案内します。それ以降の構成変更は画面に反映されません。
  • 活用ガイドボタンをクリックすると、CPUコアの固定、RDMAデバイスの選択、RDMA通信の点検など、状況別の活用方法を確認できます。

構成図​

構成図は、ドラッグして移動しなくても1画面に全体が収まるように展開して表示します。ソケット数によって配置が変わります。

SocketLayout
1～2個横方向のツリー。ソケットの下にNUMAカードを縦に表示
3～4個十字型。NUMAはサマリーボックスに折りたたんで表示
5個以上リングサマリー。ソケットをクリックすると、そのソケットだけをツリーで展開。全体表示をクリックするとリングに戻る

NUMAカードには、ノードに属するCPU範囲・コア数、メモリ、そのノードに接続されたデバイスチップを表示します。デバイスチップは、種類ごとに新しい行から始まります。

ChipDescription
GPUGPUとモデル名
RDMARDMAネットワークポート（InfiniBand、Ethernet）
NVSwitchGPU間をつなぐNVLinkデバイス。NUMAとは関係なくGPUを接続
NVMe・NICNVMeストレージデバイスと一般的なネットワークカード

RDMAチップの点線の枠は非アクティブなポート、赤い枠はケーブル未接続などのアラート状態のポートを表します。

フィット、縮小、拡大ボタンで倍率を調整できます。手動で設定できる倍率は50～250%の範囲です。フィットをクリックすると、構成図全体が1画面に収まる倍率に戻ります。

デバイスの選択と情報パネル​

デバイスチップまたはNUMAサマリーボックスをクリックすると、該当するデバイスを選択して情報パネルを開きます。同じチップをもう一度クリックすると、選択を解除します。選択したデバイスと関係のないカードとチップは薄く表示します。

  • GPUを選択すると、同じNUMAノードのCPU範囲とメモリが濃く表示されます。同じノードのRDMAデバイスには、近接度バッジ（PIX・PXB・PHB・NODE・SYS）が付きます。PIXに近いほど、GPUと物理的に近いことを表します。
  • RDMAチップを選択すると、情報パネルにポートの状態を表示します。
Port statusDescription
アクティブリンクがアップしており、通信可能
非アクティブポートがオフになっている
ケーブル未接続対向側を探索中（Polling）。ケーブルとスイッチの点検が必要
Subnet Managerなし物理リンクはアップしているが、Subnet Managerが応答しない（LinkUp、Init）
その他の状態上記以外の状態。RDMAポート表の元の値の確認が必要
状態未収集エージェントがポートの状態を送信していない

活用例​

GPUジョブにCPUコアを固定する場合

GPUチップをクリックすると、そのGPUと同じNUMAノードのCPU範囲とメモリが濃く表示されます。ジョブをこのコアに固定すると、メモリアクセスがソケットをまたぎません。

GPUと一緒に使用するRDMAデバイスを選ぶ場合

GPUを選択した後、近接度バッジを確認してください。PIXやPXBのように近い等級のRDMAデバイスを使用すると、データがCPUを経由せずにやり取りされます。

RDMA通信ができない場合

赤い枠のRDMAチップをクリックして、ポートの状態を確認してください。状態がケーブル未接続の場合は、ケーブルとスイッチのポートを点検してください。

画面にデータがない場合​

MessageCause
まだ収集されたシステム構成がありませんエージェントが初めて収集する前。初回収集まで最大1時間かかる
CPUとNUMAの情報を収集できませんでしたコンテナのようにNUMA情報が見えない環境
サポートしていないOSですURLで指定したサーバーがLinux・Windowsではない
サポートしていないエージェントバージョンですURLで指定したサーバーのエージェントが2.9.25未満。エージェントのアップデートが必要
トポロジーを収集するサーバーがありませんサポート条件（Linux・Windows 2.9.25以上）を満たすサーバーがない
エージェントバージョンを確認できませんURLで指定したサーバーのエージェントバージョン情報がない
要求したサーバーが見つかりませんURLで指定したサーバーが除外されたか、削除された

プロジェクトにサーバーが1台もない場合は、エージェントのインストール案内を表示します。

最終修正：