GPUダッシュボード
GPUダッシュボードは、GPU資源構成、活用効率、問題履歴を1つの画面で統合的に照会するAIインフラ運用ダッシュボードです。GPUサーバーが複数台に増えると、個々のサーバーを1つずつ確認するのは困難です。GPUダッシュボードは、GPU資源全体をモデル別・サーバー別にまとめて表示し、活用状況と異常の兆候を素早く把握できるように支援します。
サポート環境
サーバー環境のGPUモニタリングの概要は、WhaTap GPUモニタリングドキュメントを参照してください。
基本画面の案内
GPUダッシュボードは2つのタブで構成されます。
-
GPU運用状況：GPU資源の保有状況、活用効率、電力消費、問題をウィジェット単位でまとめて表示します。
-
GPUリソースボード：全GPUの割り当て・活用状態をサマリーバーとマップ形式で俯瞰します。
オプションバー
画面上部のオプションバーで照会条件を調整できます。
-
時間選択：照会する時間範囲を指定します。
-
フィルタ：特定のモデル、サーバーなど条件に合うGPUのみ照会するようフィルタを指定します。
-
表示切り替え：ウィジェットの表示形式を切り替えます。
-
プリセット(Preset)：よく使うフィルタとTop 5指標選択の組み合わせをプリセットとして保存し、再度読み込むことができます。
GPU運用状況タブ
GPU運用状況タブは、次のウィジェットを提供します。
GPUインベントリ(モデル別)
保有しているGPUをモデル別に集計し、ドーナツ形式で表示します。ドーナツのモデル部分または凡例をクリックすると、該当モデルでフィルタが適用されたGPUインベントリが新しいタブで開きます。
GPU電力消費推移
GPUの電力消費推移を時間の流れに沿って表示します。
表示される電力消費量は、GPU指標を基に算出した推定値であり、実際の電力計測定値と差がある場合があります。
GPUモデル別サーバー重大度分布
GPUモデル別に、該当モデルが搭載されたサーバーの進行中イベント状況と代表重大度分布を積み上げ棒グラフ形式で表示します。発生 x / 全体 y サーバーは、該当GPUモデルが搭載された全サーバーのうち、現在1つ以上のイベントが発生しているサーバー数を意味します。各サーバーの重大度は、該当サーバーで進行中のイベントのうち最も高い重大度を基準に分類し、危険・警告・情報・正常別のサーバー数で表示します。総イベント n件は、イベントが発生したサーバーで現在進行中の全イベント数を意味します。項目をクリックすると、該当GPUモデルが搭載されたサーバーを対象に進行中のイベント一覧をドロワーで確認できます。
Top 5 Server / Top 5 GPU
指定した指標を基準に、上位5つのサーバー(Top 5 Server)とGPU(Top 5 GPU)をそれぞれ別のパネルで表示します。デフォルトの基準指標は、サーバーがGPU使用率、GPUが電力制限違反率です。項目をクリックすると、該当対象の最近の推移を確認できるドロワーが開きます。基準指標はオプションバーまたはプリセットで変更できます。
Xid
GPUで発生したXidイベントの履歴を表示します。Xidイベントを活用した異常検知の方法は、WhaTap GPUモニタリングドキュメントを参照してください。
GPUリソースボードタブ
GPUリソースボードタブは、全GPUの割り当て・活用状態をサマリーバーとマップ形式で俯瞰します。個々のGPUがどれだけ割り当て・使用されているか、どのGPUがアイドル状態またはメモリ不足に近づいているかを一目で把握できます。
サマリーバー
全GPUの割り当て・活用状態をカード単位で要約します。各カードは物理GPU(Physical)とMIGインスタンス数を一緒に表示します。
| Item | Description |
|---|---|
| Total GPU | 全GPU数 |
| Allocated GPU | 割り当てられたGPU数と割り当て率 |
| Idle GPU | 割り当てられているが使用されていないアイドルGPU数 |
| Active GPU | 使用中のGPU数 |
| Effective GPU | 効率的に使用中のGPU数 |
サマリーバーのカード名称は英語(Total GPU、Allocated GPU、Idle GPU、Active GPU、Effective GPU)で表示されます。アイドル・アクティブ・効率の区分はGPU使用率を基準とし、使用率1%未満はアイドル(Idle)、1%以上50%未満はアクティブ(Active)、50%以上は効率(Effective)です。
GPU Resource Map
全GPUを使用率基準で配置した散布図(scatter)です。各GPUをアイドル(Idle)・アクティブ(Active)・効率(Effective)区間に分けて分布を表示し、メモリ使用率が高くメモリ不足に近づいたGPU(FB使用率95%以上)を区別して表示します。マップで特定の領域を選択すると、該当GPUの最近の推移を確認できるGPUタイムラインドロワー(drawer)が開きます。
GPUモデル別活用状況
GPUをモデル別に集計し、アイドル(Idle)・アクティブ(Active)・効率(Effective)・未割り当て(Unallocated)区間の割合を表示します。モデル別に割り当て・活用状態がどのように分布するかを比較できます。
サーバー別GPU活用状況
サーバー別に保有しているGPUをスロットグリッド形 式で表示します。各スロットは物理GPU1つを表し、MIGで分割されたGPUはスロット内部をインスタンス単位で分けて表示します。
サーバー別GPU活用状況は、GPUサーバーが20台以下の環境で自動的に表示されます。