本文へスキップ

GPUダッシュボード

GPUリソースの割り当てから実際の活用までの流れと、デバイスごとの状態をマップで追跡できるKubernetes視点のGPUダッシュボードです。

  • TotalからEffectiveまで段階別のリソースの流れをファネルで提供し、割り当てに対する実際の活用水準を一目で把握できます。

  • デバイス単位のGPU Mapにより、クラスター・ノード・Namespace基準のリソース分布と状態を視覚的に確認できます。

  • 無駄なリソースのみをフィルタリングするトグルを提供し、割り当てられているものの活用されていないGPUを素早く識別できます。

ノート

GPUメニューはGPUダッシュボード、GPU一覧、GPUトレンド、GPUワークロードページで構成されます。本ドキュメントは、リソースの活用状況とデバイスマップを提供するGPUダッシュボードページを扱います。

権限および条件​

  • 対応環境：Kubernetesクラスタプロジェクト

  • エージェントバージョン：Kubernetesエージェント バージョン1.8.7以上

  • Open Agentのインストールが必要

基本画面​

クラスター内のGPUリソースの活用状況とデバイスごとの状態を一目で把握できる可視化ダッシュボードです。

GPU dashboard

画面上部にはLIVE時刻と無駄なリソースのみ表示トグルがあります。トグルをオンにすると、GPU Mapに無駄なリソースとして分類されたデバイスのみが表示されます。

ノート

  • 無駄なリソースのみ表示トグルはGPU Mapの表示対象をフィルタリングするものであり、GPU活用状況ファネルの集計値には影響しません。

  • 画面上部の時間選択で一時停止ボタンを選択すると、過去の時間のデータを照会できます。

GPU活用状況​

GPUリソースが割り当てられてから実際に活用されるまでの流れをファネルチャートで提供します。段階はTotal、Allocated、Active、Effectiveの順に絞り込まれ、各段階で活用されなかったリソースはIdle、Not Effectiveに分離して表示されます。

StageDescription
Total全物理デバイス
AllocatedプロセスまたはPodが割り当てられたデバイス
Active5分平均GPU使用率（Utilization）が1%以上のデバイス
Idle5分平均GPU使用率が1%未満のデバイス
EffectiveGPU使用率が50%を超えるデバイス
Not EffectiveGPU使用率が50%以下のデバイス

Allocatedの判定基準が、プロセスの実行有無ではなくGPUメトリックのPodラベルの存在有無に変更されました。GPUが割り当てられたPodがCrashLoopなどでプロセスを起動できなかった場合でも、割り当てられたデバイスとして正確に集計されます。これにより、上記の表のAllocated説明は「GPUが割り当てられたPodが存在するデバイス」と理解できます。

上記の画面例では、Total 8個のうち8個がAllocated、そのうちActive 4個・Idle 4個に分かれ、Activeのうちでも Effective 2個・Not Effective 2個に分類されます。

IdleとNot Effectiveは割り当てられているものの十分に活用されていないデバイスであり、リソースの無駄を点検する基準となります。

GPU Map​

照会時点で収集されたGPUデバイスをマップで表示します。ノード単位のカード内に各デバイスがボックスで配置され、カード上部で当該ノードのデバイス・Namespace・Service・モデル数とGPU使用率の要約を確認できます。

コントロール​

ControlOptionDescription
GroupCluster / Node / Namespace / Service / Modelデバイスをまとめる基準
Color byStatus / Utilization / VRAM(%) / Tempデバイスボックスの色の基準指標
Util基準平均 / 最小値 / 最大値使用率表示に使用する統計値
物理デバイス単位グループ化オン / オフ物理デバイス単位でデバイスをまとめて表示
グループ名検索テキスト入力グループ名で表示対象をフィルタリング

ノードカードとデバイスボックス​

各ノードカードは、当該ノードに搭載されたデバイスをボックスで表示します。カード上部の要約には次の情報が表示されます。

  • Device n (Physical n)：デバイス数と物理デバイス数

  • Namespace n / Service n / Model n：ノードに関連するNamespace・Service・モデル数

  • GPU Util (min / avg / max)：ノードGPU使用率の最小値・平均・最大値

デバイスボックスは状態に応じて異なる表示になります。

DisplayMeaning
MIG表記ボックスMIGインスタンスに分割されたデバイス
色付きボックスActiveデバイス、Color by基準に応じて色が決定
グレーボックスIdleデバイス（5分平均GPU使用率1%未満）

凡例ではActiveとIdleを色で区別します。

デバイスボックスにマウスを乗せると、デバイス種類（Physical/MIG）、GPU Utilization、Status、Device、Pod、Node、Namespace、Service情報を確認できます。

ノート

  • Color byオプションを変更すると、同じデバイスでも基準指標（状態・使用率・VRAM・温度）に応じて色が変わります。

  • MIGに分割されたデバイスは物理デバイス1個が複数のインスタンスとして表示されるため、デバイス数と物理デバイス数が異なる場合があります。

最終修正：