本文へスキップ

Milvusモニタリング

危険

Milvusモニタリングサービス終了のお知らせ

現在提供中のMilvusモニタリングサービスは2026年12月31日をもって終了する予定です。これに伴い、既存のMilvusモニタリングプロジェクトは2026年12月31日まで利用可能であり、2027年1月1日以降は該当プロジェクトによるメトリクス収集が終了します。

以降はOpenMetricsに切り替えてご利用いただけます。切り替え時にはエージェントのインストールまたは設定変更が必要になる場合があり、収集方式および課金基準が変更される可能性があります。

ノート

Featureプロジェク​

WhaTapは、ユーザーが希望するソフトウェアのモニタリング支援の有無を簡単に確認し、簡単にモニタリングを開始できるように、新しくFeatureプロジェク(Features)を導入しました。 Featureプロジェクは、既存のモニタリング製品を、ユーザーがモニタリングしようとするソフトウェアに合わせてリパッケージし、最適化されたモニタリングソリューションを提供します。 WhaTapのFeatureプロジェクを通じて、サービスの安定性と性能をより効果的に管理します。

Milvusは、大規模なベクトルデータを高性能に管理・検索するためのオープンソースデータベースです。 WhaTap Milvusモニタリングは、Milvusクラスタを構成するProxy、Root Coordinator、Query Nodeなどの性能と資源使用量をリアルタイム及びヒストリーで追跡し、検索遅延とメモリ不足及びトランザクション障害などを素早く発見して解決できるようにサポートします。

WhaTapは新しいFeatureプロジェクト方式でMilvusモニタリングを提供します。 Milvusデータベースの性能と状態をリアルタイムで追跡することで、問題を早期に検出して解決できます。

インストール​

WhaTapのMilvusモニタリングサービス利用のための基本インストール方法を案内します。

WhaTapモニタリングサービスを使用するには、会員登録後、プロジェクトを作成し、ターゲットサーバーにエージェントをインストールする必要があります。 会員登録に関する詳細は、次の文書を参照してください。

ノート

サポート環境​

WhaTapのMilvus監視エージェントをインストールする前に、対応環境を確認します。

  • Milvus: Milvus 2.xもしくは同等のバージョン

  • Ubuntu: Ubuntu 12.04以降

  • OS: Red Hat 6 or equivalent(CentOS, Rocky Linux, Amazon Linux)

  • OSアーキテクチャ: Amd64/X86_64, Arm64/Aarch64

Featureプロジェクトを作成する​

エージェントをインストールする前にプロジェクトを作成してください。

  1. WhaTapモニタリングサービスにログインしてください。

  2. 左側のサイドメニューで プロジェクト全体 > + Project ボタンをクリックします。

  3. 商品選択 画面でインストールする製品を選択します。

  4. 以下の項目を入力または選択します。

    • プロジェクト名：プロジェクト名を入力します。

    • データサーバーリージョン：データサーバーの設置されているリージョンを選択します。リージョンとは、クラウドサービスを提供するデータセンターの集合体です。選択したリージョンにユーザーデータが保存されます。

    • プロジェクトタイムゾーン：アラートおよびレポート生成時の基準となる時刻を設定します。

    • 通知言語の設定：アラート通知メッセージの言語を設定します。（韓国語、英語に対応）

    • プロジェクトグループ：複数のプロジェクトをグループとしてまとめて管理できます。所属するグループがある場合は選択してください。

    • プロジェクト説明：プロジェクトに関する補足説明や詳細情報を入力します。

  5. すべての設定が完了したら、プロジェクトを作成する ボタンをクリックします。

ノート

組織を選択してプロジェクトを追加する場合は、組織下位のグループを必須に設定する必要があります。

グループに関する詳細は、次のドキュメントを参照してください。

Milvusエージェントインストール​

Featureプロジェクト(Features) 生成後、自動的に**Milvusエージェントのインストール**画面に移動します。 次の案内に従ってインストールします。

  1. プロジェクトアクセスキーを確認します。

    プロジェクトアクセスキーは、WhaTapサービスを活性化するための固有IDです。 プロジェクトアクセスキー発行ボタンを選択します。

  2. インストールスクリプトを作成します。

    次のコマンドを実行してユーザー環境を自動的に認識した後、Milvusがインストールされたサーバーにインストールスクリプトを生成します。

    curl https://repo.whatap.io/telegraf/feature/milvus/install_milvus_monitoring.sh -o install_milvus_monitoring.sh

  1. エージェント設定および再起動後、モニタリングを開始します。

    WhaTapサーバーモニタリングエージェントとテレグラフサイドカーをインストールするために、次のコマンドを実行します。

    chmod +x install_milvus_monitoring.sh
    sudo ./install_milvus_monitoring.sh "x434522kkhbtj-x5cv0fliua45of-zmgqva9eakmg9" "15.165.146.117"

メインメニュー​

ダッシュボード​

ホーム画面> Featuresプロジェクト(Features)選択> Milvus > Milvusダッシュボード

WhaTapのMilvusモニタリングはベクトル検索データベースであるMilvusの構成要素別の主要指標とグラフを提供します。 WhaTapが提供するMilvusダッシュボードは、次の3つのプリセットで構成されています。

  • Milvus Proxy and Root Coordinator

    MilvusシステムでProxy遅延時間、QPS及びRoot Coordinatorのコレクションとエンティティ及びDML/DDL作業現況を総合的にモニタリングできるプリセットです。

    ダッシュボード指標案内

    Proxyモニタリング​

    • Latency及びリクエストイベント

      プロキシで処理されるリクエストの遅延時間をヒストグラムで視覚化し、1秒当たりのリクエスト数(QPS)などを確認できます。

    • プロセス状態

      Milvus ProxyのCPU及びメモリ使用量を時系列グラフで表示し、システムリソースの状態を把握します。

    Root Coordinatorモニタリング​

    • コレクション及びエンターテインメント情報

      現在稼働しているコレクションとエンティティの数を使用して、データベースの規模を確認します。

    • DML及びDDL作業

      Insert、DeleteなどDML作業とCreate、DropなどDDL作業の処理状況を視覚化して作業頻度を把握します。

    • ストリーム及びメッセージチャネル

      データストリーム及びメッセージチャネル数を追跡して、Milvus内部のデータフローを確認します。

  • Milvus Search and Compute Performance

    ANN、Brute Force、DiskANNなど、検索性能をモニタリングするプリセットです。

    ダッシュボード指標案内

    Approximate Nearest Neighbor (ANN) Metrics​

    • 検索リクエスト遅延時間

      ANN検索の遅延時間をヒストグラム形式で確認して、検索性能を分析します。

    • 検索リクエスト数(QPS)及び総遅延時間

      1秒あたりに処理された検索リクエストの回数と累積検索遅延時間を確認して、システムの負荷状態をモニタリングします。

    • BF検索リクエストあたりの比較オブジェクト数

      Brute Force検索で1回のリクエストあたりの比較される個体数を確認します。

    • 総BF検索演算量

      個体の比較回数を使用して、計算コストを追跡し、最適化の機会を探します。

    Bitset Ratio​

    • Bitset使用率及び計算量

      Bitsetを活用した演算最適化の有無をモニタリングして、検索速度を向上させる機会を分析します。

    • Bitset適用リクエスト数及び適用された個体数

      検索リクエスト中にBitsetを活用した割合を確認し、インデックス戦略の効率性を評価します。

    DiskANN​

    • DiskANN検索及びインデックス性能

      DiskANNを使用した検索リクエストの遅延時間と検索回数を追跡して、ディスクベースの検索の性能を分析します。

    • DiskANNインデックスサイズ及び検索リクエスト数

      ディスクインデックスが占めるスペースと検索リクエスト数を比較して、効率を最適化します。

  • Milvus Query Coordinator & Query Node Metrics

    QueryCoordとQueryNodeの状態と性能指標をリアルタイムでモニタリングできるプリセットです。

    ダッシュボード指標案内

    Query Coordinator​

    • Number of collections

      QueryCoordが管理するコレクション数を意味します。

    • Number of partitions

      コレクション内のパーティションの数をモニタリングして、データの分割状態を特定します。

    • Number of QueryNodes

      QueryCoordが管理するQueryNodeの個数を表示します。

    • Resource Group Info

      QueryCoordで割り当てられたリソースグループ情報を確認して、クエリ実行リソースを分析します。

    Query Node​

    • Disk used size(MB)

      QueryNodeで使用するディスク容量をモニタリングして、ストレージの最適化を行います。

    • Number of ready read tasks in readyQueue

      待機中のクエリリクエストの数をモニタリングして、検索ボトルネックの有無を分析します。

    Data Coordinator & Data Node​

    • Number of collections

      DataCoordが管理するコレクション数を表示して、データ規模を追跡します。

    • Number of data nodes

      DataCoordが管理するDataNode数を通じてストレージ管理状態を確認します。

    • Import tasks grouping by type and state

      データのImport作業をタイプと状態別に分類し、読み込みと処理速度を分析できます。

最終修正：