本文へスキップ

Apache Pulsarモニタリング

ノート

Featureプロジェク​

WhaTapは、ユーザーが希望するソフトウェアのモニタリング支援の有無を簡単に確認し、簡単にモニタリングを開始できるように、新しくFeatureプロジェク(Features)を導入しました。 Featureプロジェクは、既存のモニタリング製品を、ユーザーがモニタリングしようとするソフトウェアに合わせてリパッケージし、最適化されたモニタリングソリューションを提供します。 WhaTapのFeatureプロジェクを通じて、サービスの安定性と性能をより効果的に管理します。

Apache Pulsarは、大規模なリアルタイムデータを効率的に処理できるように設計された分散型メッセージングおよびストリーミングプラットフォームです。 高い拡張性と内蔵されたマルチテナンシー機能を提供し、メッセージの地理的な複製および持続性を通じて信頼性と柔軟性を保障します。 Apache Pulsarの複雑な運用環境で性能と安定性を維持するために、モニタリングが重要です。

WhaTapは、Featureプロジェクト方法でApache Pulsarモニタリングを提供します。 WhaTapを通じてApache Pulsarクラスターの性能と状態をリアルタイムで追跡し、メッセージ遅延、処理量低下、リソース過負荷などの問題を早期に感知して解決できます。

  • メトリクスモニタリング: 各ノードのCPU、メモリ使用量など、様々なシステムのメトリクスやメッセージ処理量、遅延時間、キューサイズなど、重要な運用メトリクスを提供します。

  • カスタマイズされたダッシュボード: カスタマイズされたダッシュボードにより、メトリクスを効率的に照会できます。

  • 通知設定: 設定した条件を検知時、リアルタイムで通知を送信してユーザーが問題に迅速に対応できます。

WhaTapApache Pulsarモニタリングを通じてApache Pulsarクラスターの複雑な運用環境を効果的に管理できます。

インストール​

WhaTapのApache Pulsarモニタリングサービス利用のための基本的なインストール方法をご案内します。

WhaTapモニタリングサービスを使用するには、会員登録後、プロジェクトを作成し、ターゲットサーバーにエージェントをインストールする必要があります。 会員登録に関する詳細は、次の文書を参照してください。

ノート

サポート環境​

WhaTapのApache Pulsarモニタリングエージェントをインストールする前に、サポート環境を確認します。

  • Apache Pulsar: Apache Pulsar 3.3.x以降

  • Ubuntu: Ubuntu 12.04以降

  • OS: Red Hat 6 or equivalent(CentOS, Rocky Linux, Amazon Linux)

  • OSアーキテクチャ: Amd64/X86_64, Arm64/Aarch64

Featureプロジェクトを作成する​

エージェントをインストールする前に、まずFeatureプロジェクト(Features)を生成します。

  1. WhaTapモニタリングサービスに移動し、ログインします。

  2. プロジェクトを作成するには、左のサイドメニューからプロジェクト全体 > + Projectボタンを選択します。

  3. 商品選択画面でプロジェクトにインストールするFeature商品を選択します。

  4. プロジェクト名、データサーバーリージョン、プロジェクトタイムゾーン項目を順番に設定します。

    プロジェクトの生成

  5. 通知言語の設定で、警告通知メッセージの言語を選択します。

  6. すべての設定を完了した後は プロジェクトを作成する ボタンを選択します。

Apache Pulsarエージェントのインストール​

Featureプロジェクト(Features) 生成後、自動的に***Apache Pulsarエージェントインストール***画面に移動します。 次の案内に従ってインストールします。

  1. プロジェクトアクセスキーを確認します。

    プロジェクトアクセスキーは、WhaTapサービスを活性化するための固有IDです。 プロジェクトアクセスキー発行ボタンを選択します。

  2. インストールスクリプトを作成します。

    次のコマンドを実行して、ユーザー環境を自動的に認識し、Apache Pulsarがインストールされているサーバーに、インストールスクリプトを作成します。

    curl http://repo.whatap.io/telegraf/feature/apachepulsar/install_apachepulsar_monitoring.sh -o install_apachepulsar_monitoring.sh

  1. エージェント設定および再起動後、モニタリングを開始します。

    WhaTapサーバーモニタリングエージェントとテレグラフサイドカーをインストールするために、次のコマンドを実行します。

    chmod +x install_apachepulsar_monitoring.sh
    sudo ./install_apachepulsar_monitoring.sh "x42s823cuq7fg-x7ekkc24qctvr1-z51hfam8avhtls" "15.165.146.117"

メインメニュー​

ダッシューボード​

ホーム画面 > Featureプロジェクト(Features)選択 > Apache Pulsar > Apache Pulsarダッシューボード

WhaTapのApache Pulsarモニタリングは、Apache Pulsarクラスターの性能と状態など、全体の現状を一目で把握できるように、様々なメトリクスをリアルタイムでモニタリングします。 各メトリクスを定期的に確認して、クラスターが最適な状態を維持するように管理できます。

WhaTapが提供するApache Pulsarダッシュボードは、次の3つのプリセットで構成されています。

  • Overview

    クラスターの全体的な性能と状態を一目で把握できるように、主要なメトリクスを総合的に視覚化したダッシュボードです。 クラスターオペレータがリアルタイムでシステムの状態をモニタリングし、性能の性能を迅速に検出するのに役立ちます。

    ダッシュボードのメトリクス案内
    ダッシュボード上段の要約情報​

    • CPU: クラスターで使用中のCPU コア数を表示します。

    • Memory: クラスターで使用されている総メモリ容量と現在のメモリ使用量を示します。

    • ZooKeeper: 現在運用中のZooKeeperインスタンスの数と可用ステータスを表示します。

    • Broker: 有効なブローカーの数とステータスを表示します。

    • Bookies: Apache Pulsarで使用するBookKeeperノード(Bookies)の数とステータスを示します。

    • Broker Storage Size: ブローカーに保存されているデータの総容量を示します。

    • Backlog: 未処理のメッセージの合計サイズを表示することで、メッセージ処理の遅延ステータスを把握できます。

    性能グラフ​

    • Messaging Storage: 時間に応じたメッセージストレージの使用量を表示して、ストレージ容量の変動性を追跡します。

    • Message Rate(msg/s): 1秒当たりに処理されるメッセージの数をグラフ化し、クラスターのメッセージ処理速度をモニタリングします。

    • Messaging Backlog: 時間の経過とともに処理されず待機中のメッセージの数を視覚化し、メッセージの処理遅延を迅速に把握できます。

    • Throughput(bytes/s): 1秒当たりに処理されたデータの量を示し、クラスターのデータ処理能力を評価します。

    • Replication Backlog: 他のデータセンターに複製されず待機しているメッセージの数を示します。

    • Replication Throughput: データの複製プロセスで1秒当たりに処理されるデータ量を示します。

    • Replication Rate: 複製メッセージの送信速度を示します。

    • Subscription Unacked Messages: 購読されたメッセージのうち、まだ確認されていない(Unacked) メッセージの数を示します。

    上位10項目のバックログ​

    • Top 10 topics backlog: バックログが最も多い上位10個のトピックを一覧表示することで、メッセージ遅延の原因を分析できます。

    • Top 10 Replication Backlog: 複製バックログが最も多い上位10項目を一覧表示することで、複製遅延の問題を把握できます。

  • Overview II

    クラスター内のメッセージ生産者と消費者活動を重点的にモニタリングするダッシュボードです。 ノードごとのリソース使用量と主要トピックの状態を詳細に管理できるように設計されています。 システムリソースの最適化とメッセージ処理フローの管理に役立ちます。

    ダッシュボードのメトリクス案内

    • Consumers Count: 現在クラスターで有効になっているコンシューマー数をリアルタイムで表示し、メッセージ消費活動をモニタリングし、コンシューマーの数の変動がシステムに与える影響を分析できます。

    • Producers Count: 現在クラスターで活性化されたプロデューサーの数をリアルタイムで表示し、メッセージの生産活動をモニタリングし、プロデューサー数の変化がメッセージの生産速度に与える影響を分析できます。

    • Messages In: クラスターに引き込まれるメッセージの数を時間とともに表示し、メッセージの引き込み速度をモニタリングしてシステムの負荷を予測し、トラフィックの変動を把握するのに役立ちます。

    • Subscriptions Count: クラスターでな有効化された購読数をリアルタイムで表示し、購読数の増減がシステムメッセージの処理に与える影響を分析する時に役立ちます。

    • Offloaded Size: クラスターでディスクにオフロードされたデータのサイズを示し、データの保存効率を評価し、長期的な保存スペースの管理に活用できます。

    • Bytes In: クラスターに引き込まれるデータのサイズをリアルタイムで表示し、データの引き込み速度をモニタリングして、システムの性能とネットワーク負荷を管理するのに役立ちます。

    • Node CPU(Node CPU使用率): クラスター内の各ノードのCPU使用率をグラフで表示し、ノードごとの性能をモニタリングし、リソースの分配を最適化できます。

    • Node Memory Used %(Node Memory使用率): クラスター内の各ノードのメモリ使用率をリアルタイムで表示し、メモリ使用状況をモニタリングして性能の低下を予防できます。

    • Top 10 Topics Unacked: まだ確認されていない(Unacked) メッセージの多い上位10個のトピックを一覧表示し、特定のトピックでメッセージの確認遅延の原因を把握して問題を解決するのに役立ちます。

    • Top 10 Topics Storage: ストレージ容量を最も多く占めている上位10個のトピックを一覧表示し、特定のトピックが占めるストレージ容量を分析して、効率的なデータ管理をサポートします。

  • Backlog

    クラスター内のバックログ状態をリアルタイムで追跡するダッシュボードです。 メッセージ処理の遅延が発生できるトピックを迅速に識別できるようにサポートします。 問題が発生した場合、迅速に対応し、性能最適化するための措置を取るのに役立ちます。

    ダッシュボードのメトリクス案内

    • Pulsar Backlog: 特定のトピックで処理されずに待機しているメッセージの数を時間順で可視化します。 システムの処理能力を超えた時に発生するバックログ状態をリアルタイムでモニタリングし、問題を早期に発見して対応できます。

    • Top 20 Backlog Topics: バックログが最も多い上位20個のトピックを一覧表示します。 各トピックで処理されずに待機しているメッセージ数を表示することで、問題のトピックを迅速に把握し、リソースに集中できます。

    • Recently(최근 메시지 수): 各トピックの横のRecentlyカラムは、最近発生したバックログメッセージの数を示します。 最近のバックログの状態を明確に理解し、即時の対応が必要なトピックを識別するのに役立ちます。

ノート

リアルタイムでデータを更新し、運用者が直ちに状況を把握できるようにサポートし、クラスターの運用中に発生する変動性を迅速に反映します。 これにより、システム運用者は問題をリアルタイムでモニタリングし、直ちにトラブルに対応可能です。