本文へスキップ

パイプライン

パイプライン画面では、SingleStoreのデータ取り込みパイプラインがどれだけ正常に動作しているかを確認できます。パイプラインが遅延したりエラーが発生したりすると、データが時間どおりに取り込まれません。この画面はスループット・遅延・エラーをまとめて表示し、問題箇所をすばやく特定できるように支援します。

パイプラインとは​

SingleStoreのパイプライン（Pipeline）は、外部ソース（ファイル、メッセージキューなど）からデータを自動的に取得してテーブルに取り込む機能です。簡単に言えば、データを絶えず運び続けるコンベアベルトに近いものです。ベルトが遅くなったり止まったりするとデータが蓄積されるため、処理速度とエラーを監視することが重要です。

基本画面の案内​

画面上部で照会するクラスターを選択してください。画面はステータスサマリー、KPIカード、推移チャート、パイプライン詳細表、最近のエラーで構成されます。

KPIカード​

パイプライン全体の主要指標をカードで表示します。

CardDescription
PIPELINES全パイプライン数
FAILING PIPELINES失敗が発生中のパイプライン数
BATCH SUCCESS RATEバッチ成功率
FAILED BATCHES失敗したバッチ数
BATCHES処理したバッチ数（間隔あたりのバッチ数）

各カードは rows/s (avg)、batches per interval、milliseconds (avg) などの補助単位もあわせて表示します。

推移チャート​

パイプラインの処理状態を2つの時系列チャートで表示します。

ChartDescription
RPS by Pipelineパイプラインごとの秒あたり処理行数（rows per second）
Batch Success / Failureバッチの成功・失敗の推移

チャートで特定のパイプラインをクリックすると、チャートと下の表の両方を該当パイプライン基準でフィルタリングします。

Pipeline Details 表​

個々のパイプラインの処理状況を表で表示します。上部の検索ボックスでパイプライン、ソース、テーブル名で検索できます。

ColumnDescription
Pipelineパイプライン名
Sourceデータソース
Target Table取り込み先テーブル
Typeソースの種類
Kindパイプラインの種別
RPS (avg)秒あたり処理行数（平均）
Rows Total取り込んだ全行数
Batches OK成功したバッチ数
Failed失敗したバッチ数
Queued待機中のバッチ数（バックログ）

表でパイプラインの行をクリックすると、バッチ単位の詳細ドロワーが開きます。ドロワーでは、選択したパイプラインのバッチ指標チャートと最近のエラーをあわせて確認できます。

最近のエラー (Recent Pipeline Errors)​

画面下部で、最近発生したパイプラインのエラーを確認できます。

ColumnDescription
Error Timeエラー発生時刻
Pipelineエラーが発生したパイプライン
Batchバッチ識別子
Codeエラーコード
Messageエラーメッセージ
Host発生ホスト
Instance発生インスタンス
  • バッチドロワーを開くと、最近のエラーを自動的に照会します。
  • エラー一覧はページを分けて表示します。
  • 検索ボックスでパイプライン、タイプ、コード、メッセージで検索できます。

照会時点​

画面右上で最終収集時刻を確認できます。

最終修正：