ログの設定
ホーム画面 > プロジェクト選択 > 管理 > ログ設定
ログ設定メニューで、ログモニタリング関連の設定を行われます。 上部のタブからエージェント設定の確認、ログモニタリングを活性化有無の決定、ログデータの保存期間および照会パスワードの設定、ログパーサ登録、クイックインデックス設定などのメニューが利用できます。
-
ログモニタリング機能の活性化機能を使用するには、プロジェクト修正権限が必要です。
-
ログエディター権限では、ログモニタリング機能の活性化機能とログ設定メニューを修正できます。
ログモニタリングを開始する
上段でログモニタリングの開始タブを選択します。 ガイド表示アイコンと料金プラン表示ボタンを選択すると、関連の案内画面に移動します。
エージェント設定とログモニタリングの有効化
領域のログモニタリング機能の活性化トグルボタンでログモニタリングの有効化・無効化を設定します。
- トグルボタンをオンにすると、ログモニタリンがアクティブになります。 活性化した日から15日間無料で体験できます。
- トグルボタンをオフにすると、ログモニタリンが無効化されます。 これ以上ログを保存しません。
ログモニタリングのデータ設定
領域でログ使用量が確認できます。 またデータ保存期間およびログ照会パスワード設定を変更できます。
データ保存期間
共通に適用する基本(default) データ保持期間です。 未指定の場合、既定値は1日です。 カテゴリごとのデータ保存期間を個別で設定しない場合は、このデータ保存期間がデフォルトとして適用されます。 カテゴリごとのデータ保存期間を設定し、初期化ボタンを選択すると、基本データの保存期間が初期化されます。
カテゴリ別のデータ保存期間
カテゴリごとのログデータの保存期間を指定できます。 ログ数は、当該期間中に蓄積されたログの件数を意味します。 例えば、日間ログ数は、1日にたまったログ件数、予想ログ数は、データ保持日に今日のログ数を掛けたログ件数を意味します。
ログデータの保存期間を次のように指定できます。 期間指定により、古いデータを削除してスペースを確保できます。
-
トライアルプロジェクト
データ保存期間として1日、2日、3日を選択できます。
-
有料プロジェクト
データの保存期間として1日、2日、3日、4日、5日、6日、7日、10日、30日、40日が選択できます。
-
保存量基準課金
データの保存期間によってコストが異なります。
例、1日平均200万ログ件数が蓄積され、データ保存期間を3日に指定した場合、平均600万ログ件数が収集サーバーに保持され、課金の対象となります。
ログ参照パスワード
セキュリティを強化するため、ログ照会パスワードを設定してください。 ログ検索パスワードの指定はオプションです。 ログ検索パスワードを使用中の場合は、ログ画面に入るときは必ずパスワードを入力してください。
パスワードの紛失
ログ編集権限がある場合は、ログ設定メニューで新しいパスワードに変更できます。
ログ1次パーサ設定
ログ設定メニューの上部にあるログプライマリパーサ設定タブを選択してログパーサを登録または修正ができます。 ログ1次パーサは、GROKとJSONパーサを提供します。 収集されたログを使用して、パターンの条件と一致するキー情報、つまり検索キーと検索値を抽出します。 パーシングされたログキーは、ログのタイプを分類するための目的および特定のログを検索するためのインデックスに使用されます。 タイプ別ログ発生数を集計したり、特定のログをすばやく特定するために登録に必要なパーサです。
-
GROK:基本的には、正規表現ベースのパーシングに対応します。 予約キーワードベースのパーシングを提供します。
-
JSON:ログからJSONで出力された部分に対して一括パーシング機能を提供します。
パーシングロジックが未登録時に検索可能なkey
category
, oid
, oname
, okind
, okineName
, @txid
, @login
, httphost
パーサで登録のできない予約語
次の予約語の場合、パーサを登録してもインデックスは作成されません。
timestamp
, message
, pcode
, category
, content
, logContent
ログパーサの詳細については、次の文書を参照してください。
設定項目
設定値 | 説明 | その他 |
---|---|---|
カテゴリ | パターンを適用するカテゴリです。 | required |
ログ検出条件 | フィルターとして適用する検索キー、検索値を入力します。 ログ検出条件を満たすログデータにパターンを適用します。 ログ検出条件を入力しない場合、すべてのログを対象にパターンを適用します。 | optional |
パターン | ログをパーシング(parsing)するパターンです。 作成したパターンに合わせてパーシングを行い、インデックスを作成します。 GROKと正規表現に対応します。 | required |
パーサ一覧
ログ設定メニューの上部のログプライマリパーサ設定タブを選択すると、登録したパーサが表示され、追加および編集が可能なパーサ一覧画面を確認できます。
-
右上の+追加するボタンを選択するとパーサ 追加画面が表示されます。
-
パーサ一覧優先順位カラムのアイコンをドラッグしてパーサの設定手順を変更できます。
-
パーサ一覧 活性化トグルでパーサの活性化有無を指定できます。
-
パーサ一覧 修正及び 削除アイコンで登録したパーサを修正または削除できます。
パーサ登録手順
ログ設定メニューの上部にあるログプライマリパーサ設定タブを選択してログパーサを登録または修正ができます。 次に、パーサ登録の共通の手順を説明します。
-
+追加するボタンを選択するとパーサ 追加画面が表示されます。
-
パーサ選択画面からパーサを選択します。 各パーサおよびパターン登録の詳細については、次の文書を参照してください。
-
GROK パーサおよびパターン登録
-
JSON パーサおよびパターン登録
-
-
カテゴリ選択画面からカテゴリを選択するか、直接入力します。
-
ログ検出条件として使用する検索キーと検索値を選択するか、直接入力してください。
フィルター条件に合ったログデータのみパターンを適用します。 ログ検出条件を指定しない場合は、すべてのログにパターンを適用します。
-
パターンを入力してください。
-
登録したいパターンが正常な場合は、シミュレーションボタンをクリックしてシミュレーション及びパターンのパフォーマンスを測定してください。
シミュレーションとパフォーマンス測定の詳細については、次の文書を参照してください。
-
シミュレーション結果が正常である場合は、追加ボタンを選択してパーサを登録します。
ログパーサ登録時、同じカテゴリのパーサを重複で登録できません。
GROKパーサパターン登録
基本文法は、%{SYNTAX:SEMANTIC}
です。 GROKパーサの詳細は、次の文書を参照してください。
-
SYNTAX
GROK定義パターンです。
-
SEMANTIC
パーシングされたデータに割り当てるキーです。
ノートSEMANTICでは、予約語ではなく、組み合わせでの使用を推奨します。
JSONフォーマットのパーサパターン登録
ログ全体または一部がJSON形式で出力される場合、JSONフォーマットのパーサを使用して、JSONに出力された部分をパーシングできます。 ログのうちJSON形式として出力された部分を検出するために、Prefix、Postfixオプションを組み合わせてログのどの部分をJSONとして認識してパーシングするかを指定します。 JSONパーサの詳細は、次の文書を参照してください。
オプション | 説明 |
---|---|
Prefix | JSON文字列の先頭の前にある文字列を指定します。 未指定時、ログ出力文の先頭からJSON文字列として識別します。 |
Postfix | JSON文字列の最後後の部分の文字列を指定します。 未指定時、ログ出力文の最後までをJSON文字列として識別します。 |
Ignore | JSON出力部分のうちキー抽出を除外するフィールドを指定します。 |
-
登録例
Log[2022-10-25 10:15:34:145]...(改行)
Request : {"key1":"value1","key2":"value2",...}(改行)
Response : {"key3":"value3","key4":"value4",...}例のように流入されるログがRequest JSON、Response JSONをすべてパーシングする場合、次の2つのパターンを登録します。
-
Requestパーシング用のパターン
"Request:"と"Response"間の文字列
{"key1":"value1","key2":"value2",...}
対象 -
Reponseパーシング用のパターン
"Response:"からログの最後までの文字列
{"key3":"value3","key4":"value4",...}
対象
-
-
JSONカスタムパターンの登録
ログの一部がJSON形式で出力される場合、JSONで出力された部分をカスタムパーサを使用してパーシングできます。 パターンを次のように入力します。
io.whatap.logsink.parser.JsonFormatParser{}
ログのうちJSON形式として出力された部分を検出するために、Prefix、Postfixオプションを組み合わせてログのどの部分をJSONとして認識してパーシングするかを指定します。
JsonFormatParser{}
の{}
にオプションを指定します。-
登録例
Log[2022-10-25 10:15:34:145]...(改行)
Request : {"key1":"value1","key2":"value2",...}(改行)
Response : {"key3":"value3","key4":"value4",...}例のように流入されるログがRequest JSON、Response JSONをすべてパーシングする場合、次の2つのパターンを登録します。
- Requestパーシング用のパターン
"Request:"と"Response"間の文字列
{"key1":"value1","key2":"value2",...}
対象
io.whatap.logsink.parser.JsonFormatParser {prefix:"Request : ",postfix:"Response"}
- Reponseパーシング用のパターン
"Response:"からログの最後までの文字列
{"key3":"value3","key4":"value4",...}
対象
io.whatap.logsink.parser.JsonFormatParser {prefix: "Response : "}
- Requestパーシング用のパターン
-
パーサシミュレーション
-
パーサ追加画面でパターンを入力した後シミュレーションボタンを選択します。 パーサ シミュレーション画面が表示されます。
-
パーサ シミュレーション画面でログを入力します。
-
入力したログとパターンを確認してください。
-
シミュレーションボタンを選択して登録するパターンで、パーシングが成功するか確認してください。
-
シミュレーションの成功画面
-
シミュレーションの失敗画面
-
-
パターン適用ボタンをクリックすると、選択したパーサに入力したパターンが適用されます。
パフォーマンス測定
シミュレーションの成功後パフォーマンス測定ボタンを選択して、パーサのパフォーマンスを測定できます。 シミュレーションを実行する対象文字列に対して、パーサの繰り返しパーシングの所要時間を測定した後、次のように測定結果を確認します。
パーシングの成功
パーシング ロジックを登録し、キー(key)が生成されたら、ログを照会する際に該当キーでパーシングされた値が追加されます。 次のログTailメニュー例のように、パーシングされたキーと値が追加されます。
パーシングされたキーはログTail、ログ検索、ログトレンドで確認できます。