ログの設定
ログ設定 の上部タブからログモニタリングを設定できます。 エージェント設定の確認、ログモニタリングの有効化設定、ログデータの保持期間および照会パスワードの設定、ログパーサーの登録、クイックインデックスの設定、個人情報のマスキング管理などを行うことができます。
権限
-
ログモニタリング機能の活性化 を使用するには、プロジェクト修正 権限が必要です。
-
ログエディター 権限があれば、ログモニタリング機能の活性化 のほか、ログ設定 メニューを編集できます。
ログモニタリングを開始する
-
ログ > ログ設定 の ログモニタリングの開始 タブをクリックしてください。
-
ガイド表示アイコンと 料金プラン表示ボタンを選択すると、案内画面に移動します。
エージェント設定とログモニタリングの有効化
ログモニタリングのデータ設定
領域でログ使用量が確認できます。 またログ保存期間とログ照会パスワード設定を変更できます。
ログ参照パスワード
セキュリティを強化するため、ログ照会パスワードを設定してください。 ログ検索パスワードの指定はオプションです。 ログ検索パスワードを使用中の場合は、ログ画面に入るときは必ずパスワードを入力します。
パスワードを忘れた場合
ログ編集権限を持つユーザーは、ログ設定 で新しいパスワードに変更できます。
ログ保存期間
共通に適用する基本(default) データ保持期間です。
-
最小1日から最 大40日まで入力できます。 未指定の場合、既定値は1日です。 ログ保存期間の選択オプションの他に、ユーザーが希望する期間を入力できます。
-
ログ使用量一覧で別に設定しない場合、このログデータの保存期間がデフォルトで適用されます。 ログ使用量 リストでカテゴリごとのデータ保持期間を設定し、初期化 ボタンをクリックすると、デフォルトのデータ保持期間に初期化されます。
ログ使用量
ログ使用量一覧でカテゴリ別のログデータの保存期間を指定できます。 ログ数は、当該期間中に蓄積されたログの件数を意味します。 例えば、日間ログ数は、1日にたまったログ件数、予想ログ数は、データ保持日に今日のログ数を掛けたログ件数を意味します。
ログデータの保存期間を次のように指定できます。 期間指定により、古いデータを削除してスペースを確保できます。
-
トライアルプロジェクト
データ保存期間として1日、2日、3日を選択できます。
-
有料プロジェクト
データの保存期間として1日、2日、3日、4日、5日、6日、7日、10日、30日、40日が選択できます。
-
保存量基準課金
データの保存期間によってコストが異なります。
例、1日平均200万ログ件数が蓄積され、データ保存期間を3日に指定した場合、平均600万ログ件数が収集サーバーに保持され、課金の対象となります。
ログプライマリパーサ設定
ログ設定 上部の ログプライマリパーサ設定 タブを選択して、収集されたログに対するパーサーを登録できます。
ログプライマリパーサはGROKとJSONパーサを提供し、タイプ別ログ発生数の集計や特定ログの検索に必須のパーサです。 パターン条件に一致する検索キーと検索値を抽出し、パーシングされたキーはログのタイプ分類と検索インデックスに活用します。
-
GROK:基本的には、正規表現ベースのパーシングに対応します。 予約キーワードベースのパーシングを提供します。
-
JSON:ログからJSONで出力された部分に対して一括パーシング機能を提供します。
パーシングロジックが未登録時に検索可能なkey
category, oid, oname, okind, okindName, @txid, @login, httphost
パーサで登録のできない予約語
timestamp, message, pcode, category, content, logContent
- 次の予約語の場合、パーサを登録してもインデックスは作成されません。
ログパーサに関する詳細はこちらの文書をご覧ください。
設定項目
| 設定値 | 説明 | その他 |
|---|---|---|
| カテゴリ | パターンを適用する対象のカテゴリです。 | required |
| ログ検出条件 | フィルターとして使用する検索キーと検索値を入力します。 - ログ検出条件に一致するログデータにのみパターンが適用されます。検出条件を入力しない場合、すべてのログにパターンが適用されます。 | optional |
| パターン | ログをパースするためのパターンです。 - 作成したパターンに従ってログをパースし、インデックスを生成します。 GROKおよび正規表現の構文をサポートしています。 | required |
パーサ一覧
登録済みのパーサーを確認でき、追加や編集が可能です。 適用順にパーサーが評価され、最初に一致したパーサーのみが適用されます。
-
右上の**+**追加するボタンをクリックすると、パーサ 追加画面が表示されます。
-
優先順位カラムの
アイコンをドラッグしてパーサの設定手順を変更できます。
-
活性化トグルでパーサの活性化有無を指定できます。
-
修正及び
削除アイコンで登録したパーサを修正または削除できます。
パーサー登録
以下はパーサーを登録する共通の手順です。
-
ログプライマリパーサ設定 で + 追加する ボタンをクリックしてください。
-
パーサ 追加画面でパーサを選択してください。
ノートパーサーおよびパターンの登録方法
-
GROK パーサおよびパターン登録
-
JSON パーサおよびパターン登録
-
-
パーサーを選択すると、パターン登録ボタンが有効になります。 パターン登録ボタンをクリックした後、パーサーシミュレーションウィンドウでパターンとログを入力します。
a. パターンを入力してください。
b. ログのカテゴリとシミュレーション用のパースログを入力してください。 ログ検索ボタンをクリックした後、検索結果の一覧から目的のログの右側にある選択ボタンをクリックすると、ログが自動的に入力されます。
ノートログ検索を使用して、収集されたログの中からサンプルログを選択できます。 選択したログはシミュレーション入力欄に自動的に反映され、コピーや貼り付けなしですぐにテストできます。
c. 登録するパターンが正しいかどうかを確認するには、シミュレーションボタンをクリックして、シミュレーションとパターンのパフォーマンスを測定してください。
ノートシミュレーションと性能測定についての詳細は、次の文書を参照してください。
-
正常にパースされるかどうかシミュレーション結果を確認した後、パターン適用ボタンをクリックしてください。
-
追加ボタンをクリックすると、パーサーが追加されます。
個人情報の非識別化
パーサー登録時に検索キー名を検索キー.pに指定すると非識別化の対象になります(例:myname.p **)。 WhaTapは個人情報の非識別化タブで非識別化を管理する方式を勧めます。 詳細は個人情報の非識別化を参照してください。
GROKパーサパターン登録
基本文法は、%{SYNTAX:SEMANTIC}です。 GROKパーサの詳細は、次の文書を参照してください。 パターン登録とシミュレーションが必須です。
-
SYNTAX
GROK定義パターンです。
-
SEMANTIC
パーシングされたデータに割り当てるキ ーです。
ノートSEMANTICでは、予約語ではなく、組み合わせでの使用を推奨します。
JSONフォーマットのパーサパターン登録
ログ全体または一部がJSON形式で出力される場合、JSONフォーマットのパーサを使用して、JSONに出力された部分をパーシングできます。 ログのうちJSON形式として出力された部分を検出するために、Prefix、Postfixオプションを組み合わせてログのどの部分をJSONとして認識してパーシングするかを指定します。 JSONパーサの詳細は、次の文書を参照してください。 シミュレーションが必須です。
| オプション | 説明 |
|---|---|
| Prefix | JSON文字列の先頭の前にある文字列を指定します。 未指定時、ログ出力文の先頭からJSON文字列として識別します。 |
| Postfix | JSON文字列の最後後の部分の文字列を指定します。 未指定時、ログ出力文の最後までをJSON文字列として識別します。 |
| Ignore | JSON出力部分のうちキー抽出を除外するフィールドを指定します。 |
-
登録例
Log[2022-10-25 10:15:34:145]...(改行)
Request : {"key1":"value1","key2":"value2",...}(改行)
Response : {"key3":"value3","key4":"value4",...}例のように流入されるログがRequest JSON、Response JSONをすべてパーシングする場合、次の2 つのパターンを登録します。
-
Requestパーシング用のパターン
"Request:"と"Response"間の文字列
{"key1":"value1","key2":"value2",...}対象 -
Responseパーシング用のパターン
"Response:"からログの最後までの文字列
{"key3":"value3","key4":"value4",...}対象
-
-
JSONカスタムパターンの登録
ログの一部がJSON形式で出力される場合、JSONで出力された部分をカスタムパーサを使用してパーシングできます。 パターンを次のように入力します。
io.whatap.logsink.parser.JsonFormatParser{}ログのうちJSON形式として出力された部分を検出するために、Prefix、Postfixオプションを組み合わせてログのどの部分をJSONとして認識してパーシングするかを指定します。
JsonFormatParser{}の{}にオプションを指定します。-
登録例
Log[2022-10-25 10:15:34:145]...(改行)
Request : {"key1":"value1","key2":"value2",...}(改行)
Response : {"key3":"value3","key4":"value4",...}例のように流入されるログがRequest JSON、Response JSONをすべてパーシングする場合、次の2つのパターンを登録します。
- Requestパーシング用のパターン
"Request:"と"Response"間の文字列
{"key1":"value1","key2":"value2",...}対象
io.whatap.logsink.parser.JsonFormatParser {prefix:"Request : ",postfix:"Response"}- Responseパーシング用のパターン
"Response:"からログの最後までの文字列
{"key3":"value3","key4":"value4",...}対象
io.whatap.logsink.parser.JsonFormatParser {prefix: "Response : "} - Requestパーシング用のパターン
-
パーサーシミュレーションと性能測定
パーサーシミュレーション後、パターンを登録できます。 パフォーマンス測定は、シミュレーション実行対象文字列に対してパーサーの反復パーシング所要時間を測定します。
-
パターンとログを入力します。 ログ検索ボタンをクリックした後、検索結果の一覧から目的のログの右側にある選択ボタンをクリックすると、ログが自動的に入力されます。
-
シミュレーションボタンをクリックして、登録しようとするパターンでパーシングに成功することを確認します。
-
シミュレーションの成功時シミュレーション結果と性能測定の結果を照会できます。
-
シミュレーション後、パターン適用ボタンをクリックすると、選択したパーサーに入力したパターンが適用されます。
パーシングの成功
パーシング ロジックを登録し、