ログの設定

ログ設定メニューで、ログモニタリング関連の設定を行われます。上部のタブからエージェント設定の確認、ログモニタリングを活性化有無の決定、ログデータの保存期間および照会パスワードの設定、ログパーサ登録、クイックインデックス設定などのメニューが利用できます。

ノート

ログモニタリング機能の活性化機能を使用するには、プロジェクト修正権限が必要です。
ログエディター権限では、ログモニタリング機能の活性化機能とログ設定メニューを修正できます。

ログモニタリングを開始する

上段でログモニタリングの開始タブを選択します。ガイド表示アイコンと料金プラン表示ボタンを選択すると、関連の案内画面に移動します。

エージェント設定とログモニタリングの有効化

ログモニタリングのデータ設定

領域でログ使用量が確認できます。またデータ保存期間およびログ照会パスワード設定を変更できます。

データ保存期間

共通に適用する基本(default) データ保持期間です。未指定の場合、既定値は1日です。カテゴリごとのデータ保存期間を個別で設定しない場合は、このデータ保存期間がデフォルトとして適用されます。カテゴリごとのデータ保存期間を設定し、初期化ボタンを選択すると、基本データの保存期間が初期化されます。

カテゴリ別のデータ保存期間

カテゴリごとのログデータの保存期間を指定できます。 ログ数は、当該期間中に蓄積されたログの件数を意味します。例えば、日間ログ数は、1日にたまったログ件数、予想ログ数は、データ保持日に今日のログ数を掛けたログ件数を意味します。

ログデータの保存期間を次のように指定できます。期間指定により、古いデータを削除してスペースを確保できます。

トライアルプロジェクト

データ保存期間として1日、2日、3日を選択できます。
有料プロジェクト

データの保存期間として1日、2日、3日、4日、5日、6日、7日、10日、30日、40日が選択できます。
保存量基準課金

データの保存期間によってコストが異なります。

例、1日平均200万ログ件数が蓄積され、データ保存期間を3日に指定した場合、平均600万ログ件数が収集サーバーに保持され、課金の対象となります。

ログ参照パスワード

セキュリティを強化するため、ログ照会パスワードを設定してください。ログ検索パスワードの指定はオプションです。ログ検索パスワードを使用中の場合は、ログ画面に入るときは必ずパスワードを入力してください。

ノート

パスワードの紛失

ログ編集権限がある場合は、ログ設定メニューで新しいパスワードに変更できます。

ログ1次パーサ設定

ログ設定メニューの上部にあるログプライマリパーサ設定タブを選択してログパーサを登録または修正ができます。ログ1次パーサは、GROKとJSONパーサを提供します。収集されたログを使用して、パターンの条件と一致するキー情報、つまり検索キーと検索値を抽出します。パーシングされたログキーは、ログのタイプを分類するための目的および特定のログを検索するためのインデックスに使用されます。タイプ別ログ発生数を集計したり、特定のログをすばやく特定するために登録に必要なパーサです。

GROK：基本的には、正規表現ベースのパーシングに対応します。予約キーワードベースのパーシングを提供します。
JSON：ログからJSONで出力された部分に対して一括パーシング機能を提供します。

ノート

パーシングロジックが未登録時に検索可能なkey

category, oid, oname, okind, okineName, @txid, @login, httphost

ノート

パーサで登録のできない予約語

次の予約語の場合、パーサを登録してもインデックスは作成されません。

timestamp, message, pcode, category, content, logContent

ノート

ログパーサの詳細については、次の文書を参照してください。

設定項目

設定値	説明	その他
カテゴリ	パターンを適用するカテゴリです。	required
ログ検出条件	フィルターとして適用する検索キー、検索値を入力します。ログ検出条件を満たすログデータにパターンを適用します。ログ検出条件を入力しない場合、すべてのログを対象にパターンを適用します。	optional
パターン	ログをパーシング(parsing)するパターンです。作成したパターンに合わせてパーシングを行い、インデックスを作成します。 GROKと正規表現に対応します。	required

パーサ一覧

ログパーサー一覧

ログ設定メニューの上部のログプライマリパーサ設定タブを選択すると、登録したパーサが表示され、追加および編集が可能なパーサ一覧画面を確認できます。

右上の+追加するボタンを選択するとパーサ追加画面が表示されます。
パーサ一覧優先順位カラムのアイコンをドラッグしてパーサの設定手順を変更できます。
パーサ一覧活性化トグルでパーサの活性化有無を指定できます。
パーサ一覧修正及び削除アイコンで登録したパーサを修正または削除できます。

パーサ登録手順

ログ設定メニューの上部にあるログプライマリパーサ設定タブを選択してログパーサを登録または修正ができます。次に、パーサ登録の共通の手順を説明します。

ログパーサーの追加

+追加するボタンを選択するとパーサ追加画面が表示されます。
パーサ選択画面からパーサを選択します。各パーサおよびパターン登録の詳細については、次の文書を参照してください。
- GROK パーサおよびパターン登録
- JSON パーサおよびパターン登録
パターン登録ボタンを選択すると、右側にパターン登録とシミュレーション画面が表示されます。
登録を希望するパターンとログを入力します。
登録したいパターンが正常な場合は、シミュレーションボタンをクリックしてシミュレーション及びパターンのパフォーマンスを測定してください。
パターンの適用後、カテゴリ選択画面でカテゴリを選択するか、直接入力します。
ログ検出条件として使用する検索キーと検索値を選択するか、直接入力してください。
追加ボタンを選択してパーサーを追加します。

ノート

シミュレーションと性能測定についての詳細は、次の文書を参照してください。
ログパーサ登録時、同じカテゴリのパーサを重複で登録できません。
フィルター条件に合ったログデータのみパターンを適用します。ログ検出条件を指定しない場合は、すべてのログにパターンを適用します。

GROKパーサパターン登録

基本文法は、%{SYNTAX:SEMANTIC}です。 GROKパーサの詳細は、次の文書を参照してください。パターン登録とシミュレーションが不可欠です。

SYNTAX

GROK定義パターンです。
SEMANTIC

パーシングされたデータに割り当てるキーです。

ノート
SEMANTICでは、予約語ではなく、組み合わせでの使用を推奨します。

JSONフォーマットのパーサパターン登録

ログ全体または一部がJSON形式で出力される場合、JSONフォーマットのパーサを使用して、JSONに出力された部分をパーシングできます。ログのうちJSON形式として出力された部分を検出するために、Prefix、Postfixオプションを組み合わせてログのどの部分をJSONとして認識してパーシングするかを指定します。 JSONパーサの詳細は、次の文書を参照してください。シミュレーションが不可欠です。

オプション	説明
Prefix	JSON文字列の先頭の前にある文字列を指定します。未指定時、ログ出力文の先頭からJSON文字列として識別します。
Postfix	JSON文字列の最後後の部分の文字列を指定します。未指定時、ログ出力文の最後までをJSON文字列として識別します。
Ignore	JSON出力部分のうちキー抽出を除外するフィールドを指定します。

登録例
Log
```
[2022-10-25 10:15:34:145]...(改行)
Request : {"key1":"value1","key2":"value2",...}(改行)
Response : {"key3":"value3","key4":"value4",...}
```
例のように流入されるログがRequest JSON、Response JSONをすべてパーシングする場合、次の2つのパターンを登録します。
- Requestパーシング用のパターン
  
  "Request："と"Response"間の文字列{"key1":"value1","key2":"value2",...}対象
- Reponseパーシング用のパターン
  
  "Response："からログの最後までの文字列{"key3":"value3","key4":"value4",...}対象
JSONカスタムパターンの登録

ログの一部がJSON形式で出力される場合、JSONで出力された部分をカスタムパーサを使用してパーシングできます。パターンを次のように入力します。
```
io.whatap.logsink.parser.JsonFormatParser{}
```
ログのうちJSON形式として出力された部分を検出するために、Prefix、Postfixオプションを組み合わせてログのどの部分をJSONとして認識してパーシングするかを指定します。

JsonFormatParser{}の{}にオプションを指定します。
- 登録例
  Log
```
[2022-10-25 10:15:34:145]...(改行)
Request : {"key1":"value1","key2":"value2",...}(改行)
Response : {"key3":"value3","key4":"value4",...}
```
  例のように流入されるログがRequest JSON、Response JSONをすべてパーシングする場合、次の2つのパターンを登録します。
  - Requestパーシング用のパターン
    
    "Request："と"Response"間の文字列{"key1":"value1","key2":"value2",...}対象
```
io.whatap.logsink.parser.JsonFormatParser {prefix:"Request : ",postfix:"Response"}
```
  - Reponseパーシング用のパターン
    
    "Response："からログの最後までの文字列{"key3":"value3","key4":"value4",...}対象
```
io.whatap.logsink.parser.JsonFormatParser {prefix: "Response : "}
```

パーサーシミュレーションと性能測定

パーサーシミュレーションとパフォーマンス測定

パターンとログを入力します。
シミュレーションボタンをクリックして、登録しようとするパターンでパーシングに成功することを確認します。
シミュレーションの成功時シミュレーション結果と性能測定の結果を照会できます。
シミュレーション後、パターン適用ボタンをクリックすると、選択したパーサーに入力したパターンが適用されます。

ノート

パフォーマンス測定は、シミュレーション実行対象文字列に対してパーサーの反復パーシング所要時間を測定します。
パーサーシミュレーション後、パターンを登録できます。

パーシングの成功

パーシングロジックを登録し、キー(key)が生成されたら、ログを照会する際に該当キーでパーシングされた値が追加されます。次のログTailメニュー例のように、パーシングされたキーと値が追加されます。

パーシング成功

パーシングされたキーはログTail、ログ検索、ログトレンドで確認できます。

ログ2次パーサ設定

ログ設定メニューの上部にあるログセカンダリーパーサの設定タブを選択してログパーサを登録または修正できます。 4xx、5xx状態コードパーサと状態コード成功率パーサを提供します。ログの2次パーサは、GROKまたはJSONのような1次パーサがパーシングされた場合に使用できるパーサです。 1次パーサで抽出した値を処理して統計データを生成します。ウェブまたはAPIの応答ログに対してHttp Status Code基づいて2次統計を抽出します。

4xx、5xx状態コードパーサ：異常レスポンスに関する件数情報を集計します。
状態コード成功率パーサ：全体の件数に対する異常レスポンスの割合を抽出します。

ノート

ログの2次パーサは、1次でパーシングされた結果に対して、追加での2次パーシング機能を提供します。 2次パーサを使用するには、1次パーサを登録する必要があります。

パーサ一覧

対数2次パーサ一覧

ログ設定メニューの上部のログセカンダリーパーサの設定タブを選択すると、登録したパーサが表示され、追加および編集が可能なパーサ一覧画面を確認できます。

右上の+追加するボタンを選択するとパーサ追加画面が表示されます。
パーサ一覧優先順位カラムのアイコンをドラッグしてパーサの設定手順を変更できます。
パーサ一覧活性化トグルでパーサの活性化有無を指定できます。
パーサ一覧修正及び削除アイコンで登録したパーサを修正または削除できます。

パーサ登録手順

ログ設定メニューの上部にあるログセカンダリーパーサの設定タブを選択してログパーサを登録または修正できます。次に、パーサ登録の共通の手順を説明します。

ログ2次パーサ登録手順

+追加するボタンを選択するとパーサ追加画面が表示されます。
パーサ選択画面からパーサを選択します。各パーサ設定項目および除外するステータスコード登録の詳細については、次の文書を参照してください。
- 4xx、5xx状態コードパーサ設定項目および除外するステータスコード登録
- 状態コード成功率パーサ設定項目および除外するステータスコード登録
除外する状態コードを入力してください。
カテゴリ選択画面からカテゴリを選択するか、直接入力します。
ログ検出条件を選択するか、直接入力してください。
追加ボタンを選択してパーサを登録します。

4xx、5xxで除外するステータスコードを登録

4xx、5xx状態コードパーサは、statusが既にパーシングされている場合にのみ使用できるパーサです。パーシングされたstatusを利用して追加で4xx、5xxのステータスコードをパーシングします。パーシングされたデータで4xx、5xxの件数データを作成できます。除外するステータスコードとして、4xx、5xxのステータスコードを入力または選択できます。入力されたステータスコードは、ログから4xx、5xxのステータスコードをパーシングする際に除外されます。

設定項目

設定値	説明	その他
カテゴリ	4xx、5xxの件数データを生成するカテゴリです。	required
ログ検出条件	フィルターとして適用する検索キー、検索値を入力します。ログ検出条件を満たすログデータに対して、4xx、5xxのデータを生成します。ログ検出条件を入力しない場合は、すべてのログのデータを生成します。	optional
除外するステータスコード	統計データの作成時に除外するステータスコードです。入力がなければ、4xx・5xxに該当するすべてのエラーステータスコードを対象に4xx、5xxの件数データを生成します。	optional

statusパーサの登録例

Grokパーサ - statusパーシングパターン登録

流入されるログが{"msg":"message","status":404}で、例のようにGROKパーサでstatusをパーシングする場合、status: 404のようにパーシングされます。 statusが正しくパーシングされることを確認したら、4xx、5xxのステータスコードのパーサから除外するステータスコードを登録します。

データ参照

パーサをすべて登録すると、統合Flexボードに移動してログ 4XX、5XX件数ウィジェットを作成します。

ウィジェットを作成すると、次のようにデータを確認できます。

avg：照会期間のデータで平均値です。
max：照会期間のデータで最大値です。
recently：照会期間のデータで最後の値です。

成功率をパーサから除外するステータスコード登録

状態コード成功率パーサは、statusが既にパーシングされている場合に使用できるパーサです。 statusパーシングに関する内容は、次の文書を参照してください。パーシングされたstatusから追加で2xx、3xxのステータスコードをパーシングします。パーシングしたデータで、HTTP要請成功率データを生成できます。除外するステータスコードは、2xx、3xxのステータスコードを入力または選択できます。入力されたステータスコードは、ログから2xx、3xxのステータスコードをパーシングする際に除外されます。

設定項目

設定値	説明	その他
カテゴリ	要請成功率データを生成するカテゴリです。	required
ログ検出条件	フィルターとして適用する検索キー、検索値を入力します。ログの検出条件を満たすログデータのみで要請成功率データを生成します。ログ検出条件を入力しない場合は、すべてのログのデータを生成します。	optional
除外するステータスコード	要請成功率データを生成する際に除外するステータスコードです。入力がなければ、2xx・3xxに該当するすべての成功ステータスコードを対象に要請成功率のデータを生成します。	optional

データ参照

パーサをすべて登録したら、統合Flexボードに移動し、ログ要請の成功率ウィジェットを作成します。

ウィジェットを作成すると、次のようにデータを確認できます。

チャート上のデータは、照会期間に関する統計を示します。統計方法としては最近値、最大値、平均値などを選択できます。最近使った値がデフォルトで選択されています。

高速インデックス設定

ログ設定メニューの上段から高速インデックス設定タブを選択します。大量のログを収集すると、ログ検索性能が低下する場合があります。よく使う検索条件は、インデックス(index)で生成すると、ログ検索がより速くなります。設定項目は次のとおりです。

設定値	必須の有無	説明
カテゴリ	必須	高速クインデックスを設定するカテゴリ
検索キー	必須	高速インデックスを設定する検索キー
大文字と小文字を区別しない	オプション	大文字と小文字の区別するかどうか
ルール	必須	`*` を少なくとも１つ以上を含める必要あり
活性化有無	必須	活性化または非活性化の設定(既定値`true`)

ログ設定のインポート・エクスポート

共通のパーサ設定及び高速インデックス設定の内容をJSONファイル形式で保存し、他のプロジェクトからJSONファイルをインポートして適用できます。プロジェクトごとに何度も繰り返し設定を作成する手間を減らします。

1つのプロジェクトにパーサ設定および高速インデックス設定を追加します。
各設定タブで画面右上にJSONボタンを選択します。
JSONエクスポート画面が表示されると、画面右上にある抽出ボタンを選択します。
JSON設定ファイルがユーザーPCに保存されます。
他のプロジェクトに移動してから、ログ > ログ設定メニューに移動してください。
まず、JSON設定ファイルをエクスポートした設定タブを選択し、ボタンを選択します。
ファイル選択画面が表示されたら、ユーザーのPCに保存したJSON設定ファイルを選択します。
JSONインポート画面が表示されたら、設定内容を確認し、リストに追加するまたは上書きボタンを選択します。
画面右上の保存ボタンを選択します。

注意

JSON設定ファイルをインポートして、保存ボタンを選択しないと、インポートされた設定は保存されません。

ログ長期保存統計の設定

ログ設定メニューの上段からログ長期保存統計タブを選択します。ログデータは、非常に大容量のため、長期間保存することは難しいです。したがって、ログ統計データの設定機能を使用して特定の条件を満たすログデータが5分ごとに何件収集されたかに関する情報を保存できます。長期間にあたって、実際のログデータが削除されても、条件を満たすログがどれだけ収集されているかの推移は確認できます。

ログ長期保存統計の追加

ログ長期保存の統計

ログ長期保存統計タブで + 追加するボタンを選択するとログ長期保存統計追加画面が表示されます。 + 追加するボタンでルールを追加したり、作成したルールを***-***アイコンで削除できます。

設定項目

フィールド	説明
カテゴリ	ルールが適用されるカテゴリです。
統計キー(key)	ルールを満たすログが発生した場合、保存するキーとして同じキーを重複で設定できません。
ログ検出条件	ログ統計データを生成する条件です。この条件を満たすログがどのくらい収集されたかで統計データを生成します。
除外	除外をチェックすると、入力した条件を満たさない値で統計データを作成します。
大小文字を区別する	入力したログ検出条件の値に対して大文字と小文字の区別有無を指定します。
活性化有無	活性化または非活性化の設定(既定値`true`)

例

次のように設定を追加した場合、収集されたログのうち、statusが200, 300のログを対象にTotalCountのキーで統計データを作成します。

ログ長期保存の統計例

統合Flexボードのウィジェットテンプレートでログ長期保存統計を検索し、ウィジェットを作成します。
データを照会するカテゴリと統計キーを指定して適用ボタンを選択します。
追加した設定でログ長期保存統計データを次のように確認できます。

ログモニタリングを開始する​

エージェント設定とログモニタリングの有効化​

ログモニタリングのデータ設定​

データ保存期間​

カテゴリ別のデータ保存期間​

ログ参照パスワード​

ログ1次パーサ設定​

設定項目​

パーサ一覧​

パーサ登録手順​

GROKパーサパターン登録​

JSONフォーマットのパーサパターン登録​

パーサーシミュレーションと性能測定​

パーシングの成功​

ログ2次パーサ設定​

パーサ一覧​

パーサ登録手順​

4xx、5xxで除外するステータスコードを登録​

設定項目​

statusパーサの登録例​

データ参照​

成功率をパーサから除外するステータスコード登録​

設定項目​

データ参照​

高速インデックス設定​

ログ設定のインポート・エクスポート​

ログ長期保存統計の設定​

ログ長期保存統計の追加​

設定項目​

例​

データ参照​

ログモニタリングを開始する

エージェント設定とログモニタリングの有効化

ログモニタリングのデータ設定

データ保存期間

カテゴリ別のデータ保存期間

ログ参照パスワード

ログ1次パーサ設定

設定項目

パーサ一覧

パーサ登録手順

GROKパーサパターン登録

JSONフォーマットのパーサパターン登録

パーサーシミュレーションと性能測定

パーシングの成功

ログ2次パーサ設定

パーサ一覧

パーサ登録手順

4xx、5xxで除外するステータスコードを登録

設定項目

statusパーサの登録例

データ参照

成功率をパーサから除外するステータスコード登録

設定項目

データ参照

高速インデックス設定

ログ設定のインポート・エクスポート

ログ長期保存統計の設定

ログ長期保存統計の追加

設定項目

例

データ参照