ログの設定
ログ設定 の上部タブからログモニタリングを設定できます。 エージェント設定の確認、ログモニタリングの有効化設定、ログデータの保持期間および照会パスワードの設定、ログパーサーの登録、クイックインデックスの設定、個人情報のマスキング管理などを行うことができます。
権限
-
ログ モニタリング機能の活性化 を使用するには、プロジェクト修正 権限が必要です。
-
ログエディター 権限があれば、ログモニタリング機能の活性化 のほか、ログ設定 メニューを編集できます。
ログモニタリングを開始する
-
ログ > ログ設定 の ログモニタリングの開始 タブをクリックしてください。
-
ガイド表示アイコンと 料金プラン表示ボタンを選択すると、案内画面に移動します。
エージェント設定とログモニタリングの有効化
ログモニタリングのデータ設定
領域でログ使用量が確認できます。 またログ保存期間とログ照会パスワード設定を変更できます。
ログ参照パスワード
セキュリティを強化するため、ログ照会パスワードを設定してください。 ログ検索パスワードの指定はオプションです。 ログ検索パスワードを使用中の場合は、ログ画面に入るときは必ずパスワードを入力します。
パスワードを忘れた場合
ログ編集権限を持つユーザーは、ログ設定 で新しいパスワードに変更できます。
ログ保存期間
共通に適用する基本(default) データ保持期間です。
-
最小1日から最 大40日まで入力できます。 未指定の場合、既定値は1日です。 ログ保存期間の選択オプションの他に、ユーザーが希望する期間を入力できます。
-
ログ使用量一覧で別に設定しない場合、このログデータの保存期間がデフォルトで適用されます。 ログ使用量 リストでカテゴリごとのデータ保持期間を設定し、初期化 ボタンをクリックすると、デフォルトのデータ保持期間に初期化されます。
ログ使用量
ログ使用量一覧でカテゴリ別のログデータの保存期間を指定できます。 ログ数は、当該期間中に蓄積されたログの件数を意味します。 例えば、日間ログ数は、1日にたまったログ件数、予想ログ数は、データ保持日に今日のログ数を掛けたログ件数を意味します。
ログデータの保存期間を次のように指定できます。 期間指定により、古いデータを削除してスペースを確保できます。
-
トライアルプロジェクト
データ保存期間として1日、2日、3日を選択できます。
-
有料プロジェクト
データの保存期間として1日、2日、3日、4日、5日、6日、7日、10日、30日、40日が選択できます。
-
保存量基準課金
データの保存期間によってコストが異なります。
例、1日平均200万ログ件数が蓄積され、データ保存期間を3日に指定した場合、平均600万ログ件数が収集サーバーに保持され、課金の対象となります。
ログプライマリパーサ設定
ログ設定 上部の ログプライマリパーサ設定 タブを選択して、収集されたログに対するパーサーを登録できます。
ログプライマリパーサはGROKとJSONパーサを提供し、タイプ別ログ発生数の集計や特定ログの検索に必須のパーサです。 パターン条件に一致する検索キーと検索値を抽出し、パーシングされたキーはログのタイプ分類と検索インデックスに活用します。
-
GROK:基本的には、正規表現ベースのパーシングに対応します。 予約キーワードベースのパーシングを提供します。
-
JSON:ログからJSONで出力された部分に対して一括パーシング機能を提供します。
パーシングロジックが未登録時に検索可能なkey
category, oid, oname, okind, okindName, @txid, @login, httphost
パーサで登録のできない予約語
timestamp, message, pcode, category, content, logContent
- 次の予約語の場合、パーサを登録してもインデックスは作成されません。
ログパーサに関する詳細はこちらの文書をご覧ください。
設定項目
| 設 定値 | 説明 | その他 |
|---|---|---|
| カテゴリ | パターンを適用する対象のカテゴリです。 | required |
| ログ検出条件 | フィルターとして使用する検索キーと検索値を入力します。 - ログ検出条件に一致するログデータにのみパターンが適用されます。検出条件を入力しない場合、すべてのログにパターンが適用されます。 | optional |
| パターン | ログをパースするためのパターンです。 - 作成したパターンに従ってログをパースし、インデックスを生成します。 GROKおよび正規表現の構文をサポートしています。 | required |
パーサ一覧
登録済みのパーサーを確認でき、追加や編集が可能です。 適用順にパーサーが評価され、最初に一致したパーサーのみが適用されます。
-
右上の**+**追加するボタンをクリックすると、パーサ 追加画面が表示されます。
-
優先順位カラムの
アイコンをドラッグしてパーサの設定手順を変更できます。
-
活性化トグルでパーサの活性化有無を指定できます。
-
修正及び
削除アイコンで登録したパーサを修正または削除できます。
パーサー登録
以下はパーサーを登録する共通の手順です。
-
ログプライマリパーサ設定 で + 追加する ボタンをクリックしてください。
-
パーサ 追加画面でパーサを選択してください。
ノートパーサーおよびパターンの登録方法
-
GROK パーサおよびパターン登録
-
JSON パーサおよびパターン登録
-
-
パーサーを選択すると、パターン登録ボタンが有効になります。 パターン登録ボタンをクリックした後、パーサーシミュレーションウィンドウでパターンとログを入力します。
a. パターンを入力してください。
b. ログのカテゴリとシミュレーション用のパースログを入力してください。 ログ検索ボタンをクリックした後、検索結果の一覧から目的のログの右側にある選択ボタンをクリックすると、ログが自動的に入力されます。
ノートログ検索を使用して、収集されたログの中からサンプルログを選択できます。 選択したログはシミュレーション入力欄に自動的に反映され、コピーや貼り付けなしですぐにテストできます。
c. 登録するパターンが正しいかどうかを確認するには、シミュレーションボタンをクリックして、シミュレーションとパターンのパフォーマンスを測定してください。
ノートシミュレーションと性能測定についての詳細は、次の文書を参照してください。
-
正常にパースされるかどうかシミュレーション結果を確認した後、パターン適用ボタンをクリックしてください。
-
追加ボタンをクリックすると、パーサーが追加されます。
個人情報の非識別化
パーサー登録時に検索キー名を検索キー.pに指定すると非識別化の対象になります(例:myname.p **)。 WhaTapは個人情報の非識別化タブで非識別化を管理する方式を勧めます。 詳細は個人情報の非識別化を参照してください。
GROKパーサパターン登録
基本文法は、%{SYNTAX:SEMANTIC}です。 GROKパーサの詳細は、次の文書を参照してください。 パターン登録とシミュレーションが必須です。
-
SYNTAX
GROK定義パターンです。
-
SEMANTIC
パーシングされたデータに割り当てるキーです。
ノートSEMANTICでは、予約語ではなく、組み合わせでの使用を推奨します。
JSONフォーマットのパーサパターン登録
ログ全体または一部がJSON形式で出力される場合、JSONフォーマットのパーサを使用して、JSONに出力された部分をパーシングできます。 ログのうちJSON形式として出力された部分を検出するために、Prefix、Postfixオプションを組み合わせてログのどの部分をJSONとして認識してパーシングするかを指定します。 JSONパーサの詳細は、次の文書を参照してください。 シミュレーションが必須です。
| オプション | 説明 |
|---|---|
| Prefix | JSON文字列の先頭の前にある文字列を指定します。 未指定時、ログ出力文の先頭からJSON文字列として識別します。 |
| Postfix | JSON文字列の最後後の部分の文字列を指定します。 未指定時、ログ出力文の最後までをJSON文字列として識別します。 |
| Ignore | JSON出力部分のうちキー抽出を除外するフィールドを指定します。 |
-
登録例
Log[2022-10-25 10:15:34:145]...(改行)
Request : {"key1":"value1","key2":"value2",...}(改行)
Response : {"key3":"value3","key4":"value4",...}例のように流入されるログがRequest JSON、Response JSONをすべてパーシングする場合、次の2つのパターンを登録します。
-
Requestパーシング用のパターン
"Request:"と"Response"間の文字列
{"key1":"value1","key2":"value2",...}対象 -
Responseパーシング用のパターン
"Response:"からログの最後までの文字列
{"key3":"value3","key4":"value4",...}対象
-
-
JSONカスタムパターンの登録
ログの一部がJSON形式で出力される場合、JSONで出力された部分をカスタムパーサを使用してパーシングできます。 パターンを次のように入力します。
io.whatap.logsink.parser.JsonFormatParser{}ログのうちJSON形式として出力された部分を検出するために、Prefix、Postfixオプションを組み合わせてログのどの部分をJSONとして認識してパーシングするかを指定します。
JsonFormatParser{}の{}にオプションを指定します。-
登録例
Log[2022-10-25 10:15:34:145]...(改行)
Request : {"key1":"value1","key2":"value2",...}(改行)
Response : {"key3":"value3","key4":"value4",...}例のように流入されるログがRequest JSON、Response JSONをすべてパーシングする場合、次の2つのパターンを登録します。
- Requestパーシング用のパターン
"Request:"と"Response"間の文字列
{"key1":"value1","key2":"value2",...}対象
io.whatap.logsink.parser.JsonFormatParser {prefix:"Request : ",postfix:"Response"}- Responseパーシング用のパターン
"Response:"からログの最後までの文字列
{"key3":"value3","key4":"value4",...}対象
io.whatap.logsink.parser.JsonFormatParser {prefix: "Response : "} - Requestパーシング用のパターン
-
パーサーシミュレーションと性能測定
パーサーシミュレーション後、パターンを登録できます。 パフォーマンス測定は、シミュレーション実行対象文字列に対してパーサーの反復パーシング所要時間を測定します。
-
パターンとログを入力します。 ログ検索ボタンをクリックした後、検索結果の一覧から目的のログの右側にある選択ボタンをクリックすると、ログが自動的に入力されます。
-
シミュレーションボタンをクリックして、登録しようとするパターンでパーシングに成功することを確認します。
-
シミュレーションの成功時シミュレーション結果と性能測定の結果を照会できます。
-
シミュレーション後、パターン適用ボタンをクリックすると、選択したパーサーに入力したパターンが適用されます。
パーシングの成功
パーシング ロジックを登録し、キー(key)が生成されたら、ログを照会する際に該当キーでパーシングされた値が追加されます。 次のログTailメニュー例のように、パーシングされたキーと値が追加されます。

パーシングされたキーはログTail、ログ検索、ログトレンドで確認できます。
ログセカンダリーパーサ設定
ログ設定メニューの上部にあるログセカンダリーパーサの設定タブを選択してログパーサを登録できます。
ログのセカンダリーパーサは、プライマリーパーサ(GROKまたはJSON)で抽出した値を加工して統計データや新しいフィールドを生成します。 HTTPステータスコードベースの統計パーサとともに、キーワードフィルタ、フィールド加工、応答時間分類、GeoIP変換など、さまざまなプロセッサを提供します。
ログのセカンダリーパーサは、1次でパーシングされた結果に対して、追加での2次パーシング機能を提供します。 セカンダリーパーサを使用するには、プライマリーパーサを登録する必要があります。
パーサ一覧

登録したパーサを確認でき、追加および編集が可能です。
パーサの追加、順序変更、活性化トグル、修正および削除などの操作方法はプライマリーパーサ一覧と同一です。
パーサ登録手順
次に、パーサ登録の共通の手順を説明します。

4xx、5xxステータスコードパーサ設定項目
4xx、5xx状態コードパーサ はプライマリーパーサでパーシングされたstatus値を基に4xx、5xx件数データを生成します。 特定のステータスコードを除外する場合は、除外するステータスコードを入力してください。
設定項目
| 設定値 | 説明 | その他 |
|---|---|---|
| カテゴリ | 4xx、5xxの件数データを生成するカテゴリです。 | required |
| ログ検出条件 | フィルターとして適用する検索キー、検索値を入力します。 ログ検出条件を満たすログデータに対して、4xx、5xxのデータを生成します。 ログ検出条件を入力しない場合は、すべてのログのデータを生成します。 | optional |
| 除外するステータスコード | 統計データの作成時に除外するステータスコードです。 入力がなければ、4xx・5xxに該当するすべてのエラーステータスコードを対象に4xx、5xxの件数データを生成します。 | optional |
statusパーサの登録例

流入されるログが{"msg":"message","status":404}で、例のようにGROKパーサでstatusをパーシングする場合、status: 404のようにパーシングされます。 statusが正しくパーシングされることを確認したら、4xx、5xxのステータスコードのパーサから除外するステータスコードを登録します。
データ参照
パーサをすべて登録すると、統合Flexボードに移動してログ 4XX、5XX件数ウィジェットを作成します。

ウィジェットを作成すると、次のようにデータを確認できます。

-
avg:照会期間のデータで平均値です。
-
max:照会期間のデータで最大値です。
-
recently:照会期間のデータで最後の値です。
ステータスコード成功率パーサ設定項目
状態コード成功率パーサ はプライマリーパーサでパーシングされたstatus値を基にHTTPリクエスト成功率データを生成します。 特定のステータスコードを除外する場合は、除外するステータスコードを入力してください。 statusパーシングに関する内容は、4xx、5xxステータスコードパーサ設定項目を参照してください。
設定項目
| 設定値 | 説明 | その他 |
|---|---|---|
| カテゴリ | 要請成功率データを生成するカテゴリです。 | required |
| ログ検出条件 | フィルターとして適用する検索キー、検索値を入力します。 ログの検出条件を満たすログデータのみで要請成功率データを生成します。 ログ検出条件を入力しない場合は、すべてのログのデータを生成します。 | optional |
| 除外するステータスコード | 要請成功率データを生成する際に除外するステータスコードです。 入力がなければ、2xx・3xxに該当するすべての成功ステータスコードを対象に要請成功率のデータを生成します。 | optional |
データ参照
パーサをすべて登録したら、統合Flexボードに移動し、ログ要請の成功率ウィジェットを作成します。

ウィジェットを作成すると、次のようにデータを確認できます。

チャート上のデータは、照会期間に関する統計を示します。 統計方法としては最近値、最大値、平均値などを選択できます。 最近使った値がデフォルトで選択されています 。
セカンダリーパーサプロセッサ
ログのセカンダリーパーサは、4xx、5xx状態コードパーサ と状態コード成功率パーサ のほかにも、次のようなフィールド加工プロセッサを提供します。

| プロセッサ | 説明 |
|---|---|
| すべてのキーワード含有フィルタ | 指定したすべてのキーワードが含まれるログにフラグフィールドを追加します。 |
| 一部キーワード含有フィルタ | 指定したキーワードのうち1つでも含まれるログにフラグフィールドを追加します。 |
| フィールド名変更 | 既存のフィールド名を別の名前に変更します。 |
| ステータスコードグループ分類 | HTTPステータスコードを2xx/3xx/4xx/5xxグループに自動分類します。 |
| URL静的/動的分類 | URLに拡張子(.)があれば静的コンテンツ、なければ動的サーブレットに分類します。 |
| URLパラメータ除去 | URLから?以降のクエリパラメータを除去した値を保存します。 |
| 応答時間分類 | 応答時間(ms)をfast/normal/slow/critical区間に自動分類します。 |
| JSONフィールド抽出 | JSON文字列フィールドから特定のキーを抽出して新しいフィールドとして保存します。 |
| GeoIP変換 | IPアドレスを国/都市情報に変換します。 |
| 直接入力 | FQNクラス名でプロセッサを直接登録します。 |
すべてのキーワード含有フィルタ
指定したすべてのキーワードが含まれるログにフラグフィールドを追加します。
| 設定値 | 説明 | デフォルト値 |
|---|---|---|
| 入力フィールド | キーワードを検索するフィールド名 | content |
| 保存フィールド | 結果を保存するフィールド名 | has_str_all |
| keyword | 検索するキーワード一覧(カンマで区切って入力) | required |
活用例: 入力フィールドをcontent、キーワードをerror, timeout, databaseに設定すると、3つのキーワードがすべて含まれるログにのみhas_str_allフィールドが追加されます。