ログの設定
ホーム画面 > プロジェクト選択 > ログ > ログ設定
ログ設定メニューで、ログモニタリング関連の設定を行うことができます。 上部のタブからエージェント設定の確認、ログモニタリングをアクティブにするかどうかの決定、ログデータの保存期間および検索パスワード設定、ログパーサー登録、クイックインデックス設定などのメニューが使用できます。
-
ログモニタリング有効化機能を使用するには、プロジェクト修正権限が必要です。
-
ログ編集権限では、ログモニタリング有効化機能 とログ設定メニューを修正できます。
ログモニタリングを開始する
上部にあるログモニタリングを開始するタブを選択してください。 
ガイドを表示アイコンと料金プランを表示ボタンを選択すると、関連したガイド画面に移動します。
エージェント設定とログモニタリングの有効化
領域でエージェント設定を確認しログモニタリングの有効化トグルボタンでログモニタリングの有効化・無効化を設定してください。
エージェント設定確認
ログモニタリングを開始するために、エージェントのバージョンと設定情報を確認してください。 エージェント設定確認メニューを選択して、説明通りにプロセスを進めてください。
-
アプリケーションモニタリング
適用するメニューの下にある固有のアプリケーション手順を確認してください。 次の説明書Java、PHP、Python、Go などを参照してください。
-
サーバーモニタリング
適用するメニューの下にある固有のアプリケーション手順を確認してください。 次の文書を参照してください。 指示に従ってwhatap.confにログモニタリング対象ファイルの設定を追加してください。
-
Kubernetesモニタリング
適用するメニューの下にある固有のアプリケーション手順を確認してください。 次の文書を参照してください。
ログモニタリングの有効化
ログモニタリング有効化メニューを選択して、ログモニタリングの有効化または無効化を設定してください。
トグルボタンをオンにすると、ログモニタリンがアクティブになります。 アクティブ化した日から15日間無料で体験できます。
トグルボタンをオフにすると、ログモニタリンが無効化されます。 これ以上ログを保存しません。
ログモニタリングデータ設定
領域でログ使用量が確認できます。 またデータ保持期間およびログ参照パスワード設定を変更できます。
データ保持期間
共通に適用する基本(default) データ保持期間です。 未指定の場合、既定値は1日です。 カテゴリごとのデータ保存期間を個別で設定しない場合は、このデータ保存期間がデフォルトとして適用されます。 カテゴリごとにデータ保存期間を設定し、 初期化ボタンを選択すると、基本データの保存期間が初期化されます。
カテゴリ別のデータ保存期間
カテゴリごとのログ データ保持期間を指定できます。 ログ数は、その期間中に蓄積されたログ行数を意味します。 例えば、本日のログ数は、その日に蓄積されたログライン個数、予想ログ数は、データ保持日に本日のログ数を掛けたログライン個数を意味します。
ログデータの保存期間を次のように指定できます。 期間指定により、古いデータを削除してスペースを確保できます。
-
トライアルプロジェクト
データ保存期間として1日、2日、3日を選択できます。
-
有料プロジェクト
データ保存期間として1日、2日、3日、4日、5日、6日、7日、10日、30日、40日を選択できます。
-
保存量基準課金
データの保存期間によってコストが異なります。
例えば、1日平均200万ログが蓄積され、データ保存期間を3日に指定した場合、平均600万ログ行が収集サーバーに保持され、課金の対象となります。
ログ参照パスワード
セキュリティを強化するため、ログ参照パスワードを設定してください。 ログ検索パスワードの指定はオプションです。 ログ検索パスワードを使用中の場合は、ログ画面に入るときは必ずパスワードを入力してください。
パスワードの紛失
ログ編集権限がある場合は、ログ設定メニューで新しいパスワードに変更できます。
ログ1次パーサー設定
ログ設定メニューの上部にあるログ1次パーサー設定タブを選択してログパーサーを登録または修正ができます。 ログ1次パーサーは、GROKとJSONパーサーを提供します。 収集されたログを使用して、パターンの条件と一致するキー情報、つまり検索キーと検索値を抽出します。 構文解析されたログキーは、ログのタイプを分類するための用途および特定のログを検索するためのインデックス作成に使用します。 タイプ別ログ発生数を集計したり、特定のログをすばやく特定するために登録に必要なパーサーです。
-
GROK：基本的には、正規表現ベースの構文解析に対応します。 予約キーワードベースの構文解析を提供します。
-
JSON****: JSON として出力されるログの部分のバッチ解析を提供します。
パーシングロジックが未登録時に検索可能なkey
category, oid, oname, okind, okineName, @txid, @login, httphost
パーサで登録のできない予約語
次の予約語の場合、パーサを登録してもインデックスは作成されません。
timestamp, message, pcode, category, content, logContent
ログパーサの詳細については、次の文書を参照してください。
設定項目
| 設定値 | 説明 | その他 |
|---|---|---|
| カテゴリ | パターンを適用するカテゴリです。 | required |
| ログ検出条件 | フィルターとして適用する検索キー、検索値を入力します。 ログ検出条件を満たすログデータにパターンを適用します。 ログ検出条件を入力しない場合、すべてのログを対象にパターンを適用します。 | optional |
| パターン | ログを構文解析(parsing)するパターンです。 作成したパターンに合わせて構文解析を行い、インデックスを作成します。 GROK、正規表現構文に対応します。 | required |
パーサー一覧
ログ設定メニューの上部のログ1次パーサー設定タブを選択すると、登録したパーサーが表示され、追加および編集が可能なパーサー一覧画面を確認できます。
-
右上の+追加するボタンを選択するとパーサー追加ウィンドウが表示されます。
-
パーサー一覧適用順序カラムの
アイコンをドラッグしてパーサーの設定手順を変更できます。 -
パーサー一覧
有効トグルでパーサーを有効の有無を指定できます。 -
パーサー一覧
修整及び
削除アイコンで登録したパーサーを修正または削除できます。
パーサー登録手順
ログ設定メニューの上部にあるログ1次パーサー設定タブを選択してログパーサーを登録または修正ができます。 次に、パーサー登録時の共通手順について説明します。
-
+追加するボタンを選択するとパーサー追加ウィンドウが表示されます。
-
パーサー選択ウィンドウからパーサーを選択してください。 各パーサーおよびパターン登録の詳細については、次の文書を参照してください。
-
GROK パーサーおよびパターン登録
-
JSON パーサーおよびパターン登録
-
-
カテゴリー選択ウィンドウからカテゴリを選択するか、直接入力してください。
-
ログ検出条件として使用する検索キーと検索値を選択するか、直接入力してください。
フィルター条件に合ったログデータのみパターンを適用します。 ログ検出条件を指定しない場合は、すべてのログにパターンを適用します。
-
パターンを入力してください。
-
登録したいパターンが正常な場合は、シミュレーションボタンをクリックしてシミュレーション及びパターンのパフォーマンスを測定してください。
シミュレーションと性能測定の詳細については、次の文書を参照してください。
- シミュレーション結果が正常である場合は、追加ボタンを選択してパーサーを登録してください。
ログパーサ登録時、同じカテゴリのパーサを重複登録することはできません。
GROKパーサーパターン登録
基本文法は、%{SYNTAX:SEMANTIC}です。 GROKパーサの詳細は、次の文書を参照してください。
-
SYNTAX
GROK定義パターンです。
-
SEMANTIC
パーシングされたデータに割り当てるキーです。
ノートSEMANTICでは、予約語を使用しないように、組み合わせ語の使用を推奨しています。
JSONフォーマットのパーサーパターン登録
ログ全体または一部がJSON形式で出力される場合、JSONフォーマットのパーサーを使用して、JSONに出力された部分をパーシングすることができます。 ログのうちJSON形式として出力された部分を検出するために、Prefix、Postfixオプションを組み合わせてログのどの部分をJSONとして認識してパーシングするかを指定します。 JSONパーサーの詳細は、次の文書を参照してください。
| オプション | 説明 |
|---|---|
| プレフィックス | JSON文字列の先頭の前にある文字列を指定します。 未指定時、ログ出力文の先頭からJSON文字列として識別します。 |
| ポストフィックス | JSON文字列の末尾部分の文字列を指定します。 未指定時、ログ出力文の末尾部分までJSON文字列として識別します。 |
| 無視する | JSON 出力のどのフィールドを除外するかを指定します。 |
-
登録例
Log[2022-10-25 10:15:34:145]...(改行)
Request : {"key1":"value1","key2":"value2",...}(改行)
Response : {"key3":"value3","key4":"value4",...}例のように受信ログでRequest JSON、Response JSONをすべてパーシングしたい場合は、次の2つのパターンを登録します。
-
Requestパーシング用のパターン
"Request："と"Response" 間の文字列
{"key1":"value1","key2":"value2",...}を対象とします。 -
Reponseパーシング用のパターン
"Response："からログの末尾までの文字列
{"key3":"value3","key4":"value4",...}を対象とします。
-
-
JSONカスタムパターンの登録
ログの一部がJSON形式で出力される場合、JSONで出力された部分を専用カスタムパーサーを使用してパーシングできます。 パターンを次のように入力してください。
io.whatap.logsink.parser.JsonFormatParser{}ログのうちJSON形式として出力された部分を検出するために、Prefix、Postfixオプションを組み合わせてログのどの部分をJSONとして認識してパーシングするかを指定してください。
JsonFormatParser{}の{}にオプションを指定します。-
登録例
Log[2022-10-25 10:15:34:145]...(改行)
Request : {"key1":"value1","key2":"value2",...}(改行)
Response : {"key3":"value3","key4":"value4",...}例のように受信ログでRequest JSON、Response JSONをすべてパーシングしたい場合は、次の2つのパターンを登録します。
- Requestパーシング用のパターン
"Request："と"Response"間の文字列
{"key1":"value1","key2":"value2",...}を対象とします。
io.whatap.logsink.parser.JsonFormatParser {prefix:"Request : ",postfix:"Response"}- Reponseパーシング用のパターン
"Response："からログの末尾までの文字列
{"key3":"value3","key4":"value4",...}を対象とします。
io.whatap.logsink.parser.JsonFormatParser {prefix: "Response : "} - Requestパーシング用のパターン
-
パーサーシミュレーション
-
パーサー追加画面でパターンを入力した後シミュレーションボタンを選択してください。 パーサーシミュレーションウィンドウが表示されます。
-
パーサーシミュレーションウィンドウでログを入力してください。
-
入力したログとパターンを確認してください。
-
シミュレーションボタンを選択して登録するパターンで、パーシングが成功するか確認してください。
-
シミュレーションの成功画面
-
シミュレーションの失敗画面
-
-
パターン適用ボタンをクリックすると、選択したパーサーに入力したパターンが適用されます。
パフォーマンス測定
シミュレーションの成功後パフォーマンス測定ボタンを選択して、パーサーのパフォーマンスを測定できます。 シミュレーションを実行する文字列にパーサーの構文解析が繰り返される所要時間を測定した後、次のように測定結果を確認してください。
構文解析の成功
構文解析ロジックを登録してキー(key)を生成すると、ログ検索時にキーで構文解析された値が追加されます。 次のライブテールメニュー例のように、構文解析されたキーと値が追加されます。
パーシングされたキーはライブテール、ログ検索、ログトレンドで確認できます。
ログ2次パーサー設定
ログ設定メニューの上部にあるログ2次パーサー設定タブを選択して、ログパーサーを登録または修正できます。 4xx、5xxステータスコードパーサーとステータスコード成功率パーサーを提供します。 ログ2次パーサーは、GROKまたはJSONのような1次パーサーが構文解析された場合に使用できるパーサーです。 1次パーサーで抽出した値を処理して統計データを生成します。 ウェブまたはAPIレスポンスログのHttp Status Codeに基づいて2次統計を抽出します。
-
4xx、5xxステータスコードパーサー：異常レスポンスに関する件数情報を集計します。
-
ステータスコード成功率パーサー：全体の件数に対する異常レスポンスの割合を抽出します。
ログの2次パーサーは、1次構文解析された結果に対して、専用の2次構文解析機能を提供します。 2次パーサーを使用するには、1次パーサーを登録する必要があります。
パーサー一覧
ログ設定メニューの上部にあるログ2次パーサー設定タブを選択すると、登録したパーサーが表示され、追加および編集が可能なパーサー一覧画面を確認できます。
-
右上の+追加するボタンを選択するとパーサー追加ウィンドウが表示されます。
-
パーサー一覧適用順序カラムの
アイコンをドラッグしてパーサーの設定手順を変更できます。 -
パーサー一覧
有効トグルでパーサーを有効の有無を指定できます。 -
パーサー一覧
修整及び 削除アイコンで登録したパーサーを修正または削除できます。
パーサー登録手順
ログ設定メニューの上部にあるログ2次パーサー設定タブを選択して、ログパーサーを登録または修正できます。 次に、パーサー登録時の共通手順について説明します。
-
+追加するボタンを選択するとパーサー追加ウィンドウが表示されます。
-
パーサー選択ウィンドウからパーサーを選択してください。 各パーサー設定項目および除外するステータスコード登録の詳細については、次の文書を参照してください。
-
4xx、5xxステータスコードパーサー 設定項目および除外するステータスコード登録
-
ステータスコード成功率パーサー 設定項目および除外するステータスコード登録
-
-
カテゴリー選択ウィンドウからカテゴリを選択するか、直接入力してください。
-
ログ検出条件を選択するか、直接入力してください。
-
除外するステータスコードを入力してください。
-
追加ボタンを選択してパーサーを登録してください。
4xx、5xxステータスコードをパーサーから除外するステータスコードを登録
4xx、5xxステータスコードパーサーは、statusが既に構文解析されている場合に使用できるパーサーです。 構文解析されたstatusを利用して追加で4xx、5xステータスコードを構文解析します。 構文解析したデータで4xx、5xx件数データを作成できます。 除外するステータスコードとして、4xx、5xxステータスコードを入力または選択できます。 入力されたステータスコードは、ログから4xx、5xxステータスコードを構文解析 するときに除外されます。
設定項目
| 設定値 | 説明 | その他 |
|---|---|---|
| カテゴリ | 4xx、5xxデータを生成するカテゴリです。 | required |
| ログ検出条件 | フィルターとして適用する検索キー、検索値を入力します。 ログ検出条件を満たすログデータに対してのみ、4xx、5xxデータを生成します。 ログ検出条件を入力しない場合は、すべてのログのデータを生成します。 | optional |
| 除外するステータスコード | 統計データの作成時に除外するステータスコードです。 未入力の場合は、4xx~5xxに対応するエラーステータスコード全体を対象に4xx、5xxデータを生成します。 | optional |
statusパーサーの登録例
受信ログが{"msg":"message","status":404}で、例のようにGROKパーサーでstatusを構文解析する場合、status: 404のように構文解析されます。 statusが正しく構文解析されていることを確認したら、4XX、5XXステータスコードパーサーから除外するステータスコードを登録してください。
データ参照
パーサーをすべて登録すると、Flexボードに移動してログ4XX、5XXウィジェットを作成してください。
ウィジェットを作成すると、次のようにデータを確認できます。
-
avg：参照期間データの平均値です。
-
max：参照期間データの最大値です。
-
recently：参照期間のデータの最後の値です。
ステータスコードの成功率をパーサーから除外するステータスコード登録
ステータスコード成功率パーサーは、statusが既に構文解析されている場合に使用できるパーサーです。 status構文解析に関する内容は、次の文書を参照してください。 構文解析されたstatusを利用して追加で2xx、3xxステータスコードを構文解析します。 構文解析したデータを使用して、HTTPリクエスト成功率データを生成できます。 除外するステータスコードは、2xx、3xxステータスコードを入力または選択できます。 入力されたステータスコードは、ログから2xx、3xxステータスコードを構文解析するときに除外されます。
設定項目
| 設定値 | 説明 | その他 |
|---|---|---|
| カテゴリ | リクエスト成功率データを生成するカテゴリです。 | required |
| ログ検出条件 | フィルターとして適用する検索キー、検索値を入力します。 ログ検出条件を満たすログデータのみリクエスト成功率データを生成します。 ログ検出条件を入力しない場合は、すべてのログのデータを生成します。 | optional |
| 除外するステータスコード | リクエスト成功率データの作成時に除外するステータスコードです。 未入力のままにすると、全体的な成功状態コード 2xx~3xx の要求成功率データを生成します。 | optional |
データ参照
パーサーをすべて登録したら、Flexボードに移動し、ログリクエスト成功率のウィジェットを作成してください。
ウィジェットを作成すると、次のようにデータを確認できます。
チャート上のデータは、参照期間に関する統計を示します。 統計方法としては最近値、最大値、平均値などを選択できます。 最近は、値がデフォルトとして選択されています。
高速インデックス設定
ログ設定メニューの上部にあるクイックインデックス設定タブを選択してください。 大量のログを収集すると、ログ検索性能が著しく低下する可能性があります。 頻繁に使用する検索条件は、インデックス(index)で生成すると、ログ検索の性能が向上し、クイック ナビゲーションが可能になります。 設定項目は次のとおりです。
| 設定値 | 必須の有無 | 説明 |
|---|---|---|
| カテゴリ | 必須 | 高速クインデックスを設定するカテゴリ |
| 検索キー | 必須 | 高速インデックスを設定 する検索キー |
| 大文字と小文字を区別しない | オプション | 大文字と小文字を区別しますか |
| ルール | 必須 | * を少なくとも１つ以上を含める必要があります |
| 活性 | 必須 | アクティブ化または非アクティブ化の有無(既定値true) |
ログ設定のインポート/エクスポート
共通のパーサー設定及び高速インデックス設定の内容をJSONファイル形式で保存し、他のプロジェクトからJSONファイルをインポートして適用することができます。 プロジェクトごとに何度も繰り返し設定を作成する手間を省けます。
-
1つのプロジェクトにパーサー設定および高速インデックス設定を追加してください。
-
各設定タブで画面右上にJSON
ボタンを選択してください。 -
JSONエクスポートウィンドウが表示されると、画面右上にある抽出ボタンを選択してください。
-
JSON設定ファイルがユーザーPCに保存されます。
-
他のプロジェクトに移動してから、ログ>ログ設定メニューに移動してください。
-
まず、JSON設定ファイルをエクスポートした設定タブを選択し、
ボタンを選択してください。 -
ファイル選択ウィンドウが表示されたら、ユーザーのPCに保存したJSON設定ファイルを選択してください。
-
JSONインポートウィンドウが表示されたら、設定内容を確認しし、リストに追加するまたは 上書きボタンを選択してください。
-
画面の右上にある保存ボタンを選択してください。
JSON設定ファイルをインポートして、保存ボタンを選択しないと、インポートされた設定を保存することはできません。
ログ長期保存の統計設定
ログ設定メニューの上部にあるログ長期保存の統計タブを選択してください。 ログデータは、非常に大容量のため、長期間保存することは困難です。 したがって、ログ統計データの設定機能を使用して特定の条件を満たすログデータが5分ごとに何件収集されたかに関する情報を保存することができます。 長期間に実際のログデータが削除されても、条件を満たすログがどれだけ収集されているかの推移を確認することができます。
ログ長期保存統計の追加
ログ長期保存統計タブで+追加するボタンを選択するとログ長期保存統計の追加ウィンドウが表示されます。 +追加するボタンでルールを追加したり、作成したルールを-アイコンで削除できます。
設定項目
| フィールド | 説明 |
|---|---|
| カテゴリ | ルールが適用されるカテゴリです。 |
| 統計キー(key) | 規則を満たすログが発生した場合、保存するキー値で同じキーを重複設定することはできません。 |
| ログ検出条件 | ログ統計データを生成する条件です。 この条件を満たすログが収集された数に基づいて統計データを生成します。 |
| 除外 | 除外をチェックすると、入力した条件を満たさない値で統計データを作成します。 |
| 大小文字を区別する | 入力したログ検出条件の値で大文字と小文字の区別有無を指定します。 |
| 活性 | アクティブ化または非アクティブ化の有無(既定値true) |
例
次のように設定を追加した場合、収集されたログのうち、statusが200, 300のログを対象にTotalCountのキー値で統 計データを作成します。
データ参照
-
Flexボードのウィジェットテンプレートでログ長期保存統計を検索し、ウィジェットを作成してください。
-
データを表示するカテゴリーとキーを指定して適用ボタンを選択します。
-
追加した設定でログ長期保存統計データを次のように確認できます。
