로그 설정

로그 설정 메뉴에서 로그 모니터링 관련 설정을 할 수 있습니다. 상단의 탭을 통해 에이전트 설정 확인, 로그 모니터링의 활성화 여부 결정, 로그 데이터의 유지 기간 및 조회 비밀번호 설정, 로그 파서 등록, 빠른 인덱스 설정 등의 메뉴를 사용할 수 있습니다.

노트

로그 모니터링 활성화 기능을 사용하려면 프로젝트 수정 권한이 필요합니다.
로그 편집 권한을 통해 로그 모니터링 활성화 기능 외 로그 설정 메뉴를 수정할 수 있습니다.

로그 모니터링 시작하기

상단에서 로그모니터링 시작하기 탭을 선택하세요. 가이드 보기 아이콘과 요금제 보기 버튼을 선택하면 관련 안내 화면으로 이동합니다.

에이전트 설정 및 로그 모니터링 활성화

로그 모니터링 데이터 설정

영역에서 로그 사용량을 확인할 수 있습니다. 또한 데이터 보존 기간 및 로그 조회 비밀번호 설정을 변경할 수 있습니다.

데이터 보존 기간

공통으로 적용할 기본(default) 데이터 보존 기간입니다. 미지정 시 기본값은 1일입니다. 카테고리별 데이터 보존 기간을 별도로 설정하지 않으면 이 데이터 보존 기간이 기본적으로 적용됩니다. 카테고리별 데이터 보존 기간을 설정하고 초기화 버튼을 선택하면 기본 데이터 보존 기간으로 초기화됩니다.

카테고리별 데이터 보존 기간

카테고리별 로그 데이터 보존 기간을 지정할 수 있습니다. 로그 수는 해당 기간 동안 쌓인 로그 건수를 의미합니다. 예를 들어 금일 로그수는 하루 동안 쌓인 로그 건수, 예상 로그수는 데이터 보관일에 금일 로그 수를 곱한 로그 건수를 의미합니다.

로그 데이터 보존 기간을 다음과 같이 지정할 수 있습니다. 기간 지정에 따라 오래된 데이터를 삭제해 공간을 확보할 수 있습니다.

트라이얼 프로젝트

데이터 보존 기간으로 1일, 2일, 3일을 선택할 수 있습니다.
유료 프로젝트

데이터 보존 기간으로 1일, 2일, 3일, 4일, 5일, 6일, 7일, 10일, 30일, 40일을 선택할 수 있습니다.
저장량 기준 과금

데이터 보존 기간에 따라 비용이 달라집니다.

예시, 일 평균 200만 로그 건수가 쌓이고 데이터 보존 기간을 3일로 지정한 경우라면 평균 600만 로그 건수가 수집 서버에 유지되고 과금 대상이 됩니다.

로그 조회 비밀번호

보안을 강화하기 위해 로그 조회 비밀번호를 설정하세요. 로그 조회 비밀번호 지정은 선택 사항입니다. 로그 조회 비밀번호를 사용 중이라면 로그 화면 진입 시 반드시 비밀번호를 입력해야 합니다.

노트

비밀번호 분실

로그 편집 권한이 있는 경우 로그 설정 메뉴에서 새 비밀번호로 수정할 수 있습니다.

로그 1차 파서 설정

로그 설정 메뉴 상단에서 로그 1차 파서 설정 탭을 선택해 로그 파서를 등록 및 수정할 수 있습니다. 로그 1차 파서는 GROK과 JSON 파서를 제공합니다. 수집된 로그를 대상으로 패턴의 조건과 일치하는 키 정보 즉 검색 키와 검색 값을 추출합니다. 파싱된 로그 키는 로그의 유형을 분류하기 위한 용도 및 특정 로그를 검색하기 위한 인덱싱 용도로 활용합니다. 유형별 로그 발생 수를 집계하거나 특정 로그를 빠르게 찾아내기 위해 등록하는 필수 파서입니다.

GROK: 기본은 정규 표현식 기반 파싱에 해당합니다. 예약 키워드 기반의 파싱을 제공합니다.
JSON: 로그 중 JSON으로 출력된 부분에 대해서 일괄 파싱을 제공합니다.

노트

파싱 로직 미등록 시 검색 가능한 key

category, oid, oname, okind, okineName, @txid, @login, httphost

노트

파서 등록이 불가한 예약어

다음 예약어의 경우 파서를 등록하더라도 인덱스가 생성되지 않습니다.

timestamp, message, pcode, category, content, logContent

노트

로그 파서에 대한 자세한 내용은 다음 문서를 참조하세요.

설정 항목

설정 값	설명	기타
카테고리	패턴을 적용할 카테고리입니다.	required
로그 검출 조건	필터로 적용할 검색 키, 검색 값을 입력합니다. 로그 검출 조건에 맞는 로그 데이터에만 패턴을 적용합니다. 로그 검출 조건을 입력하지 않으면 모든 로그를 대상으로 패턴을 적용합니다.	optional
패턴	로그를 파싱(parsing)할 패턴입니다. 작성한 패턴에 맞추어서 파싱을 하고 인덱스를 생성합니다. GROK, 정규 표현식 문법을 지원합니다.	required

파서 목록

로그 파서 목록

로그 설정 메뉴 상단에서 로그 1차 파서 설정 탭을 선택하면 등록한 파서를 조회하고 추가 및 편집이 가능한 파서 목록 화면을 확인할 수 있습니다.

상단 오른쪽 + 추가하기 버튼을 선택하면 파서 추가 창이 나타납니다.
파서 목록 적용 순서 컬럼의 아이콘을 드래그해 파서 설정 순서를 변경할 수 있습니다.
파서 목록 활성화 토글을 통해 파서 활성화 여부를 지정할 수 있습니다.
파서 목록 수정 및 삭제 아이콘을 통해 등록한 파서를 수정 및 삭제할 수 있습니다.

파서 등록 순서

로그 설정 메뉴 상단에서 로그 1차 파서 설정 탭을 선택해 로그 파서를 등록 및 수정할 수 있습니다. 다음은 파서 등록 시 공통 순서를 안내합니다.

로그 파서 추가

+ 추가하기 버튼을 선택하면 파서 추가 창이 나타납니다.
파서 선택 창에서 파서를 선택하세요. 각 파서 및 패턴 등록에 관한 자세한 내용은 다음 문서를 참조하세요.
- GROK 파서 및 패턴 등록
- JSON 파서 및 패턴 등록
패턴 등록 버튼 선택 시 오른쪽에 패턴 등록 및 시뮬레이션 창이 나타납니다.
등록을 원하는 패턴 및 로그를 입력하세요.
등록하려는 패턴이 정상적인지 시뮬레이션 버튼을 선택해 시뮬레이션 및 패턴의 퍼포먼스를 측정하세요.
패턴 적용 후 카테고리 선택 창에서 카테고리를 선택하거나 직접 입력하세요.
로그 검출 조건으로 활용할 검색 키와 검색 값을 선택하거나 직접 입력하세요.
추가 버튼을 선택해 파서를 추가하세요.

노트

시뮬레이션과 퍼포먼스 측정에 관한 자세한 내용은 다음 문서를 참조하세요.
로그 파서 등록 시 동일한 카테고리에 파서를 중복 등록할 수 없습니다.
필터 조건에 맞는 로그 데이터에만 패턴을 적용합니다. 로그 검출 조건을 지정하지 않으면 모든 로그를 대상으로 패턴을 적용합니다.

GROK 파서 패턴 등록

기본 문법은 %{SYNTAX:SEMANTIC} 입니다. GROK 파서에 대한 자세한 내용은 다음 문서를 참조하세요. 패턴 등록 및 시뮬레이션이 필수적입니다.

SYNTAX

GROK 정의 패턴입니다.
SEMANTIC

파싱된 데이터에 할당할 키입니다.

노트
SEMANTIC에는 예약어 등이 사용되지 않도록 조합어 사용을 권장합니다.

JSON 포맷 파서 패턴 등록

로그 전체 혹은 일부가 JSON 형태로 출력되는 경우 JSON 포맷 파서를 통해 JSON으로 출력된 부분을 파싱할 수 있습니다. 로그 중 JSON 형태로 출력된 부분을 검출하기 위하여 Prefix, Postfix 옵션을 조합해 로그의 어느 부분을 JSON으로 인식해 파싱할지 지정합니다. JSON 파서에 대한 자세한 내용은 다음 문서를 참조하세요. 시뮬레이션이 필수적입니다.

옵션	설명
Prefix	JSON 문자열의 시작 부분 앞의 문자열을 지정합니다. 미지정 시 로그 출력문의 맨 앞부터 JSON 문자열로 식별합니다.
Postfix	JSON 문자열의 종료 부분 뒤의 문자열을 지정합니다. 미지정 시 로그 출력문의 맨 뒤 까지를 JSON 문자열로 식별합니다.
Ignore	JSON 출력부 중 키 추출을 제외할 필드를 지정합니다.

등록 예시
Log
```
[2022-10-25 10:15:34:145]...(개행)
Request : {"key1":"value1","key2":"value2",...}(개행)
Response : {"key3":"value3","key4":"value4",...}
```
예시처럼 유입되는 로그가 Request JSON, Response JSON을 모두 파싱하고자 하는 경우 다음의 2가지 패턴을 등록합니다.
- Request 파싱용 패턴
  
  "Request : " 와 "Response" 사이의 문자열 {"key1":"value1","key2":"value2",...} 대상
- Reponse 파싱용 패턴
  
  "Response : " 부터 로그의 마지막 까지의 문자열 {"key3":"value3","key4":"value4",...} 대상
JSON 커스텀 패턴 등록

로그 중 일부가 JSON 형태로 출력되는 경우 JSON으로 출력된 부분을 전용 커스텀 파서를 통해 파싱할 수 있습니다. 패턴을 다음과 같이 입력하세요.
```
io.whatap.logsink.parser.JsonFormatParser{}
```
로그 중 JSON 형태로 출력된 부분을 검출하기 위해 Prefix, Postfix 옵션을 조합해 로그의 어느 부분을 JSON으로 인식하여 파싱할지 지정하세요.

JsonFormatParser{}의 {} 에 옵션을 지정합니다.
- 등록 예시
  Log
```
[2022-10-25 10:15:34:145]...(개행)
Request : {"key1":"value1","key2":"value2",...}(개행)
Response : {"key3":"value3","key4":"value4",...}
```
  예시처럼 유입되는 로그가 Request JSON, Response JSON을 모두 파싱하고자 하는 경우 다음의 2가지 패턴을 등록합니다.
  - Request 파싱용 패턴
  "Request : " 와 "Response" 사이의 문자열 {"key1":"value1","key2":"value2",...} 대상
```
io.whatap.logsink.parser.JsonFormatParser {prefix:"Request : ",postfix:"Response"}
```
  - Reponse 파싱용 패턴
  "Response : " 부터 로그의 마지막 까지의 문자열 {"key3":"value3","key4":"value4",...} 대상
```
io.whatap.logsink.parser.JsonFormatParser {prefix: "Response : "}
```

파서 시뮬레이션 및 퍼포먼스 측정

패턴과 로그를 입력하세요.
시뮬레이션 버튼을 클릭하여 등록하려는 패턴으로 파싱에 성공하는지 확인하세요.
시뮬레이션 성공 시 시뮬레이션 결과 및 퍼포먼스 측정 결과를 조회할 수 있습니다.
시뮬레이션 후 패턴 적용 버튼 클릭 시 선택한 파서에 입력한 패턴이 적용됩니다.

노트

퍼포먼스 측정은 시뮬레이션 수행 대상 문자열에 대하여 파서의 반복 파싱 소요 시간을 측정합니다.
파서 시뮬레이션 후 패턴을 등록할 수 있습니다.

파싱 성공

파싱 로직을 등록해 키(key)가 생성되면 로그 조회 시 해당 키로 파싱된 값이 추가됩니다. 다음 라이브 테일 메뉴 예시와 같이 파싱된 키와 값이 추가됩니다.

파싱 성공

파싱된 키는 라이브 테일, 로그 검색, 로그 트렌드에서 확인할 수 있습니다.

로그 2차 파서 설정

로그 설정 메뉴 상단에서 로그 2차 파서 설정 탭을 선택해 로그 파서를 등록 및 수정할 수 있습니다. 4xx, 5xx 상태 코드 파서와 상태 코드 성공률 파서를 제공합니다. 로그 2차 파서는 GROK 또는 JSON과 같은 1차 파서가 파싱된 경우 사용할 수 있는 파서입니다. 1차 파서로 추출한 값을 가공해 통계 데이터를 생성합니다. 웹 혹은 API 응답 로그에 대해 Http Status Code를 기반으로 2차 통계를 추출합니다.

4xx, 5xx 상태 코드 파서: 비정상 응답에 대한 건수 정보를 집계합니다.
상태 코드 성공률 파서: 전체 건수 대비 비정상 응답 비율을 추출합니다.

노트

로그 2차 파서는 1차 파싱된 결과에 대하여 특수 목적의 2차 파싱 기능을 제공합니다. 2차 파서를 사용하기 위해서는 1차 파서가 등록되어 있어야 합니다.

파서 목록

로그 2차 파서 목록

로그 설정 메뉴 상단에서 로그 2차 파서 설정 탭을 선택하면 등록한 파서를 조회하고 추가 및 편집이 가능한 파서 목록 화면을 확인할 수 있습니다.

상단 오른쪽 + 추가하기 버튼을 선택하면 파서 추가 창이 나타납니다.
파서 목록 적용 순서 컬럼의 아이콘을 드래그해 파서 설정 순서를 변경할 수 있습니다.
파서 목록 활성화 토글을 통해 파서 활성화 여부를 지정할 수 있습니다.
파서 목록 수정 및 삭제 아이콘을 통해 등록한 파서를 수정 및 삭제할 수 있습니다.

파서 등록 순서

로그 설정 메뉴 상단에서 로그 2차 파서 설정 탭을 선택해 로그 파서를 등록 및 수정할 수 있습니다. 다음은 파서 등록 시 공통 순서를 안내합니다.

로그 2차 파서 등록 순서

+ 추가하기 버튼을 선택하면 파서 추가 창이 나타납니다.
파서 선택 창에서 파서를 선택하세요. 각 파서 설정 항목 및 제외할 상태 코드 등록에 관한 자세한 내용은 다음 문서를 참조하세요.
- 4xx, 5xx 상태 코드 파서 설정 항목 및 제외할 상태 코드 등록
- 상태 코드 성공률 파서 설정 항목 및 제외할 상태 코드 등록
제외할 상태 코드를 입력하세요.
카테고리 선택 창에서 카테고리를 선택하거나 직접 입력하세요.
로그 검출 조건을 선택하거나 직접 입력하세요.
추가 버튼을 선택해 파서를 등록하세요.

4xx, 5xx 상태 코드 파서 제외할 상태 코드 등록

4xx, 5xx 상태 코드 파서는 status가 이미 파싱된 경우 사용할 수 있는 파서입니다. 파싱된 status를 이용하여 추가적으로 4xx, 5xx 상태 코드를 파싱합니다. 파싱한 데이터로 4xx, 5xx 건수 데이터를 생성할 수 있습니다. 제외할 상태 코드로 4xx, 5xx 상태 코드를 입력 또는 선택할 수 있습니다. 입력된 상태 코드는 로그에서 4xx, 5xx 상태 코드를 파싱할 때 제외됩니다.

설정 항목

설정 값	설명	기타
카테고리	4xx, 5xx건수 데이터를 생성할 카테고리입니다.	required
로그 검출 조건	필터로 적용할 검색 키, 검색 값을 입력합니다. 로그 검출 조건에 맞는 로그 데이터에 대해서만 4xx, 5xx건수 데이터를 생성합니다. 로그 검출 조건을 입력하지 않으면 모든 로그를 대상으로 데이터를 생성합니다.	optional
제외할 상태 코드	통계 데이터 생성 시 제외할 상태 코드입니다. 입력하지 않으면 4xx~5xx에 해당하는 전체 오류 상태 코드를 대상으로 4xx, 5xx건수 데이터를 생성합니다.	optional

status 파서 등록 예시

GROK파서 - status 파싱 패턴 등록

유입되는 로그가 {"msg":"message","status":404}이고 예시처럼 GROK 파서로 status를 파싱한다면, status: 404와 같이 파싱됩니다. status가 정상적으로 파싱되는 것을 확인헸다면 4XX,5XX 상태 코드 파서에서 제외할 상태 코드를 등록하세요.

데이터 조회

파서를 모두 등록하면 통합 Flex 보드로 이동해 로그 4XX, 5XX 건수 위젯을 생성하세요.

위젯을 생성하면 다음과 같이 데이터를 확인할 수 있습니다.

avg: 조회 기간 데이터 평균값입니다.
max: 조회 기간 데이터 중 최댓값입니다.
recently: 조회 기간 데이터 중 마지막 값입니다.

상태 코드 성공률 파서 제외할 상태 코드 등록

상태 코드 성공률 파서는 status가 이미 파싱된 경우 사용할 수 있는 파서입니다. status 파싱에 관한 내용은 다음 문서를 참조하세요. 파싱된 status를 이용해 추가로 2xx, 3xx 상태 코드를 파싱합니다. 파싱한 데이터로 HTTP 요청 성공률 데이터를 생성할 수 있습니다. 제외할 상태 코드에는 2xx, 3xx 상태 코드를 입력 또는 선택할 수 있습니다. 입력된 상태 코드는 로그에서 2xx, 3xx 상태 코드를 파싱할 때 제외됩니다.

설정 항목

설정 값	설명	기타
카테고리	요청 성공률 데이터를 생성할 카테고리입니다.	required
로그 검출 조건	필터로 적용할 검색 키, 검색 값을 입력합니다. 로그 검출 조건에 맞는 로그 데이터에 대해서만 요청 성공률 데이터를 생성합니다. 로그 검출 조건을 입력하지 않으면 모든 로그를 대상으로 데이터를 생성합니다.	optional
제외할 상태 코드	요청 성공률 데이터 생성 시 제외할 상태 코드입니다. 입력하지 않으면 2xx~3xx에 해당하는 전체 성공 상태 코드를 대상으로 요청 성공률 데이터를 생성합니다.	optional

데이터 조회

파서를 모두 등록하면 통합 Flex 보드로 이동해 로그 요청 성공률 위젯을 생성하세요.

위젯을 생성하면 다음과 같이 데이터를 확인할 수 있습니다.

차트 위 데이터는 조회 기간에 대한 통계를 나타냅니다. 통계 방법을 최근값, 최댓값, 평균값 등으로 선택할 수 있습니다. 최근값이 기본으로 선택되어 있습니다.

빠른 인덱스 설정

로그 설정 메뉴 상단에서 빠른 인덱스 설정 탭을 선택하세요. 대량의 로그를 수집할 경우 로그 검색 성능이 현저하게 저하될 수 있습니다. 자주 사용하는 검색 조건을 인덱스(index)로 생성하면 로그 검색 성능을 개선해 빠른 탐색이 가능합니다. 설정 항목은 다음과 같습니다.

설정 값	필수 여부	설명
카테고리	필수	빠른 인덱스를 설정할 카테고리
검색 키	필수	빠른 인덱스를 설정할 검색 키
대소문자 구분 안 함	옵션	대소문자를 구분 여부
규칙	필수	`*` 한 개 이상 포함 필수
활성	필수	활성 또는 비활성 여부(기본값 `true`)

로그 설정 가져오기/내보내기

공통된 파서 설정 및 빠른 인덱스 설정 내용을 JSON 파일 형식으로 저장하고, 다른 프로젝트에서 JSON 파일을 가져와 적용할 수 있습니다. 프로젝트마다 여러 번 반복해서 설정을 작성하는 번거로움을 줄일 수 있습니다.

하나의 프로젝트에 파서 설정 및 빠른 인덱스 설정을 추가하세요.
각 설정 탭에서 화면 오른쪽 위에 JSON 버튼을 선택하세요.
JSON 내보내기 창이 나타나면 화면 오른쪽 위에 내보내기 버튼을 선택하세요.
JSON 설정 파일이 사용자 PC에 저장됩니다.
다른 프로젝트로 이동한 다음 로그 > 로그 설정 메뉴로 이동하세요.
앞서 JSON 설정 파일을 내보낸 설정 탭을 선택한 다음 버튼을 선택하세요.
파일 선택 창이 나타나면 사용자의 PC에 저장한 JSON 설정 파일을 선택하세요.
JSON 가져오기 창이 나타나면 설정 내용을 확인한 다음 목록에 추가하기 또는 덮어쓰기 버튼을 선택하세요.
화면 오른쪽 위에 저장 버튼을 선택하세요.

주의

JSON 설정 파일을 가져온 다음 저장 버튼을 선택하지 않으면 가져온 설정 내용을 저장할 수 없습니다.

로그 장기 보관 통계 설정

로그 설정 메뉴 상단에서 로그 장기 보관 통계 탭을 선택하세요. 로그 데이터는 용량이 매우 커서 장기간 보관하기가 어렵습니다. 따라서 로그 통계 데이터 설정 기능을 사용하여 특정 조건을 만족하는 로그 데이터가 5분마다 몇 건씩 수집되었는지에 대한 정보를 저장할 수 있습니다. 장기간 시 실제 로그 데이터는 삭제되어도 해당 조건을 만족하는 로그가 얼마나 수집되었는지 추이를 확인할 수 있습니다.

로그 장기 보관 통계 추가

로그 장기 보관 통계

로그 장기 보관 통계 탭에서 + 추가하기 버튼을 선택하면 로그 장기 보관 통계 추가 창이 나타납니다. + 추가하기 버튼을 통해 규칙을 추가하거나 생성한 규칙을 - 아이콘을 통해 삭제할 수 있습니다.

설정 항목

필드	설명
카테고리	규칙을 적용할 카테고리 입니다.
통계 키(key)	규칙을 만족하는 로그 발생 시 저장할 키 값으로 동일한 키를 중복으로 설정할 수 없습니다.
로그 검출 조건	로그 통계 데이터를 생성할 조건입니다. 이 조건을 만족하는 로그가 얼마나 수집되었는지를 기반으로 통계 데이터를 생성합니다.
제외	제외를 체크하면 입력한 조건에 해당하지 않는 값으로 통계 데이터를 생성합니다.
대소문자 구분	입력한 로그 검출 조건의 값에 대해서 대소문자 구분 여부를 지정합니다.
활성	활성 또는 비활성 여부(기본값 `true`)

예시

다음과 같이 설정을 추가한 경우 수집된 로그 중 status가 200, 300인 로그를 대상으로 TotalCount라는 키값으로 통계 데이터를 생성합니다.

로그 장기 보관 통계 예시

통합 Flex 보드의 위젯 템플릿에서 로그 장기 보관 통계를 검색해 위젯을 생성하세요.
데이터를 조회할 카테고리와 통계 키를 지정한 뒤 적용 버튼을 선택합니다.
추가한 설정값으로 로그 장기 보관 통계 데이터를 다음처럼 확인할 수 있습니다.

로그 모니터링 시작하기​

에이전트 설정 및 로그 모니터링 활성화​

로그 모니터링 데이터 설정​

데이터 보존 기간​

카테고리별 데이터 보존 기간​

로그 조회 비밀번호​

로그 1차 파서 설정​

설정 항목​

파서 목록​

파서 등록 순서​

GROK 파서 패턴 등록​

JSON 포맷 파서 패턴 등록​

파서 시뮬레이션 및 퍼포먼스 측정​

파싱 성공​

로그 2차 파서 설정​

파서 목록​

파서 등록 순서​

4xx, 5xx 상태 코드 파서 제외할 상태 코드 등록​

설정 항목​

status 파서 등록 예시​

데이터 조회​

상태 코드 성공률 파서 제외할 상태 코드 등록​

설정 항목​

데이터 조회​

빠른 인덱스 설정​

로그 설정 가져오기/내보내기​

로그 장기 보관 통계 설정​

로그 장기 보관 통계 추가​

설정 항목​

예시​

데이터 조회​

로그 모니터링 시작하기

에이전트 설정 및 로그 모니터링 활성화

로그 모니터링 데이터 설정

데이터 보존 기간

카테고리별 데이터 보존 기간

로그 조회 비밀번호

로그 1차 파서 설정

설정 항목

파서 목록

파서 등록 순서

GROK 파서 패턴 등록

JSON 포맷 파서 패턴 등록

파서 시뮬레이션 및 퍼포먼스 측정

파싱 성공

로그 2차 파서 설정

파서 목록

파서 등록 순서

4xx, 5xx 상태 코드 파서 제외할 상태 코드 등록

설정 항목

status 파서 등록 예시

데이터 조회

상태 코드 성공률 파서 제외할 상태 코드 등록

설정 항목

데이터 조회

빠른 인덱스 설정

로그 설정 가져오기/내보내기

로그 장기 보관 통계 설정

로그 장기 보관 통계 추가

설정 항목

예시

데이터 조회