메트릭스 가공
MXQL 문법을 이용해 메트릭스를 가공하는 명령어에 대해서 알아봅니다. 메트릭스 가공 단계는 조회된 데이터들이 각 단계를 순차적으로 수행하는 구조입니다. 따라서 이 단계에 포함되는 명령어들의 입력 순서가 중요합니다.
명령어 | 기능 |
---|---|
ROWNUM | 줄번호 필드를 추가합니다. |
SELECT | 필드를 선택합니다. 선택되지 않은 필드은 조회되지 않습니다. |
CREATE | 필드를 추가합니다. |
DELETE | 필드를 삭제합니다. |
RENAME | 필드의 이름을 변경합니다. |
GROUP | 데이터를 그룹화합니다. |
ORDER | 데이터를 정렬합니다. |
JOIN | 다른 MQL에서 조회한 데이터를 본 데이터에 컬럼단위로 추가할때 사용합니다. |
UPDATE | 데이터를 가공, 정제합니다. |
LIMIT | 추출되는 데이터의 수를 제한합니다. |
SKIP | 해당 위치에서 조회되는 일부 데이터를 무시합니다. |
FILTER-KEYS | 특정 데이터를 가지고 있는 데이터만 추출합니다. |
FIRST-ONLY | 데이터 중에서 처음 데이터만을 통과 시키고 나머지는 버립니다. |
TIME-FILTER | 특정시간의 데이터를 SKIP할때 사용합니다. |
INJECT | 해당 위치에 MXQL 쿼리를 추가합니다. |
ADJUST | 숫자 필드의 값을 변경하기 위해 사용합니다. |
FILTER | 특정 조건을 가지고 있는 데이터만 다음 단계로 전달합니다. |
ROWNUM
줄번호 필드를 추가합니다.
CATEGORY agent_list
FLEXLOAD
ROWNUM
SELECT
필드를 선택합니다. 선택하지 않은 필드는 다음 단계로 전달하지 않습니다.
옵션 이름 | 옵션 기능 |
---|---|
default | like , notlike 와 상관없이 조회하고 싶은 필드를 설정합니다. |
like | 설정한 값을 부분 문자열로 가지는 필드만 조회합니다. |
notlike | 설정한 값을 부분 문자열로 가지지 않는 필드만 조회합니다. |
-
모든 필드를 선택하는 경우 1 (
SELECT
명령어, 오퍼랜드를 모두 입력하지 않은 경우)CATEGORY app_counter
TAGLOAD -
모든 필드를 선택하는 경우 2 (
SELECT
명령어의 오퍼랜드를 입력하지 않은 경우)CATEGORY app_counter
TAGLOAD
SELECT -
조회하고 싶은 필드 이름을 직접 설정하는 경우, 문자열배열 오퍼랜드를 사용합니다.
CATEGORY app_counter
TAGLOAD
SELECT [time, pcode] -
default
로 설정할 필드의 값이 하나인 경우와like
옵션을 사용하는 경우CATEGORY app_counter
TAGLOAD
SELECT {default:time, like:_m} -
default
로 설정할 필드의 값이 여러 개인 경우와like
옵션을 사용하는 경우,default
로 설정할 필드의 값이 여러 개인 경우와like
옵션을 사용하는 경우CATEGORY app_counter
TAGLOAD
SELECT {default:[time,name], like:_m} -
like
와notlike
를 모두 사용하고 싶은 경우SELECT
명령어를 두 번에 나누어서 입력해야 합니다.CATEGORY app_counter
TAGLOAD
SELECT {default:[time,name], like:name}
SELECT {notlike:pname}
- 만약 전체 필드를 선택할때는 오퍼랜드를 입력하지 않습니다.
like
와notlike
는 한 번에 설정할 수 없습니다. 여러 번의SELECT
에서 나누어서 설정해야 합니다.
SELECT
명령어는 출력되는 필드 순서를 변경할 때도 사용합니다.
CREATE
필드를 추가합니다.
옵션 이름 | 옵션 기능 |
---|---|
value | 특정 값을 가지는 필드를 생성합니다. |
from | 설정한 필드의 값을 가지는 필드를 생성합니다. |
expr | 입력한 수식의 결과를 값으로 가지는 필드를 생성합니다. 수식에는 필드의 이름이 사용될 수 있습니다. |
oname | oid 컬럼의 이름을 설정하여 oid 값에 대응되는 oname 의 값을 가지는 컬럼을 생성합니다. |
okind | okind 컬럼의 이름을 설정하여 okind 값에 대응되는 okind name 의 값을 가지는 컬럼을 생성합니다. |
onode | onode 컬럼의 이름을 설정하여 onode 값에 대응되는 onode name 의 값을 가지는 컬럼을 생성합니다. |
-
value
속성을 설정하는 경우CATEGORY app_counter
TAGLOAD
CREATE {key:active$, value:'#'} -
from
속성을 설정하는 경우CATEGORY app_counter
TAGLOAD
CREATE {key:_id_, from:okind } -
expr
속성을 설정하는 경우CATEGORY app_counter
TAGLOAD
CREATE { key:apdex, expr:" (apdex_satisfied(apdex_tolerated*0.5))/apdex_total " } -
okind
속성을 설정하는 경우CATEGORY agent_list
FLEXLOAD
CREATE { key : my_okind_name, okind : okind}
SELECT [ time, okind, okindName, my_okind_name]
DELETE
필드를 삭제합니다.
CATEGORY app_counter
TAGLOAD
DELETE [pcode]
반드시 문자열 배열로 입력해야합니다. DELETE
pcode
는 동작하지 않습니다. (2021-06-23 기준)
RENAME
필드의 이름을 변경합니다.
-
pcode
필드의 이름my_pcode
로 변경합니다.CATEGORY app_counter
TAGLOAD
RENAME { src : pcode, dst : my_pcode }
time
은 ORDER
에서 최우선으로 사용하는 정렬 기준으로 time
의 이름을 임의로 변경하면 ORDER가 동작하지 않을 수 있습니다.
GROUP
데이터를 그룹화합니다.
옵션 이름 | 옵션 기능 |
---|---|
timeunit | 그룹을 나눌 시간 기준을 설정합니다. |
pk or primaryKey | 그룹의 primaryKey 를 설정합니다. |
last | 설정한 컬럼(column)의 데이터 중 마지막 값만 저장하고 싶을 때 설정합니다. oname 과 같이 반복해서 같은 값이 사용될 때 사용합니다. 내부적으로 설정한 값을 key로 가지는 값에 계속 덮어써집니다. |
listup | 설정한 컬럼(column)의 데이터를 모두 메모리에 저장하고 싶을 때 설정합니다. 내부적으로는 설정한 값을 key로 가지는 List에 계속 값이 추가됩니다. |
user | 실시간 사용자를 계산하기 위한 옵션입니다. Blob 타입의 데이터를 저장한 컬럼(column)만 설정할 수 있습니다.(app_user 카테고리의 logbits 등) |
merge | 설정한 컬럼(column)의 데이터를 MetricValue(복합값)으로 저장하고 싶을 때 설정합니다. 내부적으로는 설정한 값을 key로 가지는 MetricValue값에 추가됩니다. |
rows | 하나의 그룹에 최대로 저장될 수 있는 데이터의 수를 설정합니다. 기본값은 10000 입니다. |
-
설정한 필드에 대해
merge
로 설정하여 MetricValue로 설정한 뒤 sum 연산을 수행합니다.CATEGORY app_counter
TAGLOAD
SELECT [ time, okindName, okind, apdex_satisfied, apdex_tolerated, apdex_total]
GROUP { timeunit:5000, pk:okind, last:okindName, merge:[apdex_satisfied, apdex_tolerated, apdex_total] }
UPDATE { key:[apdex_satisfied, apdex_tolerated, apdex_total], value:sum }
원칙적으로 merge
필드는 별도로 설정해야 합니다. 하지만 last
, merge
, listup
세 가지 속성을 모두 명시하지 않은 경우에는 모든 number
필드는 merge
필드로, number
필드가 아닌 필드는 last
필드로 자동 선택 됩니다.
만약 레코드에 time
필드가 없으면 전체를 그룹핑합니다.
GROUP
명령어가 수행되기 전에SELECT
명령어로time
필드를 설정하지 않은 경우RENAME
명령어로time
필드의 이름을 변경한 경우DELETE
명령어로time
필드를 삭제한 경우
UPDATE
필드의 데이터를 수정합니다. MetricValue 상태인 필드에 대해서 연산을 선택할 수 있습니다.
옵션 | 기능 |
---|---|
sum | MetricValue에 포함된 값을 더합니다. |
min | MetricValue에 포함된 값 중 최소값을 구합니다. |
max | MetricValue에 포함된 값 중 최대값을 구합니다. |
last | MetricValue에 포함된 값 중 마지막에 추가된 값을 구합니다. |
avg | MetricValue에 포함된 값의 평균을 구합니다. |
cnt | MetricValue에 포함된 값의 갯수를 구합니다. |
datetime | 시간 데이터의 형식을 변경합니다. |
timezone | 시간 데이터의 기준을 설정합니다. |
notnull | 설정한 컬럼의 값이 null 인 경우 적용할 default 값을 설정합니다. |
pct | GROUP 명령 수행 시 percentile 을 위해 필드의 모든 값을 listup 했을 경우 percentile 값을 필드값으로 변경할 수있습니다. |
decimal | 필드의 숫자 데이터를 포멧팅 할 수 있습니다. |
다음의 옵션을 설정해 데이터의 값을 수정할 수 있습니다.
-
value
옵션을 설정하는 경우CATEGORY app_counter
TAGLOAD
SELECT [time, pcode,pname, tps]
GROUP {timeunit:5000, pk:pcode, last: pname, merge:tps}
UPDATE {key:tps, value:sum} -
datetime
,timezone
옵션을 설정하는 경우CREATE {key:localtime, from:time}
의 경우time
필드의 값long
타입의 값으로 복사합니다.CATEGORY app_user
TAGLOAD
SELECT [time, pcode, pname, logbits]
CREATE {key:localtime, from:time}
UPDATE {key:localtime, datetime:'yyyyMMdd HH:mm:ss', timezone: GMT9} -
notnull
옵션을 설정하는 경우UPDATE {key:tps, notnull:0}
-
pct
를 설정하는 경우CATEGORY app_counter
TAGLOAD
SELECT [ time, pcode, tx_count ]
GROUP { key : pcode, listup : tx_count}
UPDATE { key : tx_count, pct : 90}