설치형 수집서버 사전 안내서

제목 : 설치형 수집서버 사전 안내서
작성자 : WhaTap Support
이메일 : support@whatap.io
날짜 : 2019-07-04
버전 : 1.0.0

설명 : 본 문서는 WhaTap 설치형 수집서버 구축에 필요한 사전 안내 내용입니다. 문서에 관한 문의는 support@whatap.io 로 연락 주시기 바랍니다.

1. 안내사항

SaaS형 서비스 사용시 와탭의 수집서버를 사용하므로 별도 수집서버 구축이 불필요 합니다.

1.1. 와탭 수집서버 모듈

와탭 수집서버 모듈은 역할별로 나누어져 있습니다. 하나의 모듈은 JVM Process 하나와 대응합니다.

Table 1. 수집서버 모듈
모듈명 역할 비고

front

UI 프론트

account

계정 관리

최소형의 경우 front 와 통합

yard

수집데이터 저장, 가공 및 제공

keeper

데몬의 정보를 관리

proxy

에이전트에서 수집한 데이터를 송신하는 Proxy

gateway

확장형에서 front 와 yard 간 gateway 역할

최소형의 경우 불필요

eureka

각 데몬의 서비스 정보를 찾는 DNS 역할

최소형의 경우 불필요

notihub

stmp, sms 등과 연계하여 알람발송

알람 연계시 구성

1.2. 최소형과 확장형

와탭 수집서버는 최소형과 확장형 중 선택해 설치 가능 합니다.
1000TPS 이상 부하 환경이거나 향후 대규모 확장 요건이 있는 경우라면 확장형, 그 이하라면 최소형 설치로도 충분합니다.

최소형 설치
  • 1대의 수집서버 내에서 모든 서비스 모듈이 구동됨

  • 단순한 설치와 구성

확장형 설치
  • 2대 이상 수집서버가 역할을 분담하는 구성으로 확장이 손쉬움

  • 다량의 에이전트, 프로젝트, 리전을 수용 할 수 있음

1.3. 라이센스 정책

설치형 서버는 SaaS 서비스와 다른 별도 라이센스 정책을 가지고 있습니다.
라이센스 발급을 위해서는 영업적 협의가 필요 합니다.

1.4. 이벤트 연동

이벤트 알림을 위한 SMS/MMS, SMTP 연동 설정은 별도 절차로 진행합니다.

1.5. 라이센스 만기

수집서버는 매 시 정각 라이센스 사용기간과 사용량을 체크합니다.
기간 만료나 수량을 초과한 경우 에이전트 데이터 수집은 정상적으로 이루어지나 모니터링 UI로 접속이 제한됩니다.

2. 수집 서버 준비

2.1. 공통 항목

  • OS : 안정화 버전 Linux 배포판 (Windows 설치 가능하나 비권장)

  • JDK : JDK 1.8 이상 (최소 1.7)

  • 높은 File I/O로 인한 운영체제 file descriptor 설정 조정

  • 방화벽 사전 오픈

  • 서버 NTP 동기화 적용

2.2. 최소형 수집 서버 사양

  • 서버(VM) : 1 대

  • CPU : 4Core 이상 (최소 2Core)

  • Memory : 16G 이상 (최소 8G)

  • Disk : 수집서버 Disk 산정 기준에 따름 (OS 영역 별도, SSD 또는 고성능 스토리지 필요)

2.3. 확장형 수집 서버 사양

  • 서버(VM) : 2 대 이상

  • CPU

    • Front : 2Core 이상

    • Yard : 4Core 이상 (최소 2Core)

  • Memory

    • Front : 8G 이상 (최소 4G)

    • Yard : 16G 이상 (최소 8G)

  • Disk

    • Front : 2G 이상 (OS 영역 별도)

    • Yard : 수집서버 Disk 산정 기준에 따름 (OS 영역 별도, SSD 또는 고성능 스토리지 필요)

2.4. 수집서버 Disk 산정

Table 2. Disk 사용량 산출 상세
구분 데이터 보존기간 Disk 용량 산출 근거

Infra Monitoring

1 년

8.2G / 연

(1EA * Raw Data 100M * 30일)
(Summary Data 14M * 365일)
1 Agent 기준

Application Monitoring

30 일

30G / 월

(1Gb * 30일)
100 TPS 기준

수집 서버는 높은 File I/O 처리량를 필요로 하므로 IOPS가 높을 수록 쾌적한 환경을 사용하실 수 있습니다.
(AWS 환경의 경우 Burst Balance의 제약이 없는 EBS 타입을 필요로 합니다.)

2.5. 방화벽 오픈

  • 에이전트 → 수집 서버 (TCP 6600 포트)

  • 모니터링 PC → 수집 서버 (TCP 8080 포트)

  • Front ←→ Yard (확장형 인 경우)

2.6. 파일 디스크립터 설정의 상향 조정

시스템의 파일 디스크립터 설정을 상향 조정합니다.

/etc/sysctl.conf
$ sudo vi /etc/sysctl.conf
  fs.file-max = 999999 (1)
$ sysctl -p (2)
$ sysctl -a | grep fs.file-max = 999999 (3)
1 sysctl.conf 파일 내용에 fs.file-max = 999999 설정을 추가합니다.
2 추가한 설정을 적용합니다.
3 추가한 설정을 확인 합니다.

설치형 서버를 실행할 사용자에 대해 파일 디스크립터 설정을 상향 합니다.

/etc/security/limits.conf
$ sudo vi /etc/security/limits.conf (1)
 {사용자 계정 또는 @그룹명} soft nofile 999999
 {사용자 계정 또는 @그룹명} hard nofile 999999
1 /etc/security/limits.conf 파일에 사용자 또는 그룹 이름으로 soft, hard 설정을 상향 합니다.
사용자 계정은 그대로 사용하고, 그룹은 앞에 @를 붙여서 설정합니다.

2.7. 수집서버 시간 동기화

수집서버의 시간을 동기화 합니다.

ntpq 또는 rdate
$ntpq -p #또는
$rdate -s time.bora.net
확장형 구성에서 수집서버간 시간이 다른 경우 데이터 누락, 통계 왜곡이 발생하므로 반드시 NTP등을 통해 올바른 시간이 설정되어 있어야 합니다.

3. 부가 정보

3.1. 통신 정보

구성 환경에 따른 모듈간 통신은 다음과 같습니다.

3.1.1. 최소형

single port
어플리케이션 서버 포트 프로토콜 용도

front (+account)

8080

HTTP

모니터링 사이트

keeper

6789

TCP/UDP

서버 정보 수신

yard

7710

TCP

모니터링 데이터 조회

6610

TCP

모니터링 데이터 저장

proxy

6600

TCP

에이전트 데이터 수신

notihub

6500

TCP/UDP

이벤트 알림

3.1.2. 확장형

multi port
어플리이션 서버 포트 프로토콜 용도

eureka

6761

TCP

서버 위치 관리

account

18080

HTTP

계정 관리

front

8080

HTTP

모니터링 사이트

gateway

8800

TCP

리전 요청 수신

keeper

6789

TCP/UDP

서버 정보 수신

yard

7710

TCP

모니터링 데이터 조회

6610

TCP

모니터링 데이터 저장

proxy

6600

TCP

에이전트 데이터 수신

notihub

6500

TCP/UDP

이벤트 알림

3.2. 문의처