PaaS/Data

FlieBeat→ES 수집 설정은 어디서 해야 하는지?

armyost 2023. 8. 6. 22:14
728x90

수집대상의 FileBeat설정에서 인덱스에 대한 설정을 해줄 수도 있지만, 수집대상이 한두개가 아니면 일일이 세팅, 유지관리 하는것은 불편하다. 따라서 ES에 Index Template을 만들고 해당 Template에 걸리게끔 Filebeat에서 설정해주는게 현명하다.

 

IndexTemplate을 설정하는 방법은 다음과 같다.

 

가. Index LifeCycle Policy 생성

 - Index가 저장되는 Shard 생명주기를 관리하는 정책. Index Template에 해당 정책이 등록되게 되어 있음

나. Index Template 설정

- 서버에서 FileBeat Agent가 수집할때 ElasticSearch에서 정의한 Index Template 정책에 걸리도록 세팅

※ 이때 was-jpkim* 이런식으로 Index Pattern을 생각하고 주어야 추후 실제로 Elastic Search에서 쿼리할때 탐색이 용이하다

 

 

다. filebeat.yml에서 해당 Index Template 매핑

output.elasticsearch:
  indices:
    - index: "was-jpkim1-%{+yyyy.MM.dd}"
  
setup.template.name: "was-jpkim"
setup.template.pattern: "was-jpkim*"