StarLord

구성 : 3개의 MasterNode , 2개의 DataNode 20.50 : Data Node(With Master) 20.51 : Data Node(With Master) 20.52 : Kibana(Only Master) 1. OS 파라미터 변경 # vi /etc/sysctl.conf -------------------------------------------------------------------------------- vm.max_map_count=262144 -------------------------------------------------------------------------------- 2. ES 설치파일 받기 $ wget https://artifacts.elastic.co/d..

influx cli를 설치해야 계정생성 부터 할수 있는게 많다... 아직 influx는 관리자콘솔 기능이 많이 부재하다. 어쩔수 없이 깔아야 한다. https://docs.influxdata.com/influxdb/v2.7/tools/influx-cli/?t=Linux Install and use the influx CLI | InfluxDB OSS 2.7 Documentation Thank you for your feedback! Let us know what we can do better: docs.influxdata.com Download the influx CLI package.Download from your browserDownload from the command line # amd64 wg..

참고로 아래 샘플은 Kibana에서 조회한 쿼리로 Elastic Search Server 타겟에 대한 정보는 없습니다. 샘플1. apm-.. 라는 인덱스에서 조건에 부합하는 1000개 까지의 콜렉션 조회 GET /apm-*/_search { "from" : 0, "size" :1000, // 1000개까지의 콜렉션 조회 "query": { "bool" : { "must_not": { // 아래 조건에 부합하지 않는 데이터 조회 "term" : { "host.hostname" : "armyost01server" // 특정 컬럼에 대한 Value 조건 설정 } }, "must": { // 아래 조건에 부합하는 데이터 조회 "term" : { "host.hostname" : "armyost02server" }..

다운로드 경로 https://portal.influxdata.com/downloads/ 들어가서 설치환경 알려주면 친절하게.. 커맨드 알려줌 다운로드 # influxdb.key GPG Fingerprint: 05CE15085FC09D18E99EFB22684A14CF2582E0C5 cat

이젠 App Mesh를 넘어 Data Flow도 컨트롤하고자 하는것 같다. 원문링크 : https://netflixtechblog.com/data-mesh-a-data-movement-and-processing-platform-netflix-1288bcab2873 Data Mesh — A Data Movement and Processing Platform @ Netflix By Bo Lei, Guilherme Pires, James Shao, Kasturi Chatterjee, Sujay Jain, Vlad Sydorenko netflixtechblog.com 전반적인 아키텍처 Data Mesh 시스템은 크게 Control plane 영역과 Data Plain 영역으로 나눌 수 있다. 컨트롤러는 사용자 ..

Segment Advisor 란? - Advisor가 감지한 세그먼트 관련 데이터를 기반한 신뢰성있는 적합성 평가 수행 - 재구성이 필요한 대상을 자동으로 선별해주어 관리효율성 제고 - 선별된 대상에 대해 분석을 수행하고 개선권고 사항까지 도출함으로써 성능개선 계획수립에 활용가능 ※ 해당 기능은 DB 서버 부하와 같은 운영상의 이유로 Disable 한 경우도 있으니 활성화 되어 있지 않다면 담당자와 협의후 Enable을 진행하기 바람 1. Auto Segment Advisor 사용 ① auto space advisor(=segment advisor) 활성화 상태 확인 SQL > SELECT CLIENT_NAME, OPERATION_NAME, STATUS FROM DBA_AUTOTASK_OPERATION;..

Filebeat를 Aggregator로 사용하게 되면 인덱스 이름, 인덱스 세팅 등이 Filebeat Configuration에서 이루어진다. 그래서 커스텀한 인덱스 설정을 위해서 filebeat.yml을 손대야 한다. Elastic Stack Version : 7.10 1. 수집대상 서버에서 filebeat.yml설정파일을 찾는다. # vi /etc/filebeat/filebeat.yml ----------------------수정------------------------- output.elasticsearch: # Array of hosts to connect to. hosts: ["192.168.122.16:9200","192.168.122.17:9200"] # Protocol - either `..

정적 매핑 적용하기 방식 장점 단점 동적 매핑 미리 매핑 정보를 생성하지 않아도 된다. 불필요한 필드가 생성될 수 있다. 정적 매핑 필요한 필드만 정의해서 사용할 수 있다. 미리 매핑 정보를 생성해야 한다. 동적 매핑을 사용하면 불필요한 매핑 정보가 생성될 수 있으며, 이런 불필요한 매핑 정보는 불필요한 색인 작업을 유발하게 되어 색인 성능을 저하시킬 수 있다. 반대로 정적 매핑을 적용하면 필요한 필드들만 정의 해서 사용할 수 있고 불필요한 매핑 정보를 사용하지 않기 때문에 색인 성능을 향상시킬 수 있다. 특히 문자열 형태의 필드에서 색인 성능차이가 더 크게 발생한다. 문자열 필드는 text와 keyword 타입으로 나눌 수 있는데 그 성격에 따라 분석 방법이 다르기 때문에 성능에도 차이가 있다. 동적매..

여러개의 인덱스에 걸쳐 alias를 설정하는 방법 test1, test2 두개의 인덱스에 alias 적용 $ curl -X POST "localhost:9200/_aliases?pretty" -H 'Content-Type: application/json' -d' { "actions" : [ { "add" : {"indices" : ["test1", "test2" ], "alias" : "alias2" } } ] } test로 시작하는 모든 인덱스에 alias 적용 $ curl -X POST "localhost:9200/_aliases?pretty" -H 'Content-Type: application/json' -d' { "actions" : [ { "add" : { "index" : "test*", "..

아래는 ES 클러스터를 구축하면서 커스터마이징을 권장하는 내용을 정리하였다. elasticsearch.yml에서 세그먼트 저장 경로 설정 path.data: /var/lib/elasticsearch/data1 스왑 메모리 사용 여부 설정 bootstrap.memory_lock: true - 시스템의 스왑 메모리 영역을 사용하지 않도록 하는 설정이다. ES는 스왑 메모리 영역을 최대한 사용하지 않도록 권고하고 있다. 이 설정을 통해 스왑 영역을 사용하지 않으면 성능은 보장할수 있지만 시스템의 메모리가 부족한 경우에는 OOM 발생. 이 설정을 사용하기 위해서는 elasticsearch.yml 뿐만아니라 OS의 /etc/security/limit.conf도 수정해야 한다. # vi /etc/security/l..