StarLord

클러스터와 노드 여러개의 ES 프로세스들을 논리적으로 결합하여 하나의 ES 프로세스 처럼 사용할수 있게 해준다. 이때 클러스터를 구성하는 하나하나의 ES프로세스를 노드라고 부른다. 노드역할 노드역할 설명 마스터(Master Eligible) 클러스터 구성에서 중심이 되는 노드. 클러스터의 상태등 메타데이터를 관리한다. 데이터(Data) 사용자의 문서를 실제로 저장하는 노드 인제스트(Ingest) 사용자의 문서가 저장되기 전 문서의 변환이 필요한 내용을 사전 처리하는 노드 코디네이트(Coordinate) 사용자의 요청을 데이터 노드로 전달하고, 다시 데이터 노드로부터 결과를 취합하는 노드 위 표와 같이 노드가 할 수 있는 역할은 총 4가지 이며, 각각 하나의 역할만 할 수 있는게 아니라 한번에 여러개의 역..

OS : CentOS 1. Filebeat 인스톨 # vi /etc/yum.repos.d/Elastic.repo --------------------------------------------- [elastic-7.x] name=Elasticsearch repository for 7.x packages baseurl=https://artifacts.elastic.co/packages/7.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md # yum -y install filebeat 2. Filebeat 환경설정 # vi /etc/filebeat/filebea..

7.10 이상 버전에서 라이선스 이슈 왈가왈부가 많아 apache2 라이선스 예하의 7.10 으로 올림 서버 OS : CentOS 7버전 Hardware Requirement : https://www.elastic.co/guide/en/cloud-enterprise/current/ece-hardware-prereq.html 1. 인스톨 ※ root 유저가 아닌 일반계정으로 install 해야 합니다. # wget https://artifacts.elastic.co/downloads/kibana/kibana-7.10.0-linux-x86_64.tar.gz # tar -zxvf kibana-7.10.0-linux-x86_64.tar.gz # mv kibana-7.10.0-linux-x86_64 kibana ..

7.10 이상 버전에서 라이선스 이슈 왈가왈부가 많아 apache2 라이선스 예하의 7.10 으로 올림 MasterNode 3대에 DataNode를 2대만 설정했습니다. MasterNode는 무조건 3대 이상해야 되더라구요.. 2대로는 고가용성 불가.. 서버 OS : CentOS 7버전 Hardware Requirement : https://www.elastic.co/guide/en/cloud-enterprise/current/ece-hardware-prereq.html 1. ElasticSearch 서버 인스톨 ※ root 유저가 아닌 일반계정으로 install 해야 합니다. $ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsear..

대용량 데이터를 분산 처리할 수 있는 자바 기반의 프레임워크. hdfs라는 하둡 분산 파일 시스템과 map reduce가 큰 특징임. HDFS 하둡의 DATA STORAGE에 해당하는 것으로 데이터는 block 단위로 분할되어 Slave Node에 저장된다. 데이터 관리를 위해 Master Node에서는 NameNode daemon이 실행되고, 각 Slave Node에서는 DataNode Daemon이 실행된다. 즉, HDFS는 Slave node에 있는 로컬 파일시스템 상에 만들어지는 오버레이 파일 시스템인 것이다. HDFS상에 배치된 파일은 128이나 256MB크기의 블록으로 분할되어 각 Slave Node에 저장되지만, 각 블록데이터는 로컬 파일시스템의 파일로 취급된다. 데이터 접근에 대해서는 기록..

Mongo DB 구성요소 1. Databases admin Database admin DB는 관리목적으로 사용되는 DB이며 인증과 인가의 핵심 역할을 수행한다. config Database 샤딩과 샤딩을 위한 메타데이타 정보를 저장하기 위해 사용. 단일 구성으로 mongoDB를 올릴경우에는 해당되지 않습니다. Replica Set 기반에 동작하면 해당됩니다. 일반 Database 2. 기타 구성요소 Aggregation Aggregation은 여러 document들을 grouping하여 연산을 수행한 후 하나의 result를 반환하는 연산입니다. MongoDB는 다음과 같은 세가지 방법의 Aggregation을 제공합니다. Aggregation Pipeline 가장 기본적인 파이프라인 단계는 filter..

인덱스는 이름 그대로 무언가를 빠르게 찾기 위한 색인이다. 즉 테이블 내에서 특정 조건에 대한 검색을 속도를 향상시킨다. Full Scan을 방지하기 위해 사전에 색인하는 것이라보면 되겠다. 다만, 인덱스도 하나의 테이블이기 때문에 인덱스 테이블 스페이스가 필요하다(용량이 소모됨) 우선 Index 방식이 유용한 때와 그렇지 않은 때를 구분하자. Index 방식이 유용한 경우 Row수가 매우 긴 경우 PK, FK 등 완전히 Unique하거나, 값의 분포도가 고른 컬럼이 존재하는 테이블 쿼리의 WHERE 조건에서 자주 참조되는 테이블 큰 테이블에서 적은 데이터 참조가 자주 발생할때 (예, 재직구분에서 휴가 중인 사람을 검색) 다른 테이블과 순차적 JOIN(Nested Join)이 발생하는 경우 랜덤방식의 테..

해당 스키마로 사용중인 SESSION찾아 Kill SELECT SID,SERIAL#,USERNAME,STATUS FROM V$SESSION WHERE SCHEMANAME='KCCIEHRDEV'; ALTER SYSTEM KILL SESSION '2095,8617' IMMEDIATE; LOCK 걸린 SESSION찾아 Kill select a.username, a.sid, a.serial#, b.xidusn, b.process, b.locked_mode, c.object_name, a.sql_id from v$session a, v$locked_object b, dba_objects c where a.sid = b.session_id and b.object_id = c.object_id order by b.x..

1. 이관대상 스키마의 데이터파일 사용량 확인(DATA, INDEX) SELECT b.file_name "FILE_NAME", b.tablespace_name "TABLESPACE_NAME", b.bytes / 1024 / 1024 "TOTAL SIZE(MB)", ((b.bytes - sum(nvl(a.bytes,0)))) / 1024 / 1024 "USED(MB)", (sum(nvl(a.bytes,0))) / 1024 "FREE SIZE(KB)", (sum(nvl(a.bytes,0)) / (b.bytes)) * 100 "FREE %", round((b.bytes / 1024 / 1024) - ((((b.bytes - sum(nvl(a.bytes,0)))) / 1024 / 1024) + 150)) For..

1) 사전준비사항 - OS의 swap파티션 충분히 설정할것 - oracle파티션 생성 ※ /oracle 소프트웨어 홈의 경우 권한을 775로 줄것 - 환경변수 세팅 : vi 커맨드를 통해 내용을 확인하고 맞추어 수정한다. #vi /etc/security/limits.conf oracle soft nproc 2047 oracle hard nproc 16384 oracle soft nofile 1024 oracle hard nofile 65536 oracle soft stack 10240 #vi /etc/sysctl.conf fs.aio-max-nr = 1048576 fs.file-max = 6815744 kernel.sem = 250 32000 100 128 net.ipv4.ip_local_port_ran..