StarLord

로그 필터링 사용방법 1. [AWS Console]-[CloudWatch]-[로그그룹]에 접속 2. 필터링할 로그그룹 선택 3. "Actions"-"지표 필터 생성" 선택 필터 패턴에 사용할 필터 패턴을 입력합니다. 아래 필터 패턴 작성 규칙 참조 https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/logs/FilterAndPatternSyntax.html 필터 및 패턴 구문 - Amazon CloudWatch Logs 패턴 일치를 사용하는 공백으로 구분된 지표 필터를 생성하는 경우, 용어 순서를 지정한 후 빈 표시기를 포함해야 합니다. 예를 들어, 첫 번째 단어가 ERROR인 로그 이벤트를 반환하는 지표 필터 docs.aws.amazon.com 필자는..

EC2에 추가적으로 설치한 Apache서버의 로그와 같이 별도의 서비스는 CloudWatch에 연결하기 위해 Agent를 설치해야 한다. Agent Install 방법은 YUM, RPM Install을 통해 설치하는 방법으로 진행된다. 아래 가이드를 참고하길 바란다. CloudWatch Agent 설치방법 1. 설치파일 다운로드 및 인스톨 $ sudo yum install amazon-cloudwatch-agent 또는 $ rpm -ivh https://s3.amazonaws.com/amazoncloudwatch-agent/amazon_linux/amd64/latest/amazon-cloudwatch-agent.rpm $ sudo rpm -U ./amazon-cloudwatch-agent.rpm 2. A..

Alarm의 두가지 타입 ‘지표 경보(Metric Alarm)’는 단일 CloudWatch 지표를 감시하거나 CloudWatch 지표를 기반으로 하는 수학 표현식의 결과를 감시합니다. 이러한 경보는 여러 기간에 대해 지정된 임계값과 지표 또는 표현식의 값 비교하여 하나 이상의 작업을 수행합니다. 작업은 Amazon SNS 주제에 알림을 전송하거나, Amazon EC2 작업 또는 Amazon EC2 Auto Scaling 작업을 수행하거나, Systems Manager에서 OpsItem 또는 인시던트를 생성하는 것일 수 있습니다. 복합 경보(Composite Alarm)에는 사용자가 생성한 다른 경보의 경보 상태를 고려하는 규칙 표현식이 포함됩니다. 복합 경보는 규칙의 모든 조건이 충족되는 경우에만 ALA..

Amazon CloudWatch는 기본적으로 지표 리포지토리입니다. Amazon EC2와 같은 AWS 서비스는 지표를 리포지토리에 저장하므로 이러한 지표를 기반으로 통계를 검색할 수 있습니다. Cloudwatch 구성요소 네임스페이스 네임스페이스는 CloudWatch 지표의 컨테이너입니다. 다른 네임스페이스의 지표는 서로 격리되어 있으므로 다른 애플리케이션의 지표가 실수로 동일한 통계로 집계되는 일은 없습니다. 지표 ‘지표’는 CloudWatch의 기본 개념입니다. 지표는 CloudWatch에 게시된 시간 순서별 데이터 요소 집합을 나타냅니다. 지표는 모니터링할 변수로, 데이터 요소는 시간에 따른 변수의 값을 나타내는 것으로 간주합니다. 예를 들어 특정 EC2 인스턴스의 CPU 사용량은 Amazon EC..

Apache Kafka를 대신할 수 있는 완전 관리형 솔루션이다. 다음의 특징을 가진다. Kafka처럼 IoT, metrics, application log에 적합하다 "실시간" 빅데이터에 유용하다 스트리밍 형태의 프로세스 프레임워크에 적합하다.(Spark, NiFi..) 데이타는 자동으로 3개의 AZ로 복제된다. Kinesis 솔루션 패밀리 Kinesis Stream : Low Latency streaming ingest at scale Kinesis Analytics : perform real-time analytics on streams using SQL Kinesis Firehose : load stream into S3, Redshift, ElasticSearch Kinesis Stream 이란..

AWS의 계정을 Audit해야할때 사용한다. 조직의 AWS 계정을 운영하다보면 누가 무슨 Action을 했는지 Audit할 필요가 있다. 이때 사용하면되며, 다만 비용이 발생한다. 우선 팀원들의 계정의 CloudTrail을 하나의 S3버킷에 모아서 모니터링하자. 방법은 간단하다. 모든 계정의 CloudTrail의 버킷정책을 동일한 S3 Destination으로 정하면 된다.(S3 Bucket의 Permission Policy는 각 계정에서 접근가능토록 수정 필요) 관련링크 : https://docs.aws.amazon.com/ko_kr/awscloudtrail/latest/userguide/cloudtrail-receive-logs-from-multiple-accounts.html 여러 계정에서 Clou..

구성요소 Stack 기본적으로 AWS 리소스 (Amazon EC2 인스턴스, Amazon RDS 데이터베이스 인스턴스 등) 용 컨테이너로서 공통된 용도를 가지며 논리적으로 함께 관리해야 합니다. Stack은 이러한 리소스를 그룹으로 관리하는 데 도움이 되며, 인스턴스의 운영 체제와 AWS 리전 같은 일부 기본적인 구성 설정도 정의합니다. 일부 스택 구성 요소를 직접적인 사용자 상호 작용에서 격리하려면 스택을 VPC에서 실행하면 됩니다. 사용방법 1. [AWS Console]-[OpsWorks]-[Stacks]에서 "Add Stack"클릭 2. Chef 12 Stack을 선택 3. 기본정보 입력. 필자는 Default OS에 Linux 선택. Stack 생성 완료 Layer AWS OpsWorks Stac..

AWS에서 기본적으로 가이드하는 ECS/ECR CI/CD Pipeline은 다음과 같다. 사용방법 CI/CD를 적용할 ECR 레파지토리에 buildspec.yml을 PUSH 해줍니다. version: 0.2 phases: pre_build: commands: - echo Logging in to Amazon ECR... - aws --version - aws ecr get-login-password --region $AWS_DEFAULT_REGION | docker login --username AWS --password-stdin 012345678910.dkr.ecr.us-west-2.amazonaws.com - REPOSITORY_URI=012345678910.dkr.ecr.us-west-2.amaz..

ECS내 리소스에 대한 모니터링은 크게 두가지 방법으로 구현가능하다. ECS 에서 Task Definition에서 로깅 설정하기 1. 모니터링할 Task Definition의 상세페이지로 들어간다. 2. Container Definition 섹션으로 이동하여 등록된 컨테이너 상세페이지로 들어간다. 3. 하단에 "Storage & Logging" 섹션에서 로깅설정을 한다. 완료. CloudWatch 이용하기 1. [AWS Console]-[ECS]-[Cluster] 메뉴에서 클러스터를 생성할때 Default Mornitoring이 아닌 CloudWatch Mornitoring을 Enable하여 생성한다. 2. [AWS Console]-[CloudWatch]-[Metric] 메뉴를 접속하면 못보던 메트릭이 ..

ECS의 Managed AutoScaling에 대해서 ECS 내부적으로 AutoScaling 정책을 만들어서 안정적인 서비스 운영이 가능하다. ECS에서 AutoScaling은 Amazon ECS 서비스에서 원하는 작업 수를 자동으로 늘리거나 줄이는 기능이다. 서비스 뿐만아니라 EC2 노드 또한 자동으로 Scaling 할 수 있다. 다만 서비스와 EC2 모두를 자동관리하려면 난이도가 높다. 이런 경우 Fargate를 사용하기를 권장. 가급적이면 ECS 클러스터에서는 Service에 대한 AutoScaling Policy만 관리하는것이 좋다. Capacity Provider란? Kubernetes의 Scheduler 역할로써 Task를 실행하는 인프라를 결정하기 위함 Capacity Provider(CP)..