StarLord

설치 요소 istio kiali prometheus Istio 를 Bastion Host에 설치한다. $ curl -L https://istio.io/downloadIstio | sh - $ cp istio-1.18.1/bin/istioctl /usr/local/bin/ $ istioctl profile list $ istioctl install --set profile=demo -y istio 사이드카를 붙이고 싶은 namespace에 라벨링을 한다. $ kubectl label namespace development istio-injection=enabled 이제 Kiali 를 Operator로 설치해보자. $ wget https://raw.githubusercontent.com/istio/istio..

PagerDuty를 스터디 할때도 느꼈지만 이제는 Service 를 기준으로 하는 모니터링이 대세인것 같다. MicroService의 여파로 Service에 대한 R&R이 분명해 짐과 동시에 많은 Micro Service로 인해 체계적인 관리가 필요해졌다. DataDog의 Service Catalog도 Service를 기준하여 Service Owner(담당자 또는 팀), Performance Metric, Reliability, Security를 관리한다. 이러한 컨셉이 합리적인것인 이유는 특정 서비스에 대한 이슈는 오직 해당 Owner만이 주의를 기울임이 효율적이다. 과거처럼 관련자 잔뜩 불러서 다같이 트러블 슈팅하는 시대는 지났다. 이제는 Micro Service 하기 때문이다. https://www..

Dashboard List : 서비스 별 기본적으로 제공하는 템플릿이있다. 놀라운것은 내가 수집중인 대상을 알아서 분석해서 필요한 데시보드를 제시한다는 것이다... New Dashboard : Custom한 Dashboard를 만든다 Report : Dashboard를 기반하여 특정 시간의 운영경과를 리포트로 작성하여 보낸다. 이때 주기적으로 자동으로 보고되도록 설정할 수 있다.

Host Map: 호스트 맵은 색상과 모양으로 이해하기 쉽게 만들어진 메트릭을 이용해 호스트를 한 화면에 시각화합니다. Infrastructure List : 인프라스트럭처 목록을 통해 Datadog이 모니터링하는 모든 호스트와 지난 2시간(기본값)부터 최대 1주일까지의 활동을 확인할 수 있습니다. 호스트를 검색하거나 태그로 그룹화해 보세요. Containers : 전반적인 컨테이너의 상태를 나타냅니다. Datadog은 ECS, 도커, 쿠버네티스 등과 통합됩니다. 커스텀 그룹과 필터, 그리고 색상과 모양을 통해 이해하기 쉽도록 만들어진 메트릭을 사용하여 모든 컨테이너를 한 화면에서 볼 수 있습니다. 아웃라이어 감지, 사용 패턴 파악, 리소스 문제 방지, 컨테이너를 최적으로 관리하기 위한 의사 결정, 이 ..

2023-11-13 13:46:50 UTC | CORE | ERROR | (pkg/collector/python/kubeutil.go:41 in getConnections) | connection to kubelet failed: temporary failure in kubeutil, will retry later: impossible to reach Kubelet with host: 192.168.122.191. Please check if your setup requires kubelet_tls_verify = false. Activate debug logs to see all attempts made 2023-11-13 13:46:50 UTC | CORE | ERROR | (pkg/collector..

2023-11-13 13:19:05 UTC | CORE | ERROR | (comp/dogstatsd/server/server.go:225 in newServerCompat) | Dogstatsd: unable to determine default hostname: unable to reliably determine the host name. You can define one in the agent config file or in your hosts file 2023-11-13 13:19:05 UTC | CORE | INFO | (comp/forwarder/defaultforwarder/default_forwarder.go:242 in NewDefaultForwarder) | Retry queue sto..

가트너 기준 모니터링 1위... 그리고 막상 모니터링을 운영하다보면, 이거따로 저거따로 모니터링하는것도 한계가 있다. 보통 운영팀의 니즈는 돈을 들이더라도 하나의 대시보드에 띄워서 보고자 한다. 생각보다 상용도 많이쓰고, 근데 아직 국내에 Datadog 쓰는데를 못본것 같다. DataDog을 Free trial로 실습한 내용을 공유한다. 우선 회원가입후에 내 API KEY 와 APP KEY를 알아야 한다. [내 프로필] - [Personal Settings] [ Application Keys] 에서 'New Key' 를 클릭하여 APP KEY를 만든다. 잘 복사해놓자. [내 프로필] - [Organization Settings] [API Keys] 에서 API KEY를 복사해두자 API/APP KEY를 ..

원문 : https://www.cncf.io/blog/2023/11/02/opentelemetry-in-decoupled-event-driven-architectures-solving-for-the-black-box-when-your-consuming-applications-are-constantly-changing/ OpenTelemetry in decoupled event driven architectures – solving for the black box when your consuming applications are constan Member post from Rob Williamson, Solace The goal of OpenTelemetry is to have a common system..

총평 처음에는 PagerDuty가 도대체 어떤 제품인지 정확하게 이해하지 못했다. HandsOn을 통해서 이 제품의 컨셉을 정확하게 인지하였다. 모니터링이라는 단어에는 잘 생각해보면 다음의 기능적 요소가 포함되어 있다. ㉠ 모니터링 대상(자원)에 대한 Health Check 지표 확인을 어떻게? ㉡ 이슈가 있을때의 관련자에 알람 및 대응을 어떻게? ㉠ 은 기술에 대한 이야기 이며, ㉡ 은 Management에 대한 이야기 이다. PagerDuty는 ㉠ 에도 일부분 기여할 수는 있다(노이즈감소, AIOpns) . 그런데 PagerDuty의 핵심컨셉은 ㉡ 에 맞추어져 있다. 예를들어, 이슈 알람은 어떤 Escalation Rule을 통해서, 누구에게? 담당자 스케쥴은 어떻게 배정해야하는지? 와 같은것이다. ..