전체 글 473

TypeScript, NestJS로 Confluent Kafka 연결 3-Consumer 개발

1.NestJS는 설치npm i -g @nestjs/cli 2. Consumer 프로젝트를 생성nest new consumer 3. 필요 패키지 설치yarn add @nestjs/microservicesyarn add kafkajs 4. 개발https://github.com/armyost/kafka-sample/tree/main/consumer kafka-sample/consumer at main · armyost/kafka-sampleContribute to armyost/kafka-sample development by creating an account on GitHub.github.com src/main.ts import { NestFactory } from '@nestjs/core';imp..

PaaS/MQ 2025.09.01

TypeScript, NestJS로 Confluent Kafka 연결 2-Producer 개발

1.NestJS는 설치npm i -g @nestjs/cli 2. Consumer 프로젝트를 생성nest new consumer 3. 필요 패키지 설치yarn add @nestjs/microservicesyarn add kafkajs 4. 개발https://github.com/armyost/kafka-sample/tree/main/producer kafka-sample/producer at main · armyost/kafka-sampleContribute to armyost/kafka-sample development by creating an account on GitHub.github.com src/kafka-producer.service.tsimport { Injectable, OnModuleI..

PaaS/MQ 2025.09.01

TypeScript, NestJS로 Confluent Kafka 연결 1- Confluent 세팅

이러한 SAAS 서비스를 통해 인프라를 구축하면 손쉽고 관리가 용이하다. 이 페이지에서는 Confluent에서 Cluster 생성과 Topic , Client 인증을 위한 Key를 생성한다. 1. Confluent 접속https://www.confluent.io/ Confluent | The Data Streaming PlatformStream, connect, process, and govern your data with a unified Data Streaming Platform built on the heritage of Apache Kafka® and Apache Flink®.www.confluent.io 2. Create Cluster 클릭 > 생성하고자 하는 Type의 Cluster를 지정한..

PaaS/MQ 2025.09.01

Netflix ) Netflix’s Key-Value Data Abstraction Layer

넷플릭스는 Key-Value String Data의 영속성 Layer로 어떠한것을 사용했는지, 어떤 비즈니즈 요구사항에 적용했는지 리서치 해보았다. 관련 포스팅https://netflixtechblog.com/introducing-netflixs-key-value-data-abstraction-layer-1ea8a0a11b30 Introducing Netflix’s Key-Value Data Abstraction LayerVidhya Arvind, Rajasekhar Ummadisetty, Joey Lynch, Vinay Chellanetflixtechblog.com https://netflixtechblog.com/introducing-netflix-timeseries-data-abstraction-l..

Programming/MSA 2025.01.13

SSH key로 Github 인증 받기

우선 내 로컬 혹은 서버 (어디든 무관하다.) 에서 SSH 접속을 위한 RSA Key를 생성한다. 이때 필자는 key의 이름을 GH_RO_key_rsa 라고 하겠다.imacs-imac:~ scott$ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/~/~/.ssh/id_rsa): /~/~/.ssh/GH_RO_key_rsa Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /~/~/.ssh/GH_RO_key_rsa. Your publi..

PaaS/CI CD 2024.12.28

ArgoCD) Git-Sync를 통하여 주기적으로 git repo fetch 받아오게 하기

가끔식 kustomization이나 Submodule과 같은 경우 다른 Repository의 최신 버전을 참고해야 할 때가 있다.  이때는 ArgoCD 의 구성요소중 argocd-repo-server를 활용하여야 한다. 참고로 argocd-repo-server는 argocd에서 repository에 대한 fetch를 받을때 사용하는 컴포넌트로써 /tmp 경로 하위에 fetch 받은 repo의 Cache가 쌓인다. 여기서 먼저 질의한후 없으면 실제 repo에서 fetch 받는 구조이다. https://argo-cd.readthedocs.io/en/stable/operator-manual/server-commands/argocd-repo-server/#argocd-repo-server  이 argocd-re..

PaaS/CI CD 2024.12.27

Kustomization) Kustomize build 시 참조되는 파일 경로 유효성 평가 생략하기

Kustomize는 Build할때 참조되는 Resource들의 path에 대해서 정합성을 체크한다. 휴먼에러를 방지하기 위한 내부 메커니즘으로 보이는데, Kustomization으로 build하는 Application Scope을 벗어난 리소스 참조는 실패하도록 설계되어 있다.  가령├── base│ ├── app-new-manifest.yaml # I am trying to patch this│ ├── kustomization.yaml│ ├── app│ │ ├── app.yaml│ │ └── kustomization.yaml└── overlay └── environment1 │ ├── kustomization.yaml # I want to patch app-ne..

PaaS/CI CD 2024.12.27

Sidecar Injector 사용하기

k8s를 운영하다 보면 Sidecar를 체계적으로 관리하고 싶을 때가 있다. Istio가 아니더라도 Sidecar가 필요한 경우는 많다.  이 경우에 tumblr에서 opensource로 제공한 Sidecar Injector를 사용하면 좋다.  1. Git Clonegit clone https://github.com/tumblr/k8s-sidecar-injector.git 2. Certificate  export ORG="org1" DOMAIN="org1.com"sed -i '' -e "s|__ORG__|$ORG|g" -e "s|__DOMAIN__|$DOMAIN|g" examples/tls/ca.conf examples/tls/csr-prod.conf  3. TLS 용 Key 생성export DEPLOY..

PaaS/Kubernetes 2024.12.17