StarLord

원문링크 : https://netflixtechblog.com/incremental-processing-using-netflix-maestro-and-apache-iceberg-b8ba072ddeeb Incremental Processing using Netflix Maestro and Apache Iceberg by Jun He, Yingyi Zhang, and Pawan Dixit netflixtechblog.com 개요 - IPS( incremental processing solution )는 Maestro를 기반으로 두 가지 Building Block(새로운 Trigger 메커니즘과 Step Job) 을 추가하여 모든 워크플로에 대한 증분 처리를 지원하는 확장 기능으로 구축되었습니다. 최소한의 O..

관련링크 : https://cloud.google.com/kubernetes-engine/docs/concepts/ingress?hl=ko 애플리케이션 부하 분산기용 GKE 인그레스 | Google Kubernetes Engine(GKE) | Google Cloud 이 페이지에서는 애플리케이션 부하 분산기용 인그레스가 무엇인지와 Google Kubernetes Engine(GKE)에서 어떻게 작동하는지에 대해 설명합니다. cloud.google.com Public Cloud 내에서 K8S 컨테이너 서비스가 어떻게 서비스되어야 하는지 프로토타입을 제시코자 한다. 위 구성은 AWS 도 마찬가지다. 국내 Public Cloud는 ALB Ingress Controller가 없는 경우도 있어 해당이 안되겠지만, ..

지난 번에 구축한 VPC를 기반하여 GKE클러스터를 구축하려한다. https://armyost.tistory.com/446 GCP VPC 구축하기 (Public/Private Subnet 구축하기) 필자가 만들고자 하는 VPC는 다음과 같다. AWS에서는 Subnet이 Internet-gateway가 연결되어 있으면 Internet-facing되었다고 생각하고 public subnet이라고 단정짓는다. 하지만 GCP는 private-subnet에 대한 개념이 armyost.tistory.com 그리고 GKE 클러스터 노드들은 보안상 Private Network 구간에 배치토록 하겠다. ※ 관련링크 : https://cloud.google.com/kubernetes-engine/docs/how-to/pri..

원문 : https://www.cncf.io/blog/2023/11/24/kubeadmiral-next-generation-multi-cluster-orchestration-engine-based-on-kubernetes/ KubeAdmiral: next-generation multi-cluster orchestration engine based on Kubernetes Member post originally published on the Bytedance blog by Gary Liu Project link: https://github.com/kubewharf/kubeadmiral Since its release in 2014, Kubernetes has become the de facto stand..

샘플 대시보드 작성은 이전 포스팅 참조 : https://armyost.tistory.com/448 Tableau Map (지도) 기반 시각화 샘플 Tableau Desktop에서 Sample 데이터를 통하여 지도기반 시각화를 진행해보고자 한다. 1. Tableau Desktop의 데이터 레이어에서 '데이터에 연결'을 클릭한다. 2. '슈퍼스토어-샘플'을 클릭한다. 3. 테이블 - 주 armyost.tistory.com 이제 완성한 대시보드를 WebPage에 표시하는 방안이다. 1. 공유코자 하는 Tableau 대시보드를 들어간다. 2. '공유'를 클릭하여 표시되는 화면에서 '내장 코드 복사'를 클릭한다. 3. 그러면 아래와 같은 HTML 코드가 복사된다. 표시하고자 하는 Frontend 소스에 붙인다...

Tableau Desktop에서 Sample 데이터를 통하여 지도기반 시각화를 진행해보고자 한다. 1. Tableau Desktop의 데이터 레이어에서 '데이터에 연결'을 클릭한다. 2. '슈퍼스토어-샘플'을 클릭한다. 3. 테이블 - 주문 - 위치 - '국가/지역' 을 클릭한다. 4. 표현방식 중에 내가 사용하고자 하는 템플릿을 클릭한다. 5. 맵 기반하에 표현하고싶은 데이터를 '테이블' 에서 선택한뒤 드래그엔 드룹으로 '마크'영역의 '색상'에 놓는다. 6. 색상으로 데이터를 구분할 수 있도록 표시된다. 7. 데이터도 같이 보여주고 싶다면, '레이블' 을 클릭한 후 '마크 레이블 표시'를 클릭한다. 8. 지도 밑바탕을 다르게 바꿔보고 싶다면 상위 메뉴 중 맵 - 백그라운드 레이어 를 선택한다. ※ 시도..

Hardware Requirement가 높다. 물리 4CPU Core 이상, Memory 64GB이상 관련 링크 : https://www.tableau.com/ko-kr/support/releases/server LINUX 버전 1: Tableau Server package 를 설치하고 Tableau Services Manager(TSM)을 시작하자 - server.rpm다운로드 : https://help.tableau.com/current/server-linux/en-us/jumpstart.html - 다운로드가 완료되면 RPM파일을 서버로 이관한다. - RPM 파일이 있는 위치에서 $ sudo yum install tableau-server-2023-3-0.x86_64.rpm ## sudo yum i..

필자가 만들고자 하는 VPC는 다음과 같다. AWS에서는 Subnet이 Internet-gateway가 연결되어 있으면 Internet-facing되었다고 생각하고 public subnet이라고 단정짓는다. 하지만 GCP는 private-subnet에 대한 개념이 상대적으로 약하다. AWS처럼 아에 private-subnet에 대한 default한 설정이 들어가는게 사용자 실수 줄이기도 좋고.. 편하다. GCP가 이게 상대적으로 약하다. 하지만 전반적인 네트워크 잡는건 똑같다. 위 그림에서 public-subnet은 In/Out Bound Traffic이 Internet 영역과 모두 허용되고, private-subnet은 In-Bound Traffic 은 미허용, Out-Bound Traffic은 허용한..

관련링크 : https://www.cncf.io/blog/2020/04/13/serverless-open-source-frameworks-openfaas-knative-more/ Serverless Open-Source Frameworks: OpenFaaS, Knative, & more Originally published on the Epsagon blog by Ran Ribenzaft, co-founder and CTO at Epsagon This article will discuss a few of the frameworks mentioned above and will go deep into OpenFaaS and Knative to… www.cncf.io 지난 수년동안 Serverless Arch..

1. Frontend/Backend Application : Argo Rollout 혹은 Deployment 적합 ※ HPA도 같이 배포한다. 2. 영속성 솔루션 (DBMS, ElasticSearch..) : StatefulSet 적합 ※ 다만 Mount 시키는 Persist Volume은 Share할수 있는 Volume으로 하는것이 좋음. 어쩔수 없이 Drain 또는 노드 셧다운 요구사항이 발생함 3. Monitoring Agent : DaemonSet 적합 4. 네트워크 리소스(Flannel, Ingress) : DaemonSet 적합 ※ Igress Controller : IngressController가 감당할 부하를 고려하여 노드별로 생성하는 것이 좋다. 5. Cluter 구성이 필요한 비영속성..