분류 전체보기
-
[Vitess] Etcd 알아보기Database/Vitess 2023. 12. 30. 23:39
- 목차 소개. Vitess 는 내부적으로 etcd 를 사용합니다. etcd 는 ZooKeeper 처럼 분산 시스템의 상태 정보와 메타데이터를 저장하는데요. Vitess 의 여러 Topology 들의 상태와 정보를 저장합니다. etcd 를 통해서 Keyspace, Cell, Shard, Tablet 의 상태와 정보가 관리된다고 생각하시면 됩니다. 이번 글을 통해서 Vitess 는 Etcd 에 어떤 정보를 저장하고, Etcd 를 활용하는 Orchestration 에 대해 알아보려고 합니다. Vitess Cluster 구현하기. 아래 예시는 Kubernetes 위에서 Vitess 를 실행하는 간단한 예시입니다. Kubernetes 와 Vitess 환경에서 Etcd 가 어떻게 동작하는지 알아보려고 합니다. h..
-
[Vitess] Topology Service 알아보기Database/Vitess 2023. 12. 30. 21:50
- 목차 소개. Vitess 의 Topology 는 Vitess 의 여러 구성요소들의 구조와 관계를 설정하는 논리적인 개념입니다. Vitess 의 구성요소들은 다음과 같습니다. Server, Cell, Keyspace, Shard, Tablet 등으로 구성됩니다. 이번 글에서는 각각의 요소들이 무엇인지 알아보고 Topology 를 구성하는 방법에 대해서 알아보려고 합니다. 구성요소. Vitess 의 구성요소들을 알아봅니다. 구성요소들은 Server, Cell, Keyspace, Shard, Tablet 등이 존재합니다. Server. Vitess 에서 지칭하는 Server 는 실제 물리적인 서버를 의미합니다. Vitess 는 MySQL 을 관리하는 클러스터인데요. 여러 개의 MySQL 서버 또는 프로세스..
-
[Vitess & Kubernetes] Cell 알아보기Database/Vitess 2023. 12. 30. 16:36
- 목차 함께 보면 좋은 자료. https://westlife0615.tistory.com/232 KinD 로 Vitess 구현하기. - 목차 함께 보면 좋은 글. https://westlife0615.tistory.com/407 KinD 알아보기. - 목차 소개. KinD 는 "카인드" 라고 발음되며, 로컬 머신에서 쿠버네티스를 간편하게 실행할 수 있는 도구입니다. KinD 는 Kuberne westlife0615.tistory.com 소개. Cell 은 Vitess 가 관리하는 데이터베이스들을 논리적으로 묶는 단위입니다. "논리적 단위" 라는 표현이 좀 애매한데요. 이를 잘 표현하는 다른 사례들을 먼저 얘기하고자 합니다. 쿠버네티스를 예로 들면, ReplicaSet 이나 Service 를 이야기할 수..
-
[PyTorch] RNN 모듈 알아보기AI-ML 2023. 12. 29. 06:31
- 목차 들어가며.PyTorch 에는 내장된 RNN 모듈이 존재합니다.torch.nn.RNN 클래스를 사용하여 손쉽게 RNN 모듈을 사용 가능합니다.다만 PyTorch 의 내장 RNN 모듈이 사용법이 간단히 와닿지 않는 경향이 있어서 이번 글을 통해 그 사용법에 대해서 명확히 하려고 합니다. 기본적인 사용법 알아보기.RNN 모듈은 기본적으로 아래와 같이 생성합니다.RNN 모듈은 필수적으로 input_size 와 hidden_size 값을 입력으로 받아야합니다.import torch.nn as nnrnn = nn.RNN(input_size=5, hidden_size=10) input_size 는 입력 텐서의 차원의 크기가 됩니다.예를 들어서, NLP 모델에서 단어 하나하나가 입력으로 사용된다고 가정해보겠습..
-
[Flink] 바이너리 파일 실행하기 (Binary Execution File)Flink 2023. 12. 29. 06:31
- 목차 들어가며. 이번 글에서는 로컬 환경에서 Flink Jar 파일을 통해 Flink Cluster 를 구성하는 방법에 대해서 알아보려고 합니다. 먼저 실행을 위한 Jar 파일들을 다운로드를 받아야합니다. 아래 페이지에서 버전별 모든 Flink 관련 파일들을 다운로드할 수 있습니다. https://flink.apache.org/downloads/ Downloads Apache Flink® Downloads # Apache Flink # Apache Flink® 1.18.0 is the latest stable release. Apache Flink 1.18.1 # Apache Flink 1.18.1 (asc, sha512) Apache Flink 1.18.1 Source Release (asc, sh..
-
[Kafka Streams] Config 알아보기Kafka 2023. 12. 29. 06:31
- 목차 소개. Kafka Streams 를 실행하기 위한 기본적은 설정들에 대해서 알아보도록 하겠습니다. StreamsConfig. APPLICATION_ID_CONFIG. APPLICATION_ID_CONFIG 설정은 Kafka Consumer 의 client ID 와 consumer group 에 관한 설정입니다. Kafka Streams 는 스트림 프로세싱 어플리케이션으로써 Kafka Consumer 이기도 합니다. 그리고 Kafka Consumer 는 반드시 consumer group 이 필요하죠. 그리고 Broker 의 Client 이기 때문에 client ID 또한 필요합니다. APPLICATION_ID_CONFIG 의 값은 client ID prefix 로 사용되며, consumer gro..
-
[Kubernetes] Argo Workflows 시작하기Kubernetes 2023. 12. 28. 20:22
- 목차 소개. Kubernetes 환경에서 Argo Workflow 를 구축하는 과정에 대해서 간단히 알아보려고 합니다. KinD 로 Local k8s 환경 만들기. https://westlife0615.tistory.com/407 KinD 알아보기. - 목차 소개. KinD 는 "카인드" 라고 발음되며, 로컬 머신에서 쿠버네티스를 간편하게 실행할 수 있는 도구입니다. KinD 는 Kubernetes in Docker 의 약자이구요. Docker 를 활용하여 쿠버네티스 환경을 구성 westlife0615.tistory.com 위 페이지를 통해서 간단히 KinD 로 로컬 환경에 Kubernetes 를 세팅할 수 있습니다. 위 페이지의 내용을 간단히 요약하면 아래와 같습니다. 1. kubernetes co..
-
Kafka Log Segment 알아보기Kafka 2023. 12. 25. 16:23
- 목차 함께 보면 좋은 글. https://westlife0615.tistory.com/474 Docker 로 Kafka Cluster 구축해보기. - 목차 소개. 저는 로컬 환경에서 카프카 관련 테스트를 진행하는 경우가 많이 생기더군요. 그래서 docker-compose 를 활용하여 Kafka, ZooKeeper 클러스터를 구축하는 내용을 작성하려고 합니다. docker-com westlife0615.tistory.com 소개. Kafka 의 Broker 는 Producer 에 의해서 생성되는 메시지들을 저장하고 관리합니다. 생성되는 메시지는 Log Segment 라는 단위로 묶이게 되는데요. Log Segment 는 카프카 메시지들이 저장되는 단위이자 하나의 파일로 생각하시면 됩니다. 이번 글에서 ..
-
[Spark] Spark lit 알아보기Spark 2023. 12. 24. 21:29
- 목차 소개.프로그래밍 언어에서 literal 이라는 표현법이 존재합니다.literal 은 어떠한 자료형을 표현하는 정석적인 방법이 아니라 손쉽게 표현할 수 있는 방법을 의미하며,이는 프로그래밍 언어의 컴파일러 또는 인터프리터에 의해서 허용되는 형태입니다. 예를 들어, 여러가지 프로그래밍 언어에서 배열을 표현하는 방법에 대해서 얘기해보겠습니다.javascript 에서 배열을 생성하기 위해 정석적인 방법은 아래와 같이 Array 클래스를 사용하는 것입니다.Array(1,2,3,4,5) 하지만 아래와 같은 형식도 제공되죠.[1,2,3,4,5] python 에서 배열을 생성하는 방법은 아래와 같이 제공되며,list([1, 2, 3, 4, 5])[1, 2, 3, 4, 5]ran..
-
Covariate Shift 알아보기AI-ML 2023. 12. 24. 08:48
- 목차 키워드.- Covariate Shift or Drift- Data Distribution- Shuffle 들어가며.Covariate Shift 는 우리말로 "공변량 변화" 라고 합니다.이는 머신러닝 모델의 학습 과정에서 발생할 수 있는 이슈 사항 중의 하나인데요.말이 어렵기 때문에 먼어 Covariate Shift 와 관련된 여러가지 상황들에 대해서 말씀드리겠습니다. Image Classification 에서 발생할 수 있는 문제 상황.아래의 사진 자료는 실제 사자의 사진과 카툰 이미지를 각각 보여줍니다.디즈니에서 자신들의 애니메이션을 실사화시켜서 개봉하고 있죠.만약 동물의 이미지 데이터를 기반으로 Image Classification Model 을 학습한다고 가정해보죠.학습 과정에서는 실제 동..