분류 전체보기
-
kafka consumerKafka 2023. 3. 2. 07:51
개요 kafka consumer 는 카프카 메세지를 소비하는 대상입니다. 카프카는 토픽이라는 영역에 메시지를 저장하게 되는데 토픽에 차곡차곡 저장된 메시지를 kafka consumer 는 하나씩 조회할 수 있습니다. 토픽은 파티션이라는 단위로 나뉘어져 있습니다. 대개 하나의 토픽은 둘 이상의 파티션으로 나뉘고, 카프카 메시지는 각각의 파티션에 나뉘어 저장이 되죠. 이때 kafka consumer 는 단독으로 하나의 토픽을 소비하기보단 파티션의 갯수만큼 생성을 하고 파티션 수와 consumer 의 수를 1:1로 매칭합니다. 그래서 파티션의 수만큼 동시 처리가 가능해집니다. 파티션의 수 만큼 카프카 소비자가 많아지면 이 소비자들을 관리하기 위한 단위가 필요해집니다. 이를 consumer group 이라고 부..
-
[Kafka Connect] SpoolDir Connector 구현해보기Kafka/kafka Connect 2023. 2. 24. 06:23
- 목차 들어가며.이번 글에서는 Kafka Connect 의 SpoolDir Source Connector 에 대해 알아보는 시간을 가지려고 합니다.SpoolDir Connector 는 Local File 을 읽어들이고 Record 를 생성하여 Kafka Topic 으로 푸시하는 구조를 가집니다. 간략한 구조는 아래와 같습니다.SpoolDir Source Connector 는 Local File 들을 Line by Line 으로 읽어들이고,레코드를 생성하여 지정된 Kafka Topic 으로 레코드를 저장합니다. 중요한 점은 SpoolDir 은 S3 나 Hadoop 과 같은 원격 저장소의 파일이 아닌 내부의 로컬 파일을 그 대상으로 합니다.그래서 SpoolDir Source Connector 의 지정된 디..
-
[SparkML] Kaggle EDA + Regression 구현하기Spark/SparkML 2023. 2. 24. 06:17
- 목차 소개. 아래 주소는 Kaggle EDA + Regression 문제를 소개하는 페이지의 웹 링크입니다. https://www.kaggle.com/code/hely333/eda-regression EDA + Regression Explore and run machine learning code with Kaggle Notebooks | Using data from Medical Cost Personal Datasets www.kaggle.com 위 문제에서는 메디컬 데이터가 제공됩니다. 메디컬 데이터는 환자의 상태 정보와 의료비용 데이터로 구성됩니다. 목표는 환자의 상태 데이터를 기반으로 의료비용을 예측하는 Regression 모델을 구축하는 것입니다. 데이터 분석하기. import os from..
-
[Programmers] 숫자의 표현 (Java)Algorithm 2023. 2. 23. 18:05
- 목차 문제 설명. Finn은 요즘 수학공부에 빠져 있습니다. 수학 공부를 하던 Finn은 자연수 n을 연속한 자연수들로 표현 하는 방법이 여러개라는 사실을 알게 되었습니다. 예를들어 15는 다음과 같이 4가지로 표현 할 수 있습니다. 1 + 2 + 3 + 4 + 5 = 15 4 + 5 + 6 = 15 7 + 8 = 15 15 = 15 자연수 n이 매개변수로 주어질 때, 연속된 자연수들로 n을 표현하는 방법의 수를 return하는 solution를 완성해주세요. 제한사항 n은 10,000 이하의 자연수 입니다. 문제 분석. 주어진 숫자 N 을 연속된 자연수의 합으로 표현할 수 있습니다. 예를 들어, 15 는 1, 2, 3, 4, 5 의 합으로 표현할 수 있죠. 이 문제는 연속된 자연수의 합으로 표현할 ..
-
kafka producerKafka 2023. 2. 23. 05:45
개요 카프카를 활용하기 위한 cli 들이 존재합니다. 예를 들어, kafka-topics, kafka-console-consumer, kafka-console-producer 등이 쉘스크립트 형태로 존재하는데요. 해당 스크립트들은 카프카 콘솔 명령어라고도 불리며 1. 토픽을 관리하고, 2. 메시지의 생성과 소비를 담당하는 등 여러 명령어들이 존재합니다. kafka-acls kafka-broker-api-versions kafka-cluster kafka-configs kafka-console-consumer kafka-console-producer kafka-consumer-groups kafka-consumer-perf-test kafka-delegation-tokens kafka-delete-reco..
-
[Kafka] Kafka Cluster 구축을 위한 docker-compose 파일Kafka 2023. 2. 21. 16:16
- 목차 들어가며.이번 글은 Kafka 와 관련한 여러 테스트를 손쉽게 진행하기 위해서 Kafka 관련 Docker Compose File 들을 기록합니다. single kafka & single zookeeper & single kafka-connect & kafka-ui .1개의 Kakfa Broker1개의 Zookeeper1개의 Kafka Connect WorkerKafka UI로 구성된 Docker Compose Yaml 파일입니다. cat /tmp/docker-compose.yamlversion: '3.8'services: zookeeper1: image: confluentinc/cp-zookeeper:7.8.0 hostname: zookeeper1 container_nam..
-
[SparkML] Kaggle Stars Classification 구현하기 (Logistic Regression)Spark/SparkML 2023. 2. 21. 15:36
- 목차 소개. 아래 링크는 Kaggle 의 Stars Classification 관련한 웹 링크입니다. https://www.kaggle.com/code/ybifoundation/stars-classification/notebook Stars Classification Explore and run machine learning code with Kaggle Notebooks | Using data from No attached data sources www.kaggle.com 별의 특성들로부터 항성을 분류하는 Classification 을 구현해야합니다. 항성분류법은 O,B,A,F,G,K,M 등급으로 분류되는 표현법이구요. 별의 크기, 밝기, 온도 등의 feature 들로부터 항성을 분류합니다. 제공되..
-
(Java) Programmers 행렬 테두리 회전하기 (Queue, Matrix Rotate)Algorithm 2023. 2. 20. 09:48
- 목차 문제 설명. 아래 링크는 "프로그래머스 행렬 테스트 회전하기" 문제의 웹 링크입니다. https://school.programmers.co.kr/learn/courses/30/lessons/77485 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr rows x columns 크기인 행렬이 있습니다. 행렬에는 1부터 rows x columns까지의 숫자가 한 줄씩 순서대로 적혀있습니다. 이 행렬에서 직사각형 모양의 범위를 여러 번 선택해, 테두리 부분에 있는 숫자들을 시계방향으로 회전시키려 합니다. 각 회전은 (x1, y1, x2, y2)인 정수 4..
-
[pytorch] nn.Linear 알아보기AI-ML 2023. 2. 20. 06:52
- 목차 키워드.- pytorch- Linear- Dot Product 들어가며.pytorch 는 Neural Network 상에서 Linear Layer 를 구성할 수 있도록 관련 모듈을 제공합니다.torch.nn 모듈 내부의 Linear 클래스가 존재하며, 통상적으로 nn.Linear 와 같은 형식으로 사용됩니다.nn.Linear 모듈은 Input Tensor 와 nn.Linear 의 weight 를 Dot Product 한 결과를 출력합니다.그래서 nn.Linear 는 곧 Dot Product 를 수행하는 수학적인 함수라고 생각하셔도 무방합니다.한번 예를 들어볼까요 ?아래 예시는 A 행렬과 B 행렬의 Dot Product 와 Linear Transformation 을 적용한 결과들입니다.A 와 B ..
-
mysql connectionDatabase 2023. 2. 15. 20:58
Connection mysql 을 포함한 데이터베이스는 클라이언트의 요청을 처리하는 일종의 서버와 유사합니다. mysqld 라고 불리는 mysql 서버는 네트워크를 리스닝하고 있으며 요청이 들어온다면 커넥션을 맺고 클라이언트의 쿼리 요청을 처리합니다. 이때 커넥션이라는 표현이 mysql 에서 다양하게 표현됩니다. process, thread, connection, session 등으로 표현되는데요. mysql 에 한해서는 다 같은 표현이라고 생각해도 무방합니다. mysql은 하나의 요청에 대하여 커넥션을 맺는데, 의미적인 관점에서 connection, session 이라고 불립니다. 그리고 커넥션의 결과로써 요청을 수행하는 태스크 관점에서 process, thread 라고 불립니다. 시스템 관점에서 pr..