분류 전체보기
-
http multipart requestNetwork 2023. 3. 11. 23:03
개요 http 통신은 두 서비스가 정보를 교환하는 방식입니다. 정보를 교환하는 방식은 다른 표현으로 프로토콜이라고 합니다. 그리고 이 서비스들은 각각 클라이언트와 서버로 불리는데요. 클라이언트는 어떠한 컨텐츠에 대한 직접적인 요구를 하는 서비스이고, 서버는 그 요청을 수행해줍니다. 즉, http 통신은 클라이언트와 서버가 서로 정보를 교환하고 처리하기 위한 프로토콜이라고 할 수 있습니다. 브라우저의 네트워크 도구를 통해서 이미지와 문서 등의 자원들이 통신되는 것을 확인할 수 있습니다. http 통신은 이미지, 문서, 스크립트, 파일 등의 다양한 타입의 데이터를 교환할 수 있습니다. multipart 방식의 http 통신은 큰 규모의 파일을 효율적으로 처리하거나 다양한 데이터 타입의 데이터를 통신하기 위해..
-
[Python] Programmers 카펫Algorithm 2023. 3. 7. 13:08
- 목차 문제 설명.Leo는 카펫을 사러 갔다가 아래 그림과 같이 중앙에는 노란색으로 칠해져 있고 테두리 1줄은 갈색으로 칠해져 있는 격자 모양 카펫을 봤습니다. Leo는 집으로 돌아와서 아까 본 카펫의 노란색과 갈색으로 색칠된 격자의 개수는 기억했지만, 전체 카펫의 크기는 기억하지 못했습니다.Leo가 본 카펫에서 갈색 격자의 수 brown, 노란색 격자의 수 yellow가 매개변수로 주어질 때 카펫의 가로, 세로 크기를 순서대로 배열에 담아 return 하도록 solution 함수를 작성해주세요.갈색 격자의 수 brown은 8 이상 5,000 이하인 자연수입니다.노란색 격자의 수 yellow는 1 이상 2,000,000 이하인 자연수입니다.카펫의 가로 길이는 세로 길이와 같거나, 세로 길이보다 깁니..
-
kafka consumerKafka 2023. 3. 2. 07:51
개요 kafka consumer 는 카프카 메세지를 소비하는 대상입니다. 카프카는 토픽이라는 영역에 메시지를 저장하게 되는데 토픽에 차곡차곡 저장된 메시지를 kafka consumer 는 하나씩 조회할 수 있습니다. 토픽은 파티션이라는 단위로 나뉘어져 있습니다. 대개 하나의 토픽은 둘 이상의 파티션으로 나뉘고, 카프카 메시지는 각각의 파티션에 나뉘어 저장이 되죠. 이때 kafka consumer 는 단독으로 하나의 토픽을 소비하기보단 파티션의 갯수만큼 생성을 하고 파티션 수와 consumer 의 수를 1:1로 매칭합니다. 그래서 파티션의 수만큼 동시 처리가 가능해집니다. 파티션의 수 만큼 카프카 소비자가 많아지면 이 소비자들을 관리하기 위한 단위가 필요해집니다. 이를 consumer group 이라고 부..
-
[Kafka Connect] SpoolDir Connector 구현해보기Kafka/kafka Connect 2023. 2. 24. 06:23
- 목차 들어가며.이번 글에서는 Kafka Connect 의 SpoolDir Source Connector 에 대해 알아보는 시간을 가지려고 합니다.SpoolDir Connector 는 Local File 을 읽어들이고 Record 를 생성하여 Kafka Topic 으로 푸시하는 구조를 가집니다. 간략한 구조는 아래와 같습니다.SpoolDir Source Connector 는 Local File 들을 Line by Line 으로 읽어들이고,레코드를 생성하여 지정된 Kafka Topic 으로 레코드를 저장합니다. 중요한 점은 SpoolDir 은 S3 나 Hadoop 과 같은 원격 저장소의 파일이 아닌 내부의 로컬 파일을 그 대상으로 합니다.그래서 SpoolDir Source Connector 의 지정된 디..
-
[SparkML] Kaggle EDA + Regression 구현하기Spark/SparkML 2023. 2. 24. 06:17
- 목차 소개. 아래 주소는 Kaggle EDA + Regression 문제를 소개하는 페이지의 웹 링크입니다. https://www.kaggle.com/code/hely333/eda-regression EDA + Regression Explore and run machine learning code with Kaggle Notebooks | Using data from Medical Cost Personal Datasets www.kaggle.com 위 문제에서는 메디컬 데이터가 제공됩니다. 메디컬 데이터는 환자의 상태 정보와 의료비용 데이터로 구성됩니다. 목표는 환자의 상태 데이터를 기반으로 의료비용을 예측하는 Regression 모델을 구축하는 것입니다. 데이터 분석하기. import os from..
-
[Programmers] 숫자의 표현 (Java)Algorithm 2023. 2. 23. 18:05
- 목차 문제 설명. Finn은 요즘 수학공부에 빠져 있습니다. 수학 공부를 하던 Finn은 자연수 n을 연속한 자연수들로 표현 하는 방법이 여러개라는 사실을 알게 되었습니다. 예를들어 15는 다음과 같이 4가지로 표현 할 수 있습니다. 1 + 2 + 3 + 4 + 5 = 15 4 + 5 + 6 = 15 7 + 8 = 15 15 = 15 자연수 n이 매개변수로 주어질 때, 연속된 자연수들로 n을 표현하는 방법의 수를 return하는 solution를 완성해주세요. 제한사항 n은 10,000 이하의 자연수 입니다. 문제 분석. 주어진 숫자 N 을 연속된 자연수의 합으로 표현할 수 있습니다. 예를 들어, 15 는 1, 2, 3, 4, 5 의 합으로 표현할 수 있죠. 이 문제는 연속된 자연수의 합으로 표현할 ..
-
kafka producerKafka 2023. 2. 23. 05:45
개요 카프카를 활용하기 위한 cli 들이 존재합니다. 예를 들어, kafka-topics, kafka-console-consumer, kafka-console-producer 등이 쉘스크립트 형태로 존재하는데요. 해당 스크립트들은 카프카 콘솔 명령어라고도 불리며 1. 토픽을 관리하고, 2. 메시지의 생성과 소비를 담당하는 등 여러 명령어들이 존재합니다. kafka-acls kafka-broker-api-versions kafka-cluster kafka-configs kafka-console-consumer kafka-console-producer kafka-consumer-groups kafka-consumer-perf-test kafka-delegation-tokens kafka-delete-reco..
-
[SparkML] Kaggle Stars Classification 구현하기 (Logistic Regression)Spark/SparkML 2023. 2. 21. 15:36
- 목차 소개. 아래 링크는 Kaggle 의 Stars Classification 관련한 웹 링크입니다. https://www.kaggle.com/code/ybifoundation/stars-classification/notebook Stars Classification Explore and run machine learning code with Kaggle Notebooks | Using data from No attached data sources www.kaggle.com 별의 특성들로부터 항성을 분류하는 Classification 을 구현해야합니다. 항성분류법은 O,B,A,F,G,K,M 등급으로 분류되는 표현법이구요. 별의 크기, 밝기, 온도 등의 feature 들로부터 항성을 분류합니다. 제공되..
-
(Java) Programmers 행렬 테두리 회전하기 (Queue, Matrix Rotate)Algorithm 2023. 2. 20. 09:48
- 목차 문제 설명. 아래 링크는 "프로그래머스 행렬 테스트 회전하기" 문제의 웹 링크입니다. https://school.programmers.co.kr/learn/courses/30/lessons/77485 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr rows x columns 크기인 행렬이 있습니다. 행렬에는 1부터 rows x columns까지의 숫자가 한 줄씩 순서대로 적혀있습니다. 이 행렬에서 직사각형 모양의 범위를 여러 번 선택해, 테두리 부분에 있는 숫자들을 시계방향으로 회전시키려 합니다. 각 회전은 (x1, y1, x2, y2)인 정수 4..
-
[pytorch] nn.Linear 알아보기AI-ML 2023. 2. 20. 06:52
- 목차 키워드.- pytorch- Linear- Dot Product 들어가며.pytorch 는 Neural Network 상에서 Linear Layer 를 구성할 수 있도록 관련 모듈을 제공합니다.torch.nn 모듈 내부의 Linear 클래스가 존재하며, 통상적으로 nn.Linear 와 같은 형식으로 사용됩니다.nn.Linear 모듈은 Input Tensor 와 nn.Linear 의 weight 를 Dot Product 한 결과를 출력합니다.그래서 nn.Linear 는 곧 Dot Product 를 수행하는 수학적인 함수라고 생각하셔도 무방합니다.한번 예를 들어볼까요 ?아래 예시는 A 행렬과 B 행렬의 Dot Product 와 Linear Transformation 을 적용한 결과들입니다.A 와 B ..