분류 전체보기
-
[numpy] axis 사용법 ( min, max, sum ) 알아보기Python 2023. 9. 6. 13:45
- 목차 들어가며.numpy 의 ndarray 는 min, max, sum 과 같은 내장함수들이 존재합니다.그리고 이 함수들은 axis 라는 인자를 가지는데요.axis 인자를 활용하여 특정한 Dimension 의 연산을 수행할 수 있습니다.예를 들어, 칼럼별 최대값 또는 Row 별 Sum, Count 등을 계산할 수 있죠.하지만 axis 인자에 어떤 숫자를 넣어야 하는지 항상 헷갈리는 문제가 있어서 이번 글에서 정리를 하려고 합니다. 먼저 바쁘신 분들을 위해서 기본적인 원리의 설명 이전에 다양한 예시와 결론을 말씀드리려고 합니다. 2차원 Matrix.Sum & axis=0.2차원 Matrix 에서 sum 함수와 axis=0 연산을 수행해봅니다.아래와 같이 axis 가 0 인 경우에는 아래와 같이 연산이 ..
-
[ ClickHouse ] arrayMap Function 알아보기Database/Clickhouse 2023. 9. 6. 13:12
- 목차 키워드.- ArrayMap arrayMap 사용해보기.arrayMap 함수는 Array(String) 와 같은 Array 타입의 데이터를 대상으로 Map Function 을 적용할 수 있습니다.일종의 Array 의 각 Item 을 변형하는 Mapper 함수와 같이 동작합니다. 간단한 활용 예시는 아래와 같습니다.user_actions 이라는 이름의 MergeTree 테이블을 생성하였구요.Array(String) 타입의 action 칼럼을 대상으로 arrayMap 함수를 적용합니다.create table default.user_actions( user String, action Array(String), acted_at DateTime) engine = MergeTre..
-
[ ClickHouse ] groupArray Function 알아보기Database/Clickhouse 2023. 9. 6. 08:37
- 목차 키워드.- groupArray- ClickHouse 함께 보면 좋은 글.아래 글은 Docker 로 간단히 ClickHouse Container 를 구축하는 설명을 작성한 페이지입니다. https://westlife0615.tistory.com/694 [Clickhouse] Docker 로 Clickhouse 구현하기- 목차 들어가며. 이번 글에서는 Docker 를 활용해서 Clickhouse 를 구축하는 글을 작성하려고 합니다. 사용할 Docker Image 는 bitnami/clickhouse 이미지입니다. 간단한 MergeTree 엔진의 Table 을 생성하고 데이westlife0615.tistory.com groupArray 사용해보기.이번 글에서는 ClickHouse 의 groupArr..
-
[Programmers] 년, 월, 성별 별 상품 구매 회원수 구하기 (SQL, JOIN, date_format)Algorithm 2023. 9. 5. 12:14
- 목차 문제 설명. https://school.programmers.co.kr/learn/courses/30/lessons/131532 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 다음은 어느 의류 쇼핑몰에 가입한 회원 정보를 담은 USER_INFO 테이블과 온라인 상품 판매 정보를 담은 ONLINE_SALE 테이블 입니다.USER_INFO 테이블은 아래와 같은 구조로 되어있으며 USER_ID, GENDER, AGE, JOINED는 각각 회원 ID, 성별, 나이, 가입일을 나타냅니다. USER_ID INTEGER FALSE GENDER TINYINT(..
-
KinD 로 Vitess 구현하기.Database/Vitess 2023. 9. 5. 09:54
- 목차 함께 보면 좋은 글. https://westlife0615.tistory.com/407 KinD 알아보기. - 목차 소개. KinD 는 "카인드" 라고 발음되며, 로컬 머신에서 쿠버네티스를 간편하게 실행할 수 있는 도구입니다. KinD 는 Kubernetes in Docker 의 약자이구요. Docker 를 활용하여 쿠버네티스 환경을 구성 westlife0615.tistory.com https://westlife0615.tistory.com/80 Kubernetes Custom Resource 알아보기 - 목차 소개.쿠버네티스의 Custom Resource 에 대해서 알아보려고 합니다. 쿠버네티스는 자체적인 Resource 들을 가집니다. Pod, ReplicaSet, Deployment, Se..
-
[Programmers] N개의 최소공배수 (유클리드 호제법)Algorithm 2023. 9. 5. 09:42
- 목차 문제 설명. 문제 설명 두 수의 최소공배수(Least Common Multiple)란 입력된 두 수의 배수 중 공통이 되는 가장 작은 숫자를 의미합니다. 예를 들어 2와 7의 최소공배수는 14가 됩니다. 정의를 확장해서, n개의 수의 최소공배수는 n 개의 수들의 배수 중 공통이 되는 가장 작은 숫자가 됩니다. n개의 숫자를 담은 배열 arr이 입력되었을 때 이 수들의 최소공배수를 반환하는 함수, solution을 완성해 주세요. 제한 사항 arr은 길이 1이상, 15이하인 배열입니다. arr의 원소는 100 이하인 자연수입니다. 입출력 예 [2,6,8,14] 168 [1,2,3] 6 문제 분석. 제공된 모든 수의 최소공배수를 계산하는 문제입니다. 저는 두 수를 곱하고 두 수의 최대공약수를 나누는..
-
[ pytorch ] AutoEncoder 구현하기AI-ML 2023. 9. 5. 08:20
- 목차 키워드.- Auto Encoder- CNN- Encoder Decoder 들어가며.이번 글에서는 pytorch 라이브러리를 사용하여 AutoEncoder 를 구현하는 내용에 대해서 설명하려고 합니다.AutoEncoder 의 학습 데이터는 CIFAR10 이미지를 활용하며, AutoEncoder 네트워크의 구조는 아래와 같습니다.아래 그림 설명에서 상단 부분이 Auto Encoder 의 Encoder 영역이고, 하단부가 Decoder 영역입니다.사용하는 CIFAR10 이미지는 3x32x32 크기의 이미지로 RGB Channel 을 가지며, 32x32 크기를 가집니다.Encoder 는 2개의 Convolution Layer 와 Max Pooling Layer 를 사용하구요.각 과정에서 Tensor 의..
-
[pytorch] Dropout 알아보기AI-ML 2023. 8. 17. 07:05
- 목차 키워드.- Regularization- Dropout 들어가며.Deep Learning 에서 Dropout 은 Regularization 의 한가지 방식입니다.Dropout 은 Input Tensor 의 일부 값을 0으로 변경시킵니다.이는 뉴럴 네트워크에서 일부 뉴런을 무효화시키는 결과를 만들어내는데요.예를 들어, 아래의 이미지처럼 뉴럴 네트워크의 일부 뉴런이 제외됩니다. 그럼 전체 네트워크에서 일부 뉴런이 제외됨으로써 얻을 수 있는 효과는 무엇일까요 ?이는 Overfitting & Regularization 과 관련됩니다. Overfitting.Overfitting 은 모델이 학습데이터를 학습할 때에 학습 데이터에 너무 과적합되는 상태를 의미합니다.아래 이미지가 Overfitting 을 잘 설..
-
[Programmers] 조건에 맞는 도서와 저자 리스트 출력하기 (SQL)Algorithm 2023. 8. 11. 09:57
- 목차 문제 설명. 다음은 어느 한 서점에서 판매중인 도서들의 도서 정보(BOOK), 저자 정보(AUTHOR) 테이블입니다. BOOK 테이블은 각 도서의 정보를 담은 테이블로 아래와 같은 구조로 되어있습니다. BOOK_ID INTEGER FALSE 도서 ID CATEGORY VARCHAR(N) FALSE 카테고리 (경제, 인문, 소설, 생활, 기술) AUTHOR_ID INTEGER FALSE 저자 ID PRICE INTEGER FALSE 판매가 (원) PUBLISHED_DATE DATE FALSE 출판일 AUTHOR 테이블은 도서의 저자의 정보를 담은 테이블로 아래와 같은 구조로 되어있습니다. AUTHOR_ID INTEGER FALSE 저자 ID AUTHOR_NAME VARCHAR(N) FALSE 저자..
-
Kubernetes Ephemeral VolumeKubernetes 2023. 8. 9. 07:04
소개 어플리케이션이 다루는 데이터나 파일의 성격에 따라서 저장소의 종류가 두가지로 나뉩니다. 영구적이어야하는가? 일회성이어도되는가? 영구적인 저장소를 필요로하는 어플리케이션의 종류는 데이터베이스, 웹 컨텐츠 서버 등이 존재하며, 그 외의 캐시 서버라든지, 일회성의 Job 이라든지 등의 어플리케이션들은 영구적인 저장소를 필요로하지 않습니다. Kubernetes 의 Ephemeral Volume 은 일회성의 저장소를 뜻합니다. Ephemeral Volume 은 컨테이너와 라이프사이클을 함께하며 컨테이너의 임시적인 데이터의 저장을 돕습니다. 종류 emptyDir Pod 가 특정 Node 에 스케줄링될 때, emptyDir 이 생성되어 컨테이너에 마운트됩니다. Pod 내부의 모든 컨테이너들이 해당 Volume ..