분류 전체보기
-
[torchvision] datasets.MNIST 데이터 내려받기AI-ML 2024. 4. 24. 07:42
- 목차 키워드.- torchvision- MNIST 들어가며. 이번 글에서는 "torchvision.datasets" 의 MNIST 모듈에 대해서 알아보려고 합니다."torchvision.datasets" 의 "MNIST" 모듈은 이미지 데이터들을 손쉽게 제공하는 기능이 존재합니다. CNN 모델의 테스팅을 위해서 MNIST 이미지 데이터를 내려받을 경우를 위해서 관련 기능들을 정리합니다. 먼저 간단한 코드 예시는 아래와 같습니다.torchvistion 의 datasets 모듈 내부에 MNIST Class 가 존재하구요.이는 각종 Vision 과 관련된 Train/Test 데이터셋을 다루기 위해서 사용됩니다.from torchvision import datasetsfrom torchvision.trans..
-
[Kubernetes] last-applied-configuration annotation 알아보기Kubernetes 2024. 4. 20. 17:18
- 목차 키워드.annotations last-applied-configuration ?이번 글에서는 k8s 리소스의 Annotation 중의 하나인 "kubectl.kubernetes.io/last-applied-configuration" 에 대해서 알아보려고 합니다.last-applied-configuration 어노테이션은 "kubectl apply" 명령어로 생성된 k8s 리소스의 어노테이션 중의 하나이구요.가장 최근의 kubectl apply 명령어를 통해서 생성 또는 수정된 Configuration 정보가 들어있습니다.간단한 예시를 들어보도록 하겠습니다. cat /tmp/pod.yamlapiVersion: v1kind: Podmetadata: name: nginxspec: containe..
-
[Pandas] DataFrame loc, iloc 알아보기Python 2024. 4. 19. 06:16
- 목차 키워드.Locataion by Label or by Integer. 들어가며.Pandas 의 DataFrame 은 loc, iloc 을 활용한 Selection 방식이 존재합니다.loc 와 iloc 는 Location by Label, Location by Integer 의 약자인데요.loc 와 iloc 는 통해서 Series 나 Sub DataFrame 를 생성할 수 있습니다.이번 글에서는 loc 와 iloc 를 활용하는 예시들과 함께 설명을 이어가도록 하겠습니다. loc.loc 는 Label 을 활용하여 DataFrame 을 Selection 할 수 있습니다.Label 이란 Index 또는 Column 의 실제 이름을 의미합니다.간단히 아래의 예시를 살펴보겠습니다.아래 예시는 3개의 Row ..
-
[Pandas] Boolean Indexing 알아보기Python 2024. 4. 15. 06:24
- 목차 키워드.Boolean Mask.Selection. 들어가며.Pandas DataFrame 에서 특정 Cell, Row, Column, Subset 를 획득하는 여러가지 방식이 존재합니다.그렇기 때문에 DataFrame 을 능숙하게 다루기 위해서 익숙해져야할 여러 요소들이 있습니다.이번 글에서는 DataFrame 에서 Subset 를 추출하는 여러가지 방식들에 대해서 알아보도록 하겠습니다. DataFrame Subset 추출하기.DataFrame 의 Subset 를 추출하기 위해서 사용되는 몇가지 방식을 소개합니다.1. Python List2. Series3. DataFrame세가지 방식이 존재합니다. 먼저 DataFrame 을 생성합니다.Student 와 관련된 DataFrame 을 간단히 생..
-
[ClickHouse] Mutation 알아보기Database/Clickhouse 2024. 4. 13. 07:29
- 목차 들어가며.Mutation 은 테이블의 데이터를 수정하거나 삭제하는 작업을 의미합니다.이는 ALTER TABLE ... DELETE 또는 ALTER TABLE ... UPDATE 와 같은 명령어로 실행되며, 백그라운드에서 비동기적으로 처리됩니다.Mutation은 MergeTree 엔진을 사용하는 테이블에서 지원되며, 데이터 파트를 새로운 버전으로 재작성하여 변경사항을 적용합니다. ClickHouse 의 Mutation 은 일반적인 관계형 데이터베이스 관리 시스템(RDBMS)의 DELETE 및 UPDATE 연산과 유사한 동작으로 생각하시면 됩니다.하지만 차이점들이 존재합니다. Mutation 은 ALTER TABLE 과 같이 DDL 형식으로 실행됩니다.MySQL 과 같은 DB 에서 DELETE, U..
-
[Pandas] DataFrame pd.merge 알아보기 (Join)Python 2024. 4. 9. 06:40
- 목차 키워드.JoinDataFramehowonleft_index & right_index 들어가며.이번 글에서는 두 DataFrame 을 Join 하는 merge Function 에 대해서 알아보려고 합니다. 기본적인 사용법.pd.merge 의 기본적인 사용법은 아래와 같습니다.SQL 의 Join 쿼리의 사용법과 유사합니다.두개의 DataFrame 이 있고 서로 공유하는 하나의 Column 이 있다면 공통의 Column 을 기준으로 pd.merge 가 동작합니다.import pandas as pdleft_data = [["Andy", 32],["Bob", 12],["Chris", 44],["Daniel", 25]]right_data = [["Andy", "Seoul"],["Bob", "LA"],["C..
-
[Python] yield 알아보기 ( generator )Python 2024. 4. 6. 10:36
- 목차 들어가며. 이번 글에서는 파이썬의 yield 구문에 대해서 알아보려고 합니다. yield 는 파이썬의 함수 내부에서 사용되는 구문입니다. 즉, 함수 외부에서는 사용할 수 없으며 그 성격이 return 키워드와 유사합니다. yield 가 사용된 함수는 generator 라고 불리게 되는데요. generator 는 iterator 를 손쉽게 만들어주는 파이썬의 내장된 기능입니다. 이번 들에서는 yield 와 generator 그리고 이와 관련된 여러 예시들을 살펴볼 예정입니다. yield. yield 의 사전적인 의미는 "산출하다." 입니다. 그리고 산출이란 무언가를 생산하고 그 결과를 외부로 제공한다는 의미를 가지죠. yield 는 함수에서만 사용되는 키워드인데요. yield 가 사용된 함수는 g..
-
[torchvision] RGB to Grayscale ImageAI-ML 2024. 3. 31. 15:14
- 목차 Grayscale .이번 글에서는 torchvision 모듈을 사용하여 RGB Channel 의 이미지를 Grayscale 이미지로 변형하는 방법에 대해 알아보겠습니다.Grayscale 이란 RGB 채널을 가지는 이미지를 하나의 Channel 을 가지도록 변형하는 스케일링 방식입니다.일반적으로 하나의 이미지는 아래와 같이 3개의 채널로 구성됩니다.각 채널은 Red, Blue, Green 으로 표현되는데요. 이러한 색상의 요소들이 모여서 하나의 이미지의 색상을 결정합니다. Grayscale 은 RGB 채널의 컬러를 Black - White 범위를 가지는 Grayscale 로 컬러를 변형합니다.그 결과로써 아래의 강아지 이미지는 RGB 컬러에서 흑백 색상으로 변경됩니다. 아래의 코드는 위의 사진의 ..
-
[scikit-learn] LabelEncoder 알아보기AI-ML 2024. 3. 29. 06:50
- 목차 키워드.CategoricalOrdinalEncoderLabelfitinverse_transform 들어가며.이번 글에서는 scikit-learn 의 LabelEncoder 에 대해서 알아보도록 하겠습니다.LabelEncoder 는 Categorical Data 를 수치화하는데에 활용됩니다.예를 들어, True 또는 False 값을 가지는 Boolean Data 는 1 또는 0 으로 표현될 수 있습니다.또한 "매우 아니다", "아니다", "조금 아니다", "적당하다", "조금 그렇다", "그렇다", "매우 그렇다" 와 같이 7가지의 상태를 가지는 설문 조사를 가정할 때, 7단계의 상태를 1 부터 7 까지의 수치로 표현할 수 있습니다.그 외, ["남성", "여성"] 과 같은 성별 데이터나 ["서울시..
-
[Flink] Checkpoint Alignment 알아보기Flink 2024. 3. 28. 06:39
- 목차 함께 보면 좋은 글. https://westlife0615.tistory.com/572 Flink Checkpoint 알아보기 - 목차 들어가며. Flink 의 Checkpoint 는 Flink Data Stream 이 어떻게 처리되고 있는지에 대한 상태를 저장하는 스냅샷입니다. Mapper, Filter, Window Operator 등이 끊임없이 흘러가는 Event 들을 처리합니다. Filte westlife0615.tistory.com 들어가며. 이번 글에서는 Checkpoint Alignment 에 대해서 알아보려고 합니다. Checkpoint Alignment 를 이해하기 이전에 Checkpoint Barrier 그리고 Checkpoint 가 수행되는 방법에 대해서 먼저 알아보겠습니다...