분류 전체보기
-
[ClickHouse] min_insert_block_size_rows 설정 알아보기Database/Clickhouse 2024. 6. 2. 07:21
- 목차 들어가며.ClickHouse 는 MergeTree 엔진을 통해 데이터를 효율적으로 관리합니다.MergeTree 엔진은 데이터를 part 라는 단위로 관리하며, 각 part 는 데이터의 정렬된 블록을 포함합니다.min_insert_block_size_rows 는 데이터 삽입(INSERT) 시 디스크로 데이터를 플러시(Flush)하는 기준이 되는 최소 행(row) 크기를 정의하는 중요한 설정입니다. min_insert_block_size_rows 설정은 클라이언트가 INSERT 쿼리를 실행할 때, 디스크로 데이터를 플러시(Flush)하기 위한 최소 행(Row) 수를 정의하는 기준입니다.예를 들어, min_insert_block_size_rows 값이 10으로 설정되어 있고, 클라이언트가 100개의 ..
-
[Java] 익명 클래스와 메모리 관계 알아보기 ( Anonymous Class , Method Area )Java 2024. 6. 2. 07:21
- 목차 들어가며.익명 클래스(Anonymous Class) 는 자바에서 이름 없는 클래스를 정의하고 동시에 인스턴스를 생성할 때 사용되는 문법입니다.익명 클래스는 간결함과 편의성을 제공하지만, 그 사용이 항상 메모리 효율적이지는 않습니다.익명 클래스의 일반적인 형태는 다음과 같습니다 interface AnonymousInterface { void print();}abstract class AnonymousAbstract { abstract void print();}class Main { public static void main (String[] args) { AnonymousInterface instance = new AnonymousInterface() { ..
-
[ClickHouse] Logger 설정하기Database/Clickhouse 2024. 6. 2. 07:21
- 목차 들어가며.ClickHouse 는 Logger 설정을 통해 서버 동작과 관련된 다양한 정보를 효율적으로 관리할 수 있습니다.로깅 시스템을 활용하면 콘솔 출력, 파일 출력, 그리고 로그 파일의 위치 및 크기를 포함한 세부적인 설정을 사용자 환경에 맞게 조정할 수 있습니다.이러한 설정은 시스템 운영 중 발생하는 문제를 빠르게 파악하고, 로그 데이터를 체계적으로 관리하는 데 중요한 역할을 합니다. 이 글에서는 ClickHouse 의 Config xml 파일을 통해서 정적으로 Logger 를 설정하는 방식에 대해서 다루어보도록 하겠습니다. Console 출력 설정하기.ClickHouse 는 Console 출력을 통해 실시간으로 서버 동작 상태를 확인할 수 있는 기능을 제공합니다.Console 출력은 특히..
-
[Kubernetes] LoadBalancer 타입 Service 이해하기Kubernetes 2024. 6. 1. 09:27
- 목차 들어가며.Kubernetes 에서 애플리케이션을 외부에 노출하는 방법 중 하나로 LoadBalancer 타입의 Service 가 있습니다.이 글에서는 LoadBalancer 서비스의 개념과 동작 방식 그리고 사용 방법까지 다뤄보겠습니다.특히 KinD 를 사용하여 로컬 환경에서 Kubernetes 를 실행하고, Nginx 를 LoadBalancer 로 활용하는 방법을 또한 설명드리겠습니다. Service 와 LoadBalancer.Kubernetes 에서 Service 는 클러스터 내부의 파드(Pod)들을 외부와 연결하는 중요한 역할을 합니다.서비스 유형에는 ClusterIP, NodePort, LoadBalancer 가 있으며, 그중에서 LoadBalancer 는 외부 로드 밸런서를 생성하여 클..
-
[Kafka] Timeindex 알아보기Kafka 2024. 6. 1. 09:26
- 목차 들어가며.카프카는 Producer 로부터 전달받은 데이터들을 저장합니다.이 데이터들은 Log Segment 라는 단위로 파일로써 저장되는데요.Log Segment 는 log.segment.bytes, log.segment.ms 라는 기준에 따라서 Flush 가 진행됩니다.예를 들어, log.segment.bytes 가 1KB 이고 2KB 만큼의 데이터가 Producer 로부터 생성된다면 총 2개의 Log Segment 파일이 생성되는 구조입니다.또한 Producer 로부터 생성되는 Record 는 저마다 Timestamp 를 가지게 되며,log.segment.ms 가 1분이라면 1분을 기준으로 Log Segment 파일이 생성됩니다.Log Segment File 을 생성하기 위한 기준에 대해 대..
-
[Hadoop] HDFS 기본 명령어 알아보기Hadoop 2024. 6. 1. 09:26
- 목차 들어가며.아래는 이전에 작성한 Docker로 Hadoop 클러스터 구축하기 글 링크를 첨부하며,자연스럽게 새로운 블로그 글의 내용을 시작하는 예시입니다. https://westlife0615.tistory.com/881 [Hadoop] Docker 로 구축하는 Hadoop Cluster- 목차 들어가며.이번 글에서는 Docker와 Dockerfile을 사용해 간단히 Hadoop 클러스터를 구축하는 방법을 소개합니다.대규모 데이터 분석을 위해 널리 사용되는 Hadoop 은 일반적으로 복잡한 설치 과정westlife0615.tistory.com 이번 글에서는 HDFS에서 자주 사용하는 기본 명령어들을 다뤄보겠습니다.Hadoop 분산 파일 시스템(HDFS)은 대용량 데이터를 효율적으로 관리하기 위해..
-
[PyTorch] requires_grad 알아보기AI-ML 2024. 5. 26. 10:22
- 목차 들어가며.PyTorch 의 Tensor 는 grad 라는 속성을 가집니다.생성되는 모든 Tensor 는 None 상태의 grad 값을 가지고 있는데요.이는 이름의 의미하는바와 같이 Gradient 인 미분 기울기 값을 의미합니다.아래와 같이 임의의 Tensor 를 생성한 이후에 grad 속성을 조회하게 되면 None 이 저장되어 있음을 알 수 있습니다.import torchtorch.ones(1).grad# --> None 그럼 grad 에 해당하는 미분 기울기 값은 언제 생성될까요 ?이는 Backpropagation 과정에서 생성됩니다.아래와 같이 Tensor 를 생성하고 backward Function를 통해서 역전파를 시켜주게 되면 Tensor 의 grad 에 값이 할당됩니다.( 아래에서 ..
-
[scikit-surprise] SVD 모델 추론하기AI-ML 2024. 5. 26. 10:22
- 목차 키워드. scikit-surpriseInferenceSVD함께 보면 좋은 글. https://westlife0615.tistory.com/858 [scikit-surprise] SVD 모델 생성하기- 목차 키워드.scikit-surpriseSVDMatrix Factorization 들어가며.SVD 에 대해서 설명하는 이전 글과 이어지는 내용입니다. https://westlife0615.tistory.com/844 [scikit-surprise] SVD Model 알아보기 ( Singular Value Decomposiwestlife0615.tistory.com https://westlife0615.tistory.com/844 [scikit-surprise] SVD Model 알아보기 ( Sing..
-
[PyTorch] squeeze, unsqueeze 알아보기AI-ML 2024. 5. 21. 06:22
- 목차 들어가며.PyTorch 는 Tensor 의 차원을 늘리거나 줄일 수 있는 함수를 제공합니다.이러한 함수의 이름은 squeeze 와 unsqueeze 함수인데요.squeeze 라는 영단어의 뜻이 "(특히 손가락으로 꼭) 짜다[쥐다]", "(무엇에서 액체를) 짜내다[짜다]" 라고 하는데요.이런 의미처럼 squeeze 함수를 통해서 Tensor 의 차원을 줄이고, unsqueeze 함수를 활용하여 차원을 늘릴 수 있습니다. squeeze 함수와 unsqueeze 함수는 무턱대로 차원을 변형하지는 않습니다.차원의 Length 가 1 인 경우가 늘리거나 줄어드는 대상이 됩니다.예를 들어, 흑백의 이미지와 RGB 컬러의 이미지가 존재한다고 가정하겠습니다.일반적인 이미지는 Width 와 Height 인 크기..
-
[ scikit-surprise ] SVD Regularization Terms 알아보기AI-ML 2024. 5. 18. 17:55
- 목차 키워드.- scikit-surprise- SVD- Lasso Regularization 함께 보면 좋은 글. https://westlife0615.tistory.com/844 [scikit-surprise] SVD Model 알아보기 ( Singular Value Decomposition )- 목차 키워드.scikit-surpriseMatrix FactorizationSVDLatent Space 함께 보면 좋은 글.https://westlife0615.tistory.com/851 [scikit-surprise] Dataset 이해하기- 목차 키워드.scikit-surpriseCollaborative FilteringRecommender Systemmovielewestlife0615.tistory..