코딩수집 코딩수집

분류 전체보기

• [Java NIO] Selector Wakeup 알아보기

  Java/NIO 2024. 6. 10. 06:32

  - 목차 들어가며.Java NIO(Non-blocking IO) 는 효율적인 네트워크 프로그램을 작성할 수 있는 강력한 도구를 제공합니다. 그중에서도 Selector 는 다중 채널에서 이벤트를 감지하여 효율적으로 비동기 작업을 처리할 수 있도록 도와줍니다. 하지만 Selector를 사용할 때 wakeup() 메서드를 정확히 이해하고 사용하는 것이 중요합니다. 이 글에서는 Selector.wakeup() 이 무엇인지, 왜 필요한지, 그리고 실제로 어떻게 동작하는지를 살펴보겠습니다. https://westlife0615.tistory.com/891 [Java NIO] Selector register 이해하기- 목차 들어가며.Java NIO 의 Selector 는 비동기적으로 여러 채널(Channel)을 모니..

  Read More
• 심볼릭 링크 알아보기 ( Symbolic Link )

  System 2024. 6. 9. 08:17

  - 목차 들어가며.파일 시스템을 사용하다 보면 심볼릭 링크(Symbolic Link) 라는 용어를 종종 접하게 됩니다.심볼릭 링크는 "파일의 또 다른 이름" 처럼 보이지만, 실제로는 파일 시스템에서 데이터를 효율적으로 관리하고 파일 경로를 참조하는 중요한 역할을 합니다.이 글에서는 심볼릭 링크가 무엇인지, 어떻게 동작하는지, 그리고 어떤 상황에서 활용할 수 있는지 자세히 알아보겠습니다.  심볼릭 링크란 ?심볼릭 링크(Symbolic Link) 는 파일이나 디렉토리의 경로(Path)를 참조하는 별도의 파일입니다.심볼릭 링크 자체는 데이터를 저장하지 않으며, 원본 파일의 위치 정보를 문자열로 저장하여 이를 통해 원본 데이터에 접근합니다.마치 Windows 의 "바로 가기" 와 유사하게 동작하지만, 심볼릭 링..

  Read More
• [Kafka] Adaptive Partitioning 코드로 살펴보는 내부 동작 원리 ( BuiltInPartitioner )

  Kafka 2024. 6. 9. 08:16

  - 목차 들어가며.Kafka의 Adaptive Partitioning 은 Kafka 프로듀서가 데이터를 효율적으로 분배하기 위해 동적으로 파티션 할당 전략을 조정하는 기법입니다.3.x.x 대 버전의 Kafka Client Module 에서는 기본적으로 채택하고 있는 방식이며,이는 Hash Partitioning 과 Sticky Partitioning 을 동시에 제공합니다. Adaptive Partitioning  의 구체적인 전략은 아래와 같습니다.1. Record 에 Key 가 존재하지 않을 시에는 Sticky Partitioning 기법을 사용합니다.2. Record 에 Key 가 존재한다면 Hash Partitioning 기법은 제공합니다. 이를 이미지로 표현하면 아래와 같습니다.먼저 Key 가 존..

  Read More
• [Gin Gonic] API Routing 설정하기

  Golang/Gin Gonic 2024. 6. 9. 08:16

  - 목차 들어가며.Go 언어의 대표적인 웹 프레임워크인 Gin Gonic 은 가볍고 빠른 성능으로 유명합니다.Gin 의 라우팅(Routing) 시스템은 간단하면서도 강력한 기능을 제공하여 다양한 API 경로를 쉽게 설정할 수 있게 해줍니다.이번 글에서는 Gin의 라우팅 설정과 활용 방법을 자세히 알아보겠습니다. Routing 이란 ?Routing(라우팅) 은 클라이언트 요청(URL)과 서버의 특정 동작(Handler) 을 연결하는 작업입니다.예를 들어, 클라이언트가 GET /users로 요청을 보내면 서버가 사용자 목록을 반환하도록 처리하는 것이 라우팅의 역할입니다.Gin에서는 라우팅 설정이 간단하며, 다음과 같은 HTTP 메서드를 지원합니다:GET: 데이터 조회POST: 데이터 생성PUT: 데이터 수정..

  Read More
• [Go] regexp 패키지와 정규표현식 알아보기

  Golang 2024. 6. 8. 13:08

  - 목차 들어가며.Go 언어에서 regexp 패키지는 정규식(Regular Expressions) 을 통해서 문자열을 처리하고 분석하는 도구입니다. 이번 글에서는 regexp 패키지의 기본 사용법과 실전에서 유용한 예제를 다룹니다. Golang 의 regexp 란 ? Go 의 regexp 패키지는 정규식 기반으로 문자열을 매칭, 검색, 대체, 분리하는 기능을 제공합니다. regexp 패키지의 대표적인 기능은 아래와 같습니다.  Compile: 정규식을 컴파일하여 Regexp 객체 생성.MatchString: 문자열이 정규식에 매칭되는지 확인.Find: 정규식에 매칭되는 부분 문자열 반환.ReplaceAllString: 정규식에 매칭되는 부분을 다른 문자열로 대체.Split: 정규식을 기준으로 문자열 분리..

  Read More
• [Kubernetes] PodDisruptionBudget 과 Out of Memory ( OOM ) 관계 알아보기

  Kubernetes 2024. 6. 8. 13:08

  - 목차 들어가며.Kubernetes 클러스터에서 Out of Memory(OOM) 을 유발하는 Pod 와 Pod Disruption Budget(PDB) 와의 관계를 알아봅니다.Out of Memory(OOM) 과 Pod Disruption Budget(PDB)의 관계를 살펴보면, OOM 은 PDB 에서 보호하는 의도적인 종료와는 무관합니다.PDB 는 관리자에 의해 발생하는 의도적인 Pod 삭제나 중단(예: 노드 유지보수, 클러스터 스케일링)을 제어하기 위해 설계되었습니다.반면, OOM 은 애플리케이션 자체의 메모리 부족으로 인해 발생하는 비의도적인 종료로, PDB의 보호 대상이 아닙니다. 이 글에서는 OOM이 Kubernetes 환경에서 발생할 때의 동작을 확인하고, PDB 설정이 의도적인 종료 상황..

  Read More
• [Hadoop] Docker 로 구축하는 Hadoop Cluster

  Hadoop 2024. 6. 8. 13:08

  - 목차 들어가며.이번 글에서는 Docker와 Dockerfile을 사용해 간단히 Hadoop 클러스터를 구축하는 방법을 소개합니다.대규모 데이터 분석을 위해 널리 사용되는 Hadoop 은 일반적으로 복잡한 설치 과정이 필요하지만,Docker를 사용하면 이 과정을 손쉽게 자동화하고 간소화할 수 있습니다.이 글에서는 Dockerfile 을 작성해 필요한 Hadoop 이미지와 컨테이너를 생성하고,이를 바탕으로 최소한의 리소스로 구성된 단일 노드 또는 다중 노드 클러스터를 구축하는 과정을 다룹니다.  도커 파일 작성하기.Hadoop 클러스터를 구축하기 위한 Dockerfile을 작성하는 방법을 알아보겠습니다.이번 설정에서는 Ubuntu를 기본 이미지로 사용하고, Hadoop 설치와 HDFS 설정을 통해 네임노..

  Read More
• [ClickHouse] remote_servers 설정 알아보기

  Database/Clickhouse 2024. 6. 3. 06:08

  - 목차 들어가며.ClickHouse 는 분산 테이블(Distributed Table) 을 통해 여러 노드에서 데이터를 처리하고 저장할 수 있습니다.이때, 각 노드 간 통신 및 데이터 분배를 위해 remote_servers 설정이 필수적입니다.remote_servers 설정을 통해서 샤딩(Sharding) 과 복제(Replication) 를 구성할 수 있습니다. 샤딩(Sharding): 데이터를 여러 노드에 나누어 저장하여, 저장 용량을 확장하고 쓰기 및 읽기 성능을 높이는 기술복제(Replication): 동일한 데이터를 여러 노드에 복제하여, 데이터 손실 방지와 장애 복구를 가능하게 하는 기술 ClickHouse 는 이 두 가지를 기반으로 수평 확장이 가능한 분산 데이터베이스를 제공합니다.이 과정에서..

  Read More
• [Kafka] BufferPool 알아보기 (org.apache.kafka:kafka-clients)

  Kafka 2024. 6. 3. 06:08

  - 목차 들어가며.Kafka Producer 는 BufferPool 이라는 구성 요소를 통해 데이터를 효과적으로 관리합니다.BufferPool 은 이름에서 알 수 있듯이, Kafka Producer 가 사용할 버퍼(Buffer) 를 제공하는 핵심적인 역할을 수행합니다.본 글에서는 Java의 org.apache.kafka:kafka-clients 모듈을 기반으로 BufferPool 의 동작 원리를 상세히 설명할 예정입니다.Java 로 구현된 Kafka Producer 는 Java NIO 의 ByteBuffer 를 활용하여 데이터를 처리합니다.이를 통해 Kafka 의 BufferPool 은 ByteBuffer 를 효율적으로 재활용하며 클라이언트(Producer)에게 필요한 버퍼를 제공합니다.즉, Java N..

  Read More
• Java ReentrantLock 알아보기

  Java 2024. 6. 3. 06:08

  - 목차 들어가며.Java 의 ReentrantLock 은 멀티스레드 환경에서 공유 자원에 대한 접근을 제어하기 위한 동기화 도구입니다.ReentrantLock 은 java.util.concurrent 패키지에 포함된 동시성 제어 클래스 중 하나로기본적으로 synchronized 키워드와 유사한 역할을 하지만, 더 많은 기능과 유연성을 제공합니다. 일반적으로 동기화를 구현하기 위해 Mutex 와 Semaphore 와 같은 메커니즘이 사용됩니다.ReentrantLock 은 Mutex 에 해당하는 Java 의 동기화 도구입니다. Mutex 는 Mutual Exclusion 의 약자로, 하나의 자원(Resource) 에 대해 동시에 여러 스레드가 접근하지 못하도록 보장하는 동기화 메커니즘입니다.즉, 한 시점에..

  Read More