전체 글
-
Shared memory communication 알아보기System 2023. 10. 7. 10:13
- 목차 관련된 글 https://westlife0615.tistory.com/347 IPC Signal 알아보기 - 목차 함께 보면 좋을 글 https://westlife0615.tistory.com/345 Shared memory communication 알아보기 - 목차 소개. IPC (Inter-Process Communication) 의 방식 중의 하나로 Shared memory Communication 방식이 존재합니다. Shared mem westlife0615.tistory.com 소개. IPC (Inter-Process Communication) 의 방식 중의 하나로 Shared memory Communication 방식이 존재합니다. Shared memory 는 메모리 상에 존재하는 공..
-
Nginx 구조 알아보기Nginx 2023. 10. 7. 09:24
- 목차 관련된 글 https://westlife0615.tistory.com/45 TCP Socket 알아보기 - 목차 소개. TPC 소켓에 대해서 가볍게 알아보는 시간을 가지려고 합니다. 소켓은 TPC 소켓과 같은 네트워크 통신 뿐만 아니라 IPC (Inter Process Communication) 에서도 Socket 방식의 통신 기법이 있는데요 westlife0615.tistory.com https://westlife0615.tistory.com/345 Shared memory communication 알아보기 - 목차 관련된 글 https://westlife0615.tistory.com/347 IPC Signal 알아보기 - 목차 함께 보면 좋을 글 https://westlife0615.tist..
-
Avro Serialization 알아보기.BigData 2023. 10. 5. 13:18
- 목차 관련된 글 https://westlife0615.tistory.com/332 Avro File 알아보기 - 목차 소개. Avro 는 두가지 기능을 제공합니다. 첫번째는 직렬화 기능입니다. Avro 는 Serialization Framework 로서 직렬화와 역직렬화를 위한 방식을 제공합니다. 두번째는 File Format 으로 사용됩니다. A westlife0615.tistory.com 소개. Avro 는 대표적인 Serialization Format 입니다. Avro 가 다른 Serialization Format 과 다른 특징은 아래의 기술한 내용들인데요. 1. Binary Format 을 사용한다. 2. Schema 를 필요로한다. 3. 프로그래밍 언어나 환경에 영향을 받지 않는다 등등 이 ..
-
Avro File 알아보기BigData 2023. 10. 4. 10:52
- 목차 관련된 글 https://westlife0615.tistory.com/333 Avro Serialization 알아보기. - 목차 관련된 글 https://westlife0615.tistory.com/332 Avro File 알아보기 - 목차 소개. Avro 는 두가지 기능을 제공합니다. 첫번째는 직렬화 기능입니다. Avro 는 Serialization Framework 로서 직렬화와 역직렬화를 westlife0615.tistory.com 소개. Avro 는 두가지 기능을 제공합니다. 첫번째는 직렬화 기능입니다. Avro 는 Serialization Framework 로서 직렬화와 역직렬화를 위한 방식을 제공합니다. 두번째는 File Format 으로 사용됩니다. Avro File 은 .avro..
-
Flink Parquet FileSink 알아보기Flink 2023. 10. 4. 09:04
- 목차 소개. Flink 를 통해서 ETL 프로세스를 구성할 수 있습니다. FileSink 는 Extract-Tranform-Load 의 구분에서 Load 영역의 구성요소이며, 로컬 또는 원격의 파일시스템에 생성된 파일을 저장할 수 있습니다. 이번 페이지에서는 Parquet FileSink 에 대한 설명과 예시를 작성해보려고 합니다. 참고로 저는 java 11, Flink 1.13.6 환경에서 진행하도록 하겠습니다. Parquet. Parquet 파일에 대한 디테일한 설명을 원하신다면 아래 페이지에서 확인 가능합니다. https://westlife0615.tistory.com/50 Parquet 알아보기 - 목차 관련된 글 https://westlife0615.tistory.com/333 Avro Se..
-
[Programmers] 진료과별 총 예약 횟수 출력하기 (SQL)Algorithm 2023. 10. 3. 22:31
- 목차 문제 설명. https://school.programmers.co.kr/learn/courses/30/lessons/132202 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 다음은 종합병원의 진료 예약정보를 담은 APPOINTMENT 테이블 입니다. APPOINTMENT 테이블은 다음과 같으며 APNT_YMD, APNT_NO, PT_NO, MCDP_CD, MDDR_ID, APNT_CNCL_YN, APNT_CNCL_YMD는 각각 진료예약일시, 진료예약번호, 환자번호, 진료과코드, 의사ID, 예약취소여부, 예약취소날짜를 나타냅니다. APNT_YMD..
-
[Spark] SparkSQL CSV 파일 Aggregation 하기Spark 2023. 10. 3. 22:01
- 목차 소개. Spark 를 학습하기 위해서 간단한 예시를 기록해두려고 합니다. MovieRating 이라는 csv 파일을 읽어들이고 Aggregation 을 진행합니다. MovieRating.csv 파일은 아래 Web Link 에서 제공되는 영화 평점과 관련된 데이터셋입니다. https://raw.githubusercontent.com/prasertcbs/basic-dataset/master/Movie%20Ratings.csv 아래와 같은 형식으로 작성된 csv 파일입니다. UserId,MovieId,Rating,Timestamp 1,68646,10,1381620027 1,113277,10,1379466669 2,454876,8,1394818630 2,790636,7,1389963947 2,81671..
-
RxJava Hot vs Cold Observable 알아보기Language/ReactiveX 2023. 10. 2. 11:11
- 목차 관련된 글 https://westlife0615.tistory.com/317 RxJava Observable 알아보기 - 목차 관련된 글 https://westlife0615.tistory.com/2 ReactiveX 알아보기 - 목차 소개. Reactive X 패러다임에 대해서 알아보려고 합니다. Push and Pull. 데이터 커뮤니케이션에는 Push 와 Pull 두가지 방식이 있습니 westlife0615.tistory.com 소개. Observable 의 Data Emission 방식에는 두가지가 존재합니다. 하나는 Hot Observable 그리고 다른 하나는 Cold Observable 방식입니다. Cold Observable 은 우리가 알고 있는 기존의 방식입니다. Observab..
-
RxJava Flowable 알아보기Language/ReactiveX 2023. 10. 2. 02:40
- 목차 소개. Flowable 은 BackPressure 기능을 가진 Observable 입니다. Flowable 은 단순히 데이터 스트림을 관리하는 수준을 넘어서 데이터 처리 속도의 동기화를 조율할 수 있습니다. Flowable 은 Downstream 의 Consumer 의 데이터 소비 속도에 맞추어 생산 속도를 조율합니다. 처리 속도를 조율하기 위해서 데이터를 임시적으로 저장하기 위한 버퍼를 사용합니다. Flowable 은 Floawable 내부의 버퍼를 가지고 있고, Backpressure Buffer 라는 외부의 버퍼를 활용합니다. Flowable Buffer 와 Backpressure Buffer 를 통해서 데이터 처리를 잠시 유예하거나 버퍼가 오버플로우되었을 때, 어떤식으로 Drop 할지 선..
-
RxJava Terminating Operator 알아보기Language/ReactiveX 2023. 10. 2. 01:08
- 목차 관련된 글 https://westlife0615.tistory.com/317 RxJava Observable 알아보기 - 목차 관련된 글 https://westlife0615.tistory.com/2 ReactiveX 알아보기 - 목차 소개. Reactive X 패러다임에 대해서 알아보려고 합니다. Push and Pull. 데이터 커뮤니케이션에는 Push 와 Pull 두가지 방식이 있습니 westlife0615.tistory.com https://westlife0615.tistory.com/321 RxJava Combining Operator 알아보기 - 목차 관련된 글 https://westlife0615.tistory.com/317 RxJava Observable 알아보기 - 목차 관련된 ..