분류 전체보기
-
[ ClickHouse ] arrayFlatten Function 알아보기Database/Clickhouse 2023. 1. 23. 21:03
- 목차 키워드.- Flatten 함께 보면 좋은 글.https://westlife0615.tistory.com/694 [Clickhouse] Docker 로 Clickhouse 구현하기- 목차 들어가며. 이번 글에서는 Docker 를 활용해서 Clickhouse 를 구축하는 글을 작성하려고 합니다. 사용할 Docker Image 는 bitnami/clickhouse 이미지입니다. 간단한 MergeTree 엔진의 Table 을 생성하고 데이westlife0615.tistory.com https://westlife0615.tistory.com/241 [ ClickHouse ] groupArray Function 알아보기- 목차 키워드.- groupArray- ClickHouse 함께 보면 좋은 글.아래 글..
-
(Java) 백준 종이의 갯수 [분할정복, 재귀]Algorithm 2023. 1. 23. 15:56
- 목차 소개. 아래 링크는 "백준 종이의 갯수" 문제의 웹링크입니다. https://www.acmicpc.net/problem/1780 1780번: 종이의 개수 N×N크기의 행렬로 표현되는 종이가 있다. 종이의 각 칸에는 -1, 0, 1 중 하나가 저장되어 있다. 우리는 이 행렬을 다음과 같은 규칙에 따라 적절한 크기로 자르려고 한다. 만약 종이가 모두 같은 수 www.acmicpc.net 문제 소개. N×N크기의 행렬로 표현되는 종이가 있다. 종이의 각 칸에는 -1, 0, 1 중 하나가 저장되어 있다. 우리는 이 행렬을 다음과 같은 규칙에 따라 적절한 크기로 자르려고 한다. 만약 종이가 모두 같은 수로 되어 있다면 이 종이를 그대로 사용한다. (1)이 아닌 경우에는 종이를 같은 크기의 종이 9개로 자..
-
Matplotlib Scatter 사용법 알아보기Python 2023. 1. 21. 15:07
- 목차 소개. Matplotlib 라이브러리의 Scatter 의 사용법에 대해서 작성하려고 합니다. Scatter 는 이차평면에서 여러 데이터 포인트들을 나타내는 방식입니다. 입력값은 x, y 좌표 정보가 사용됩니다. 간단한 예시. import matplotlib.pyplot as plt # Sample data x = [1, 2, 3, 4, 5] y = [2, 4, 1, 3, 5] # Create a scatter plot plt.scatter(x, y, label='Scatter Plot') # Add labels and a title plt.xlabel('X-axis') plt.ylabel('Y-axis') plt.title('Scatter Plot Example') # Add a legend p..
-
[Spark] RDD 로 숫자 처리하기Spark 2023. 1. 19. 06:29
- 목차 소개. 개인적인 스파크 학습을 위하여 RDD 처리에 대한 여러가지 예시를 작성해보려고 합니다. java version 11, spark 3.2 버전을 사용할 예정입니다. build.gradle 에 해당 버전의 spark-core 모듈을 설치합니다. implementation 'org.apache.spark:spark-core_2.12:3.2.0' Number 처리하기. 아래 코드는 Spark 로 숫자를 처리하는 간단한 예시입니다. input 데이터인 1,2,3,4,5 라는 List 를 1씩 증가시키는 예시입니다. package org.example; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; impor..
-
apache spark 란BigData 2023. 1. 12. 07:20
스파크란 아파치 스파크는 대용량의 데이터를 분산처리하는 엔진입니다. 빅데이터의 시대에서 대용량의 데이터를 처리하기 위한 안정적인 분산 시스템과 고속도의 데이터 처리 시간을 보장하기 위하여 스파크는 등장하게 되었습니다. 스파크는 안정 + 고속 + 분산 처리 등의 소목표를 달성해야하는 데이터 처리 부분에 집중하며, 데이터의 저장과 관련된 영역은 다른 스토리지 엔진이난 하둡의 hdfs 같은 영역에서 담당하게 됩니다. Driver Program main 함수를 포함하는 스파크의 실질적인 프로그램입니다. from pyspark.sql import SparkSession # Create SparkSession spark = SparkSession.builder \ .master("local[1]") \ .appNa..
-
hdfs (hadoop) 에 대해서BigData 2023. 1. 11. 21:34
하둡의 간단한 정의는 다음과 같습니다. 분산된 환경에서 데이터를 저장하고 관리하고, 처리할 수 있도록 도와주는 프레임워크입니다. 그래서 하둡은 크게 두가지로 분류됩니다. 1. 데이터를 저장하는 관점에서 hadoop distributed file system 2. 데이터를 처리하는 관점에서 MapReduce 두가지로 나누어 생각할 수 있습니다. 이번 글에서는 하둡의 두가지 측면 중 hdfs 에 대해서 이야기할 예정입니다. Hadoop Distributed File System FAT, ext, union file system 등 운영체제 및 환경에서 사용하던 파일 시스템들과 hdfs 는 하나의 차이가 있습니다. 기존의 파일 시스템은 파일의 관리를 하나의 물리적인 디스크로 한정했던 것과 달리 hdfs 는 분..
-
[Algorithm] Programmers 땅따먹기Algorithm 2023. 1. 7. 11:50
- 목차 소개. "프로그래머스 땅따먹기" 문제의 웹 링크입니다. https://school.programmers.co.kr/learn/courses/30/lessons/12913 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 분석. 처음에는 해당 문제는 DFS 로 완전 탐색으로 해결하려고 시도하였습니다. 하지만 행의 갯수가 100,000 이기 때문에 완전 탐색을 시도하게 되면, 완전 탐색을 수행하게 되면 최악의 케이스로 N*N 의 시간복잡도를 가지게 됩니다. 따라서 해당 문제는 단순한 연산으로 접근해야합니다. impor..
-
Parquet 알아보기BigData/Parquet 2023. 1. 5. 01:34
- 목차 관련된 글 https://westlife0615.tistory.com/333 Avro Serialization 알아보기. - 목차 관련된 글 https://westlife0615.tistory.com/332 Avro File 알아보기 - 목차 소개. Avro 는 두가지 기능을 제공합니다. 첫번째는 직렬화 기능입니다. Avro 는 Serialization Framework 로서 직렬화와 역직렬화를 westlife0615.tistory.com https://westlife0615.tistory.com/445 Parquet Reader 알아보기 - 목차 소개. Parquet Reader 들이 어떠한 방식으로 Parquet 파일을 읽어들이는지 자세히 살펴보려고 합니다. Apache Arrow 기반의 라..
-
[pandas] to_datetime 함수 알아보기Python 2022. 12. 20. 07:34
- 목차 to_datetime.Pandas 의 DataFrame 은 datetime 타입을 지원합니다.하지만 명시적으로 datetime 타입을 지정하지 않으면 DataFrame 또는 Series 내부적으로 object 타입으로 지정하게 됩니다.예를 들어, 아래의 Kaggle 의 날씨 데이터를 read_csv 함수를 통해서 DataFrame 을 생성할 때에 "date" 칼럼은 object 타입으로 지정되죠.import pandas as pdurl = ("https://storage.googleapis.com/kagglesdsdata/datasets/312121/636393/DailyDelhiClimateTest.csv" "?X-Goog-Algorithm=GOOG4-RSA-SHA256" ..
-
(Java) 백준 색종이 만들기 [분할정복, 재귀]Algorithm 2022. 12. 19. 23:02
- 목차 함께 보면 좋은 글. https://westlife0615.tistory.com/164 (Java) 백준 쿼드트리 [분할정복, 재귀] - 목차 함께 보면 좋은 글. https://westlife0615.tistory.com/46 (Java) 백준 색종이 만들기 [분할정복, 재귀] - 목차 소개. 아래 링크는 "백준 색종이 만들기" 문제의 웹링크입니다. https://www.acmicpc.net/problem/263 westlife0615.tistory.com 소개. 아래 링크는 "백준 색종이 만들기" 문제의 웹링크입니다. https://www.acmicpc.net/problem/2630 2630번: 색종이 만들기 첫째 줄에는 전체 종이의 한 변의 길이 N이 주어져 있다. N은 2, 4, 8, 1..