코딩수집 코딩수집

Database

• [MySQL] foreign_key_checks 알아보기

  Database/MySQL 2024. 3. 26. 07:29

  - 목차 들어가며. 이번 글에서는 MySQL 의 테이블 간 외래키 제약 (Foreign Key Constraints) 을 On/Off 할 수 있는 설정인 foreign_key_checks 에 대해서 알아보려고 합니다. On and Off foreign_key_checks. MySQL 실행하기. 먼저 실습을 위해서 도커를 활용한 MySQL 서버를 실행시켜보겠습니다. docker run -d --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=1234 mysql:8.0.23 그리고 Foreign Key 관계의 테이블 2개를 생성해보겠습니다. docker exec -it mysql mysql -uroot -p1234 create database test; use test; ..

  Read More
• [MySQL] group_concat 함수 알아보기

  Database/MySQL 2024. 3. 8. 21:54

  - 목차 group_concat ?group_concat 함수는 MySQL 의 집계함수 중의 하나입니다.집계함수란 Group By 문장과 함께 쓰여져 나열되는 값들을 하나의 값으로 축소시키는 역할을 합니다.예를 들어서 List -> Item, Vector -> Scalar 와 같은 형식으로 Collection 타입의 값을 Single Item 값으로 변형할 수 있습니다.대표적으로 Max, Sum, Avg, Reduce 등이 존재하죠.Collection 의 여러 값들 중에서 최대, 최소, 평균, 합계 등을 계산하여 하나의 값으로 축소시킵니다. group_concat 은 이러한 Aggregation Function 으로 사용됩니다.동작 방식은 Collection 을 하나의 나열된 String 으로 반환합니다..

  Read More
• [ClickHouse] Parts & Partition 알아보기

  Database/Clickhouse 2024. 2. 29. 07:04

  - 목차 들어가며. 이번 글에서는 ClickHouse 의 MergeTree 엔진에서 사용되는 Parts 와 Partition 에 대해서 알아보려고 합니다. Partition 은 MergeTree Table 에 생성되는 데이터의 물리적인 단위입니다. Table 은 Partition 을 기준으로 물리적인 저장 위치가 나뉘어집니다. 그래서 시계열 데이터의 경우에, Partition 을 시간 기준으로 나눌 수 있고, Table 의 데이터를 연월일시에 따라 개별적인 파일로써 관리됩니다. Parts 는 하나의 온전한 Partition 을 만들기 위해서 저장되는 임시 단위입니다. 만약 시간 단위로 Partition 이 나뉘어진다고 가정하겠습니다. 그리고 1분마다 100개의 데이터가 삽입됩니다. 이때 1시간 동안 총 ..

  Read More
• [ClickHouse] primary.idx 파일 알아보기

  Database/Clickhouse 2024. 2. 28. 21:15

  - 목차 들어가며. 이번 글에서는 ClickHouse 의 primary.idx 파일에 대해서 알아보려고 합니다. primary.idx 는 클릭하우스의 MergeTree Table 의 Primary Index 의 Entry 들을 관리하는 파일입니다. MergeTree Table 은 반드시 PRIMARY KEY 또는 ORDER BY 선언을 통해서 Primary Index 를 지정해야합니다. 이렇게 Primary Index 가 지정된 이후에 해당 테이블에 데이터가 추가되면 primary.idx 파일에 Index Entry 들이 기록되게 됩니다. 이어지는 내용에서 Index Entry 는 어떤 구조를 취하며, Parts, Granule, Sparse Index, Mark File 등에 대해서 자세히 알아보는 시..

  Read More
• [Clickhouse] ReplicatedMergeTree 알아보기

  Database/Clickhouse 2024. 2. 18. 07:05

  - 목차 Clickhouse Cluster 구현하기. 먼저 아래의 2개 이상의 Clickhouse Node 가 실행되는 Multi Replica 구성을 만들어야합니다. 아래 링크는 docker-compose 를 통해서 Clickhouse Cluster 를 구축하는 내용을 적은 페이지인데요. 간단한 명령어들로 구성된 페이지이기 때문에 클러스터 구축을 선행하시는 것을 추천드립니다. https://westlife0615.tistory.com/686#7 [Clickhouse] Shard & Replica Cluster 구성하기 - 목차 들어가며. 이번 글에서는 docker-compose 를 활용하여 Clickhouse Cluster 를 구성하는 내용을 작성하려고 합니다. ClickHouse 의 docker-co..

  Read More
• [MySQL] binlog 는 언제 생성될까 ( binary log )

  Database 2024. 2. 18. 07:03

  - 목차 들어가며. 이번 글에서는 MySQL 의 binlog 파일이 언제 생성되며, 데이터 변경 사항이 binlog 파일에 기록되는 시점에 대해서 알아보려고 합니다. 이 글에서는 실습을 위주로 진행하며, Docker Container 를 기반으로 실습을 진행합니다. MySQL Container 실행하기. 아래 명령어를 통해서 MySQL Docker Container 를 실행합니다. docker run --platform linux/amd64 -d --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=1234 mysql:8.0.23 그리고 binlog 관련 설정들을 살펴보겠습니다. log_bin 설정이 ON 인지 확인하기. log_bin 설정이 ON 인 경우에 binlog..

  Read More
• [Clickhouse] Docker 로 Clickhouse 구현하기

  Database/Clickhouse 2024. 2. 17. 17:05

  - 목차 들어가며. 이번 글에서는 Docker 를 활용해서 Clickhouse 를 구축하는 글을 작성하려고 합니다. 사용할 Docker Image 는 bitnami/clickhouse 이미지입니다. 간단한 MergeTree 엔진의 Table 을 생성하고 데이터를 취급하는 예시들을 작성할 예정입니다. bitnami/clickhouse 이미지를 사용하는 이유는 추후에 Kubernetes 에서 Clickhouse 를 구축하는 상황에서 Bitnami Helm Repo 의 Clickhouse Chart 가 사용됩니다. 그래서 yandex 를 포함한 다른 배포버전보다 bitnami 를 선택하였습니다. Clickhouse Docker Container 구현하기. 아래 명령어를 통해서 Clickhouse Contain..

  Read More
• [ClickHouse] Multi Sharding 구현하기 ( Docker, Shards )

  Database/Clickhouse 2024. 2. 17. 16:21

  - 목차 들어가며.ClickHouse 는 Multi Sharding 을 구현할 수 있습니다.Distributed Table Engine 을 통해서 생성되는 MergeTree Family 들이 존재하며,Distributed Table 들은 Partition Key 를 통해서 여러 ClickHouse Node 들로 분배되어 저장됩니다.Distributed Table 을 잘 설명할 수 있는 사진 몇장을 아래에 첨부해두었습니다.이 이미지 자료를 통해서 좀 더 상세히 설명드리면,ClickHouse 는 여러 노드들로 구성되어 하나의 클러스터를 구성할 수 있습니다.만약 2개의 서버로 클러스터를 구성한다면 2개의 Sharding 을 적용하거나1개의 Shard 에서 Primary - Replica 를 1개씩 적용할 수도..

  Read More
• [MySQL] Master Slave 구성해보기 ( Replication , Replica )

  Database 2024. 2. 16. 22:56

  - 목차 들어가며. 이번 글에서는 두개의 MySQL 을 통해서 Master - Slave 구성을 해보려고 합니다. Docker 를 기반으로 2개의 MySQL Container 를 생성하고, 하나의 Master 그리고 다른 하나를 Slave 로써 동작하게 설정합니다. MySQL 구성하기. 먼저 Master 와 Slave 의 my.cnf 를 설정합니다. log-bin 설정은 binlog 파일의 prefix 에 해당하는 문자열을 설정하는 옵션이구요. binlog, relay-log 에 대한 설정을 추가합니다. 그리고 Replication 을 위한 USER 와 GRANT 정보를 생성하는 init.sql 또한 생성하였습니다. cat select * from test.test_table; +------+------..

  Read More
• [Clickhouse] Shard & Replica Cluster 구성하기

  Database/Clickhouse 2024. 2. 14. 07:14

  - 목차 들어가며. 이번 글에서는 docker-compose 를 활용하여 Clickhouse Cluster 를 구성하는 내용을 작성하려고 합니다. ClickHouse 의 docker-compose Recipes 에서 설명하는 내용을 토대로 작성하였구요. Shard 와 Replica 의 다양한 조합과 Clickhouse-Keeper 가 함께 클러스터를 구성합니다. 아래 링크는 Clickhouse docker-compose Recipes 에 대한 Github 링크입니다. https://github.com/ClickHouse/examples/tree/main/docker-compose-recipes/recipes https://github.com/ClickHouse ClickHouse ClickHouse ha..

  Read More