Hive
-
Hive & Hadoop 연결하기Hive 2023. 12. 17. 08:15
- 목차 소개. 이번 글에서는 Hive 와 Hadoop 을 연결하여 어떠한 방식으로 두 Application 사이의 소통이 이루어지는지 알아보려고 합니다. Docker Container 환경에서 진행할 예정입니다. Hive & Hadoop 연결하기. 1. hadoop config 파일을 생성합니다. 하둡은 core-site.xml, hdfs-site.xml 등의 xml 설정을 기본으로 합니다. 아래 명령어를 통해서 hadoop_config 정보를 생성합니다. cat
-
Hive MySQL Metastore 알아보기Hive 2023. 12. 17. 08:14
- 목차 소개. Hive Metastore 의 Backend 로써 MySQL 를 사용하는 케이스에 대해서 알아보려고 합니다. 먼저 Hive 와 MySQL 를 연결시키는 과정부터 진행해보겠습니다. Hive 와 MySQL 은 각각 Docker 환경에서 수행할 예정입니다. 먼저 MySQL 이 Hive 의 Metastore Backend 로써 동작할 수 있도록 Hive 가 사용할 User 와 Database 를 생성합니다. User 는 hiveuser, Database 는 hive_metastore 로 이름지었습니다. cat docker run -d --name mysql \ --mount type=bind,source=/tmp/mysql-init-script..
-
Docker 로 Hive 구현하기Hive 2023. 12. 16. 17:27
- 목차 소개. Docker Container 를 활용하여 Hive 를 간단하게 구현해보려고 합니다. Docker Hub 의 apache/hive 의 자료를 토대로 진행하였습니다. https://hub.docker.com/r/apache/hive Docker hub.docker.com 구현하기. 아래 명령어를 실행하여 Hive Server Container 를 실행할 수 있습니다. docker run -d \ -p 10000:10000 -p 10002:10002 \ --env SERVICE_NAME=hiveserver2 \ --name hive \ apache/hive:3.1.3 별다른 설정없이 Derby 데이터베이스를 metastore 로 사용합니다. docker ps 의 결과로 생성된 Hive Con..