kgyrtkirk/hive-dev-box

hive-dev-box

为什么需要这个镜像？

为了提供一个易于访问的环境来运行和开发Hive。

可测试性方面

有时会收到针对早期版本的bug报告，但测试这些版本可能存在问题——切换版本比较麻烦。我之前使用基于Vagrant的环境来做这件事，但有局限性。

补丁开发流程

过去几年我一直在Hive和其他项目上工作，由于QA运行可能需要8-12小时，我需要同时处理多个补丁。然而，并行处理多个补丁存在以下问题：

• 单一工作区切换分支：最简单，但切换分支后需要完全重建。
• 多副本隔离Maven缓存：支持并行运行Maven命令，但IDE只能激活一个补丁，且在多项目（Hive+Tez+Hadoop）并行开发时不足，还会占用大量空间。
• 容器化/虚拟化开发环境：所有内容隔离，可自由修改不影响其他环境，提交补丁后易清理（删除容器），支持同时为多个补丁运行IDE，但配置变更可能丢失，也可能浪费磁盘空间。

镜像目标

本项目旨在提供更简单的方式测试Hive版本：

• 运行版本：上游Apache版本、HDP/CDP/CDH发行版、开发中构建版本。
• 提供Hive补丁开发环境。

快速开始：运行现成版本

shell
# 构建并启动hive-dev-box容器
./hdb run hive-test
# 容器启动后会进入命令行，初始化元数据存储：
reinit_metastore
# 准备就绪后启动Hive：
hive_launch
# 按CTRL+A CTRL+\退出并终止所有进程

快速开始：补丁开发

配置X11转发（一次性）

• Linux系统已运行X服务器。
• MacOSX用户请参考：[***]

配置Artifactory缓存（一次性）

每个容器会访问几乎相同的 artifacts，因此使用缓存很有必要：

shell
# 启动Artifactory实例
./start_artifactory.bash

需手动配置实例（一次性）：

• 访问[***]
• 启用访问：左侧菜单Admin → Security/Security configuration → 允许访问。
• 添加远程仓库：左侧菜单Admin → Repositories/Remote → 添加Maven Central等。
• 添加虚拟仓库：左侧菜单Admin → Repositories/Virtual → 命名为"wonder"，并添加远程仓库。

设置属性（可选，一次性）

在.bashrc中添加环境变量：

shell
export HIVE_DEV_BOX_HOST_DIR=$HOME/hive-dev-box

创建目录：

shell
. .bashrc
mkdir $HIVE_DEV_BOX_HOST_DIR

启动容器（源码存储在容器内）

shell
# 传入参数作为容器名、工作区名和开发分支名
./hdb run HIVE-12121-asd
# 进入终端后，克隆源码：
srcs hive
# 进入hive目录，创建基于apache/master的分支：
cd hive
git branch `hostname` apache/master
# 如需补丁：
cdpd-patcher hive
# 完全重建：
rebuild
# 运行Eclipse：
dev_eclipse

更简短的上游补丁开发初始化命令：

shell
./hdb run HIVE-12121-asd
# 克隆源码、创建分支、重建并打开Eclipse
hive_patch_development

文件系统布局

除/bin和/lib外，关键目录：

• /work：存储下载和展开的 artifacts，作为Docker卷共享，文件不变。
• /active：符号链接指向实际使用的组件版本，ls -l /active可查看当前组件。
• /home/dev：开发主目录。
• /home/dev/hive：Hive源码目录（若设置HIVE_SOURCES则映射到主机目录）。
• /home/dev/host：与主机共享的目录，用于交换文件，其bin目录链接到/home/dev/bin。

hdb工具：简化多环境访问

• run NAME：启动新容器NAME（不附加终端）。
• enter NAME：进入容器NAME。

安装hdb：

shell
# 创建软链接到可执行路径（如$HOME/bin）
ln -s $PWD/hdb $HOME/bin/hdb
# 启用bash补全，添加到.bashrc：
. <($HOME/bin/hdb bash_completion)

sw命令：切换组件版本

shell
# 使用Hadoop 3.1.0
sw hadoop 3.1.0
# 使用Hive 2.3.5
sw hive 2.3.5
# 使用Tez 0.8.4
sw tez 0.8.4

reinit_metastore命令：初始化元数据存储

可选切换元数据存储实现，清空并填充 schema 和 sysdb：

shell
reinit_metastore [derby|postgres|mysql]