kiwenlau/hadoop

hadoop-cluster-docker 镜像文档

镜像概述和主要用途

hadoop-cluster-docker是一个用于在Docker容器中部署Hadoop集群的镜像，基于GitHub项目https://github.com/kiwenlau/hadoop-cluster-docker开发。该镜像旨在简化Hadoop集群的搭建过程，无需手动配置复杂的分布式环境，可快速创建包含主节点（NameNode、ResourceManager）和从节点（DataNode、NodeManager）的完整Hadoop集群，适用于Hadoop学习、开发测试及小型分布式计算场景。

核心功能和特性

• 容器化部署：通过Docker容器实现Hadoop集群的隔离部署，避免环境依赖冲突
• 完整集群架构：支持多节点集群，包含HDFS（分布式文件系统）和YARN（资源管理器）组件
• 快速启停：无需手动配置SSH免密、环境变量等，通过脚本一键启动/停止集群
• 可扩展性：支持灵活调整集群节点数量，满足不同规模的计算需求
• 轻量级：基于精简基础镜像，降低资源占用

使用场景和适用范围

• 学习环境：帮助开发者快速搭建Hadoop学习环境，了解分布式计算原理
• 开发测试：为Hadoop应用开发提供本地测试环境，验证MapReduce作业、Spark应用等
• 教学演示：用于课堂或技术分享中展示Hadoop集群的部署和运行过程
• 小型数据处理：适用于处理小规模数据集的分布式计算任务

使用方法和配置说明

前提条件

• 已安装Docker和Docker Compose
• 网络环境支持容器间通信

拉取镜像

可通过以下命令拉取镜像：

bash
docker pull docker.xuanyuan.run/kiwenlau/hadoop:2.7.2

获取项目文件

从GitHub克隆项目仓库，包含启动脚本和配置文件：

bash
git clone https://github.com/kiwenlau/hadoop-cluster-docker.git
cd hadoop-cluster-docker

启动集群

执行启动脚本创建并启动Hadoop集群容器（默认包含1个主节点和2个从节点）：

bash
./start-container.sh

初始化HDFS并启动集群服务

进入主节点容器，执行初始化和启动命令：

bash
# 进入主节点容器
docker exec -it hadoop-master bash

# 初始化HDFS文件系统
hdfs namenode -format

# 启动Hadoop集群
./start-hadoop.sh

访问集群

• HDFS Web界面：通过http://<主机IP>:50070访问NameNode管理界面
• YARN Web界面：通过http://<主机IP>:8088访问ResourceManager管理界面
• 容器内操作：通过docker exec -it hadoop-master bash进入主节点容器，执行Hadoop命令（如hdfs dfs -ls /、yarn jar <jar包> <主类> <参数>）

停止集群

在主机执行停止脚本：

bash
./stop-container.sh

Docker部署示例

docker-compose配置示例

项目中提供docker-compose.yml文件，可直接使用Docker Compose启动集群：

yaml
version: '2'
services:
  master:
    image: docker.xuanyuan.run/kiwenlau/hadoop:2.7.2
    container_name: hadoop-master
    ports:
      - "50070:50070"
      - "8088:8088"
    volumes:
      - ./hadoop-master:/root/hadoop-2.7.2
    networks:
      - hadoop-network
    command: /root/start-master.sh

  slave1:
    image: docker.xuanyuan.run/kiwenlau/hadoop:2.7.2
    container_name: hadoop-slave1
    volumes:
      - ./hadoop-slave1:/root/hadoop-2.7.2
    networks:
      - hadoop-network
    command: /root/start-slave.sh master

  slave2:
    image: docker.xuanyuan.run/kiwenlau/hadoop:2.7.2
    container_name: hadoop-slave2
    volumes:
      - ./hadoop-slave2:/root/hadoop-2.7.2
    networks:
      - hadoop-network
    command: /root/start-slave.sh master

networks:
  hadoop-network:
    driver: bridge

启动命令：

bash
docker-compose up -d

手动启动命令示例

手动创建网络并启动容器（以1主2从为例）：

bash
# 创建自定义网络
docker network create hadoop-network

# 启动主节点
docker run -itd --name hadoop-master --network hadoop-network -p 50070:50070 -p 8088:8088 docker.xuanyuan.run/kiwenlau/hadoop:2.7.2 /bin/bash

# 启动从节点1
docker run -itd --name hadoop-slave1 --network hadoop-network docker.xuanyuan.run/kiwenlau/hadoop:2.7.2 /bin/bash

# 启动从节点2
docker run -itd --name hadoop-slave2 --network hadoop-network docker.xuanyuan.run/kiwenlau/hadoop:2.7.2 /bin/bash

配置参数说明

• 节点数量调整：修改start-container.sh脚本中的N变量（默认值为2）可调整从节点数量
• Hadoop配置文件：通过挂载本地目录到容器内/root/hadoop-2.7.2/etc/hadoop路径，自定义core-site.xml、hdfs-site.xml、yarn-site.xml等配置文件
• 资源限制：启动容器时可通过-m参数限制内存使用（如-m 2g限制为2GB内存）
• 端口映射：根据需要调整主机与容器的端口映射，避免端口冲突

更多详细配置和使用说明可参考项目GitHub文档或作者博客：Run Hadoop Cluster in Docker Update