Hadoop大数据部署

Hadoop 大数据部署是一套基于 HDFS 分布式存储、YARN 资源调度构建多节点服务器分布式集群的工程实践,通常采用主从模式规划角色节点,将集群划分为 NameNode、ResourceManager 等主服务节点,以及 DataNode、NodeManager 等从工作节点,并为上层 HBase、Spark、Hive 等组件提供底层存储与资源调度支撑。

其核心思路是**以统一配置 + 角色拆分 + 集群协同的方式,搭建可横向扩展、高可靠、高容错的大数据基础底座**,从而支撑海量离线数据存储与分布式计算,是大数据生态体系的核心底层基座。

传统单机环境难以应对海量数据的存储与计算压力;通过 Hadoop 集群化部署,将存储与计算分散到多节点并统一调度,解决了单机容量与算力瓶颈、缺乏容错与扩展能力的问题。
大数据集群部署手册

1. 概述

Hadoop 大数据部署以 HDFS 分布式存储、YARN 资源调度为核心,依托多节点服务器构建分布式集群架构,通常采用主从模式规划角色节点,将集群划分为 NameNode、ResourceManager 等主服务节点,以及 DataNode、NodeManager 等从工作节点。部署前需完成服务器主机名配置、IP 映射、集群间 SSH 免密登录、防火墙与 SELinux 关闭、JDK 环境统一配置等基础环境准备;随后依次配置 Hadoop 核心配置文件,包括环境变量文件、核心站点文件、HDFS 站点文件、YARN 调度文件与 MapReduce 配置文件,定义文件系统地址、数据存储目录、副本数量及资源调度规则。配置完成后将配置文件同步至所有集群节点,执行 NameNode 格式化操作,再按顺序启动 HDFS 与 YARN 服务,通过 jps 校验各守护进程运行状态,最终搭建起可横向扩展、高可靠、高容错的大数据基础集群,能够支撑海量离线数据存储、分布式计算,同时为 HBase、Spark、Hive 等大数据组件提供底层存储与资源调度支撑,是大数据生态体系的核心底层基座。

**组件角色总览** 本部署涉及 Zookeeper(集群协调)、Hadoop HDFS/YARN(存储与调度)、HBase(分布式数据库)、Spark(内存计算)四大组件,均依托统一规划的 bigdata01/02/03 三节点集群。
组件 角色定位 关键进程
Zookeeper 分布式协调服务,集群选举与配置管理 QuorumPeerMain
Hadoop HDFS 分布式文件系统存储 NameNode / DataNode / SecondaryNameNode
Hadoop YARN 资源调度框架 ResourceManager / NodeManager
HBase 基于 HDFS 的分布式列式数据库 HMaster / HRegionServer
Spark 基于内存的分布式计算引擎 Master / Worker

2. Zookeeper 部署

2.1 配置 zoo.cfg

编辑配置文件 zoo.cfg:

# 基本时间单位(毫秒),默认2000,不用改
tickTime=2000

# 集群初始化时,从节点同步数据的超时时间(10*tickTime)
initLimit=10

# 集群运行时,主从节点心跳同步的超时时间(5*tickTime)
syncLimit=5

# 客户端连接端口(默认2181,必须配置)
clientPort=2181

# 数据目录(关键!路径必须正确,无换行符)
dataDir=/data/soft/apache-zookeeper-3.5.8-bin/data

# 日志目录(可选,建议配置,避免日志混乱)
dataLogDir=/data/soft/apache-zookeeper-3.5.8-bin/logs

# 集群节点列表(server.x 中的x必须和myid一致)
# 格式:server.x=节点名:通信端口(2888):选举端口(3888)
server.0=bigdata01:2888:3888
server.1=bigdata02:2888:3888
server.2=bigdata03:2888:3888
参数 说明
tickTime 基本时间单位(毫秒),默认 2000,不用改
initLimit 集群初始化时,从节点同步数据的超时时间(10×tickTime)
syncLimit 集群运行时,主从节点心跳同步的超时时间(5×tickTime)
clientPort 客户端连接端口(默认 2181,必须配置)
dataDir 数据目录(关键!路径必须正确,无换行符)
dataLogDir 日志目录(可选,建议配置,避免日志混乱)
server.x 集群节点列表(server.x 中的 x 必须和 myid 一致);格式:server.x=节点名:通信端口(2888):选举端口(3888)

2.2 配置 myid

在三个 data 目录下新建 myid 文件,在每个虚拟机的 myid 中输入以下内容:

节点 myid 内容
bigdata01 1
bigdata02 2
bigdata03 3
**myid 必须一致** `server.x` 中的 x 必须与对应节点的 `myid` 文件内容保持一致,否则 Zookeeper 集群将无法正确选举与同步。

3. Hadoop 部署

3.1 配置文件总览

Hadoop 配置文件均位于 $HADOOP_HOME/etc/hadoop 目录下:

配置文件 作用说明
hadoop-env.sh 环境变量(JAVA_HOME 等)
core-site.xml 核心(HDFS 地址、临时目录)
hdfs-site.xml HDFS(副本数、NameNode/DataNode 目录)
mapred-site.xml MapReduce 框架(交给 YARN)
yarn-site.xml YARN 资源调度

3.2 配置 hadoop-env.sh

vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

3.3 配置 core-site.xml

vi $HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop_repo</value>
    </property>
    <property>
        <name>fs.permissions.umask-mode</name>
        <value>000</value>
    </property>
    <property>
        <name>fs.permissions.enabled</name>
        <value>false</value>
    </property>
</configuration>

3.4 配置 hdfs-site.xml

vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata01:50090</value>
    </property>
</configuration>

3.5 配置 mapred-site.xml

vi $HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

3.6 配置 yarn-site.xml

vi $HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

3.7 启动集群与进程校验

启动 Hadoop 集群

  1. 启动 HDFS 分布式文件系统
    start-dfs.sh
  2. 启动 YARN 资源调度
    start-yarn.sh

一键查看是否启动成功
jps

**进程校验** 配置完成后需将配置文件同步至所有集群节点,并执行 NameNode 格式化操作,再按顺序启动 HDFS 与 YARN 服务,最后通过 `jps` 校验各守护进程运行状态。
节点类型 应出现的进程
主节点(NameNode) NameNode、SecondaryNameNode、ResourceManager、Jps
从节点(DataNode) DataNode、NodeManager、Jps

4. HBase 部署

4.1 配置 hbase-site.xml

<configuration>
    <!-- 开启分布式模式 -->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>

    <!-- 本地文件系统tmp目录 -->
    <property>
        <name>hbase.tmp.dir</name>
        <value>/data/hbase/tmp</value>
    </property>

    <!-- 分布式环境必须设为false,默认也为false -->
    <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
    </property>

    <!-- HBase 在 HDFS 上的根存储路径 -->
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://bigdata01:9000/hbase</value>
    </property>

    <!-- Zookeeper 集群地址,多节点逗号分隔 -->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>bigdata01,bigdata02,bigdata03</value>
    </property>

    <!-- HBase 在 Zookeeper 中的根znode节点 -->
    <property>
        <name>zookeeper.znode.parent</name>
        <value>/hbase</value>
    </property>

    <!-- Zookeeper 客户端通信端口,默认2181 -->
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
    </property>
</configuration>

4.2 启动与校验

启动 hbase 集群
./start-hbase.sh

检查是否启动成功
jps

你应该看到:

节点类型 应出现的进程
主节点 HMaster
所有从节点 HRegionServer

5. Spark 部署

5.1 重命名配置模板

cd /data/soft/spark/conf
mv slaves.template slaves
mv spark-env.sh.template spark-env.sh

5.2 编辑 slaves(指定从节点)

vim slaves

bigdata01
bigdata02
bigdata03

5.3 编辑 spark-env.sh

vim spark-env.sh

export JAVA_HOME=/data/soft/jdk1.8.0
export HADOOP_HOME=/data/soft/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_HOST=bigdata01

5.4 启动与校验

./start-all.sh

jps

节点类型 应出现的进程
主节点 bigdata01 Master + Worker
从节点 bigdata02/03 Worker

一句话总结:Hadoop 大数据部署以 HDFS 存储与 YARN 调度为核心,通过统一配置、角色拆分与多组件(Zookeeper、Hadoop、HBase、Spark)集群协同,搭建出可横向扩展、高可靠、高容错的大数据基础底座。