Hadoop 大数据部署是一套基于 HDFS 分布式存储、YARN 资源调度构建多节点服务器分布式集群的工程实践,通常采用主从模式规划角色节点,将集群划分为 NameNode、ResourceManager 等主服务节点,以及 DataNode、NodeManager 等从工作节点,并为上层 HBase、Spark、Hive 等组件提供底层存储与资源调度支撑。
其核心思路是**以统一配置 + 角色拆分 + 集群协同的方式,搭建可横向扩展、高可靠、高容错的大数据基础底座**,从而支撑海量离线数据存储与分布式计算,是大数据生态体系的核心底层基座。
1. 概述
Hadoop 大数据部署以 HDFS 分布式存储、YARN 资源调度为核心,依托多节点服务器构建分布式集群架构,通常采用主从模式规划角色节点,将集群划分为 NameNode、ResourceManager 等主服务节点,以及 DataNode、NodeManager 等从工作节点。部署前需完成服务器主机名配置、IP 映射、集群间 SSH 免密登录、防火墙与 SELinux 关闭、JDK 环境统一配置等基础环境准备;随后依次配置 Hadoop 核心配置文件,包括环境变量文件、核心站点文件、HDFS 站点文件、YARN 调度文件与 MapReduce 配置文件,定义文件系统地址、数据存储目录、副本数量及资源调度规则。配置完成后将配置文件同步至所有集群节点,执行 NameNode 格式化操作,再按顺序启动 HDFS 与 YARN 服务,通过 jps 校验各守护进程运行状态,最终搭建起可横向扩展、高可靠、高容错的大数据基础集群,能够支撑海量离线数据存储、分布式计算,同时为 HBase、Spark、Hive 等大数据组件提供底层存储与资源调度支撑,是大数据生态体系的核心底层基座。
| 组件 | 角色定位 | 关键进程 |
|---|---|---|
| Zookeeper | 分布式协调服务,集群选举与配置管理 | QuorumPeerMain |
| Hadoop HDFS | 分布式文件系统存储 | NameNode / DataNode / SecondaryNameNode |
| Hadoop YARN | 资源调度框架 | ResourceManager / NodeManager |
| HBase | 基于 HDFS 的分布式列式数据库 | HMaster / HRegionServer |
| Spark | 基于内存的分布式计算引擎 | Master / Worker |
2. Zookeeper 部署
2.1 配置 zoo.cfg
编辑配置文件 zoo.cfg:
# 基本时间单位(毫秒),默认2000,不用改
tickTime=2000
# 集群初始化时,从节点同步数据的超时时间(10*tickTime)
initLimit=10
# 集群运行时,主从节点心跳同步的超时时间(5*tickTime)
syncLimit=5
# 客户端连接端口(默认2181,必须配置)
clientPort=2181
# 数据目录(关键!路径必须正确,无换行符)
dataDir=/data/soft/apache-zookeeper-3.5.8-bin/data
# 日志目录(可选,建议配置,避免日志混乱)
dataLogDir=/data/soft/apache-zookeeper-3.5.8-bin/logs
# 集群节点列表(server.x 中的x必须和myid一致)
# 格式:server.x=节点名:通信端口(2888):选举端口(3888)
server.0=bigdata01:2888:3888
server.1=bigdata02:2888:3888
server.2=bigdata03:2888:3888
| 参数 | 说明 |
|---|---|
| tickTime | 基本时间单位(毫秒),默认 2000,不用改 |
| initLimit | 集群初始化时,从节点同步数据的超时时间(10×tickTime) |
| syncLimit | 集群运行时,主从节点心跳同步的超时时间(5×tickTime) |
| clientPort | 客户端连接端口(默认 2181,必须配置) |
| dataDir | 数据目录(关键!路径必须正确,无换行符) |
| dataLogDir | 日志目录(可选,建议配置,避免日志混乱) |
| server.x | 集群节点列表(server.x 中的 x 必须和 myid 一致);格式:server.x=节点名:通信端口(2888):选举端口(3888) |
2.2 配置 myid
在三个 data 目录下新建 myid 文件,在每个虚拟机的 myid 中输入以下内容:
| 节点 | myid 内容 |
|---|---|
| bigdata01 | 1 |
| bigdata02 | 2 |
| bigdata03 | 3 |
3. Hadoop 部署
3.1 配置文件总览
Hadoop 配置文件均位于 $HADOOP_HOME/etc/hadoop 目录下:
| 配置文件 | 作用说明 |
|---|---|
| hadoop-env.sh | 环境变量(JAVA_HOME 等) |
| core-site.xml | 核心(HDFS 地址、临时目录) |
| hdfs-site.xml | HDFS(副本数、NameNode/DataNode 目录) |
| mapred-site.xml | MapReduce 框架(交给 YARN) |
| yarn-site.xml | YARN 资源调度 |
3.2 配置 hadoop-env.sh
vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
3.3 配置 core-site.xml
vi $HADOOP_HOME/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop_repo</value>
</property>
<property>
<name>fs.permissions.umask-mode</name>
<value>000</value>
</property>
<property>
<name>fs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
3.4 配置 hdfs-site.xml
vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bigdata01:50090</value>
</property>
</configuration>
3.5 配置 mapred-site.xml
vi $HADOOP_HOME/etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
3.6 配置 yarn-site.xml
vi $HADOOP_HOME/etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
3.7 启动集群与进程校验
启动 Hadoop 集群
- 启动 HDFS 分布式文件系统
start-dfs.sh - 启动 YARN 资源调度
start-yarn.sh
一键查看是否启动成功
jps
| 节点类型 | 应出现的进程 |
|---|---|
| 主节点(NameNode) | NameNode、SecondaryNameNode、ResourceManager、Jps |
| 从节点(DataNode) | DataNode、NodeManager、Jps |
4. HBase 部署
4.1 配置 hbase-site.xml
<configuration>
<!-- 开启分布式模式 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 本地文件系统tmp目录 -->
<property>
<name>hbase.tmp.dir</name>
<value>/data/hbase/tmp</value>
</property>
<!-- 分布式环境必须设为false,默认也为false -->
<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>
<!-- HBase 在 HDFS 上的根存储路径 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://bigdata01:9000/hbase</value>
</property>
<!-- Zookeeper 集群地址,多节点逗号分隔 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>bigdata01,bigdata02,bigdata03</value>
</property>
<!-- HBase 在 Zookeeper 中的根znode节点 -->
<property>
<name>zookeeper.znode.parent</name>
<value>/hbase</value>
</property>
<!-- Zookeeper 客户端通信端口,默认2181 -->
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
</configuration>
4.2 启动与校验
启动 hbase 集群
./start-hbase.sh
检查是否启动成功
jps
你应该看到:
| 节点类型 | 应出现的进程 |
|---|---|
| 主节点 | HMaster |
| 所有从节点 | HRegionServer |
5. Spark 部署
5.1 重命名配置模板
cd /data/soft/spark/conf
mv slaves.template slaves
mv spark-env.sh.template spark-env.sh
5.2 编辑 slaves(指定从节点)
vim slaves
bigdata01
bigdata02
bigdata03
5.3 编辑 spark-env.sh
vim spark-env.sh
export JAVA_HOME=/data/soft/jdk1.8.0
export HADOOP_HOME=/data/soft/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_HOST=bigdata01
5.4 启动与校验
./start-all.sh
jps
| 节点类型 | 应出现的进程 |
|---|---|
| 主节点 bigdata01 | Master + Worker |
| 从节点 bigdata02/03 | Worker |
一句话总结:Hadoop 大数据部署以 HDFS 存储与 YARN 调度为核心,通过统一配置、角色拆分与多组件(Zookeeper、Hadoop、HBase、Spark)集群协同,搭建出可横向扩展、高可靠、高容错的大数据基础底座。