Hadoop部署之环境准备(一)

一、软硬件规划

ID	主机类型	主机名	IP	应用软件	操作系统	硬件配置
1	物理机	namenode01	192.168.1.200	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储
2	物理机	datanode01	192.168.1.201	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储
3	物理机	datanode02	192.168.1.202	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储
4	物理机	datanode03	192.168.1.203	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储

我这里规划的角色不是太好，如果是四台机器，建议大家按照我们下面的分配

创新互联建站是一家集网站建设,竹溪企业网站建设,竹溪品牌网站建设,网站定制,竹溪网站建设报价,网络营销,网络优化,竹溪网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

ZooKeeper
ZooKeeper Server：namenode01
HDFS
NameNode：namenode01
SecondaryNameNode：namenode01
DataNode：datanode[01-03]
YARN
ResourceManager：namenode01
NodeManager：datanode[01-03]
HBase
Master：namenode01
RegionServer：datanode[01-03]
Hive
HiveServer2：namenode01
Hive Metastore Server：namenode01
Spark
Master：namenode01
Worker：datanode[01-03]

二、主机名解析

修改四台服务器的主机名。

192.168.1.200 namenode01 hbase01 spark01 hive01 cluster1
192.168.1.201 datanode01 hbase02 spark02 zk01 MySQL01
192.168.1.202 datanode02 hbase03 spark03 zk02
192.168.1.203 datanode03 hbase04 spark04 zk03

Hadoop 部署之环境准备(一)

三、配置 SSH 互信

在namenode01节点上面进行操作。

ssh-keygen -t rsa
ssh-copy-id namenode01
ssh-copy-id datanode01
ssh-copy-id datanode02
ssh-copy-id datanode03

四、创建用户

创建用户（4台机器相同操作）

useradd hadoop && echo '123456' |passwd --stdin hadoop

使用命令visudo设置用户权限（4台机器相同操作），添加如下内容：

hadoop    ALL=(ALL)       ALL

五、JDK 的安装

下载JDK1.8，可以选择下载rpm包，直接安装即可使用。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html