CentOS下hadoop完全分布式的基础配置-创新互联

配置完全分布式

创新互联公司长期为上千家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为涟源企业提供专业的成都网站设计、做网站，涟源网站改版等技术服务。拥有十多年丰富建站经验和众多成功案例,为您定制开发。

---

1、修改静态IP和主机名称

①规划IP和主机名映射

②涉及文件

etc/hostname

etc/hosts

etc/resolve.conf

etc/sysconfig/network-script/ifcfg-ens3

2、配置ssh

①删除各节点的~/.ssh目录

②在各节点创建~/.ssh目录，同时指定权限

mkdir ~/.ssh -m 700

③在主节点生成公私密钥对

//生成成公私密钥对

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cp id_rsa.pub authorized_keys     //authorized_keys为644权限

//分发公钥

scp ~/.ssh/authorized_keys centos@s202:/home/centos/.ssh/

ssh-copy-id centos@s202

④分发密钥

scp ~/.ssh/authorized_keys centos@s212:/~/.ssh/

⑤测试ssh是否成功

ssh s212

3、修改配置文件并分发到个节点

①core-site.xml

    

        fs.defaultFS

        hdfs://s201

    

②hdfs-site.xml

    

         dfs.replication

         3

        

    

           dfs.namenode.name.dir

           /home/centos/hadoop/hdfs/name

    

    

           dfs.datanode.data.dir

           /home/centos/hadoop/hdfs/data

    

    

           dfs.namenode.checkpoint.dir

           /home/centos/hadoop/hdfs/namesecondary

    

③mapred-site.xml

    

            mapreduce.framework.name

            yarn

    

④yarn-site.xml

    

        yarn.resourcemanager.hostname

        s201

    

    

        yarn.nodemanager.local-dirs

        /home/centos/hadoop/nm-local-dir

    

    

        yarn.nodemanager.aux-services

        mapreduce_shuffle

    

⑤分发配置文件

rsync etc centos@s212:/soft/hadoop/

4、NN和DN指定

slaves文件配置

5、克隆主机并修改各节点主机IP和名称

方法同步骤1

6、格式化文件系统

hdfs namenode -format

7、启动集群，观察进程

1、启动hdfs

start-dfs.sh

//涉及进程

namenode  50070  元数据

datanode  50075  数据

secondarynamenode  50090

2、启动yarn

start-yarn.sh

//涉及进程

resourcemanager

nodemanager

涉及脚本：

---

1、xcall.sh

#!/bin/bash

for host in `cat /soft/hadoop/etc/hadoop/slaves` ; do

echo ========== $host ===========

ssh $host $@ ;

done

2、xsync.sh

#!/bin/bash

param=$1

dir=`dirname $param`

fullpath=`pwd -P`

user=`whoami`

filename=`basename $param`

cd $dir

for host in `cat /soft/hadoop/etc/hadoop/slaves` ; do

echo =========== $host ============

rsync -lr $filename $user@$host:$fullpath ;

done

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

本文标题：CentOS下hadoop完全分布式的基础配置-创新互联
本文URL：http://cdxtjz.cn/article/dcohej.html