189 8069 5689

hadoop2.5.2的安装过程

本篇内容介绍了“hadoop2.5.2的安装过程”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

我们提供的服务有:网站制作、成都网站建设、微信公众号开发、网站优化、网站认证、汝阳ssl等。为近千家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务,是有科学管理、有技术的汝阳网站制作公司

 安装之前,想好自己的安装顺序,我的安装顺序

        1 确定安装集群的数量和namenode,datanode分配,然后修改对应的osts配置文件

        2 让集群之间实现ssh无密码登陆(hadoop集群中,namenode节点需要能够ssh无密码访问datanode节点)

        3 配置详细环境,主要为jdk包和hadoop包

 本章主要介绍安装过程,详细的配置文档请点击 --》http://my.oschina.net/u/259463/blog/514008

1 修改/etc/hosts 文件
          192.168.1.100 nameNode
          192.168.1.101 dataNode1
          192.168.1.102 dataNode2
 将集群中的机器添加到hosts中

2 实现SSH无密码验证配置
          注:1 hadoop 集群中,nameNode节点,需要能够ssh 无密码访问dataNode节点
                 2 多台机器需要重复操作 2),3) ,4)过程
      1)首先 nameNode节点生成公钥
              输入: ssh-keygen -t rsa 
                生成过程中有三次要求回车(基本全部回车不用设置)
                        1 采用默认文件保存钥匙
                        2 键入密码短语,如果建立至少5个字符
                        3 重复密码短语
      2)将生成的密钥拷贝到daataNode节点中(如果是非root用户,就是/home下该用户的主目录)
               输入: cd /root/.ssh
                          scp ./id_rsa.pub root@192.168.1.101:/root/.ssh/authorized_keys
        中间要求输入对应机器的密码,输入就行
   3)检查datanode机器authorized_keys的权限,确保为644(-rw-r--r--),如果不是,则修改权限,命令如下 chmod 644 authorized_keys
4)测试 ssh 192.168.1.101

 3 安装Jdk
   1) 这是格式为.bin的jdk
       jdk-6u45-linux-i586.bin复制到/usr/java文件夹下,在/usr/java文件夹下执行./jdk-6u45-linux-i586.bin
   2) 常见安装包为 jdk-7-linux-i586.tar.gz
        tar zvxf jdk-7-linux-i586.tar.gz /usr/java

  打开/etc/profile,在文件最后添加
  export JAVA_HOME=/usr/java/jdk1.7.0_23
  export PATH=$JAVA_HOME/bin:$PATH
  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  可以执行source profile(在/etc/文件夹下)快速生效
     输入java -version测试

 4 安装hadoop
          hadoop-2.5.2
    同jdk安装,将下载好的hadoop压缩包解压
               例:tar  -zxvf hadoop-2.5.2.tar.gz /home/hadoop
   同样在环境变量文件中添加对应的环境变量
      打开/etc/profile,在文件最后添加
  ###set hadoop_env
  export HADOOP_HOME=/home/hadoop/hadoop-2.5.2
  export HADOOP_COMMON_HOME=$HADOOP_HOME
  export HADOOP_HDFS_HOME=$HADOOP_HOME
  export HADOOP_MAPRED_HOME=$HADOOP_HOME
  export HADOOP_YARN_HOME=$HADOOP_HOME
  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
  export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  export HADOOP_OPTS=\"-Djava.library.path=$HADOOP_HOME/lib\"
 
   执行source profile(在/etc/文件夹下)快速生效

 5 配置hadoop需要的配置文件

        详情请看 http://my.oschina.net/u/259463/blog/514008

 5  用scp 命令将hadoop文件夹拷贝到所有的节点机器相同路径上。

         例子: scp -r hadoop-2.5.2/ root@dataNode01:/home/hadoop 

              -r 为文件夹里面所有文件  root为复制电脑的用户名,后面接的为IP请见上面hosts配置文件,后面跟的是复制到的路径

 6 要确认防火墙的配置,或者直接关闭

       /etc/init.d/iptables status 本次关闭为  /etc/init.d/iptables stop 其他请百度

 7 启动测试

      先格式化 namenode  方法为: ./bin/hadoop namenode -format

      如果格式化因为其他问题报错,或者不是第一次格式化 请将core-site.xml 配置文件中hadoop.tmp.dir tmp文件夹删除。

    如果输出出现(基本倒数几行里面) : /hadoop-2.5.2/hdfs/name has been successfully formatted  说明成功,报错就需要自己百度google查找问题

 8 然后将hdfs yarn启动

      sbin/start-dfs.sh
      sbin/start-yarn.sh

 9 启动成功后 可进行浏览器访问

http://192.168.1.100:50070/

http://192.168.1.100:8088/   都没有问题就说明hadoop和jdk安装成功。。然后开搞吧

“hadoop2.5.2的安装过程”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!


当前名称:hadoop2.5.2的安装过程
URL分享:http://cdxtjz.cn/article/piiise.html

其他资讯