由于现在linux多用64bit,但是无奈haoop.apche官网只提供了32编译的hadoop2.5.2,只好自己编译。
创新互联坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站建设、成都网站设计、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的靖西网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!
(吐槽)之前,考虑用网上别人编译好的,直接拿来用,结果果断被坑。。。。
所以自己有重新折腾了一下,最后我会把自己编译好的连接放在最后面,绝对不坑,下篇博客我我会用它搭建高可用分布式hadoop集群(Hadoop HA)。 编译大约1个小时。。。
准备资料:
yum install gcc yum install gcc-c++ yum install cmake yum install openssh-devel yum install ncurses-devel
jdk 1.7 解压tar包,添加配置文件到/etc/profile
maven3.39 解压tar包,添加配置文件/etc/profile
protobuf2.5 解压;./configure ; make && make install (不熟悉编译的,请百度安装)
hadoop-2.5.2-src 源码包,官网down
ant-1.9.4 解压tar包,添加配置文件到/etc/profile
软件包链接:http://pan.baidu.com/s/1eSdQm4q 这里我我只提供ant、protobuf、maven
其他的请自行到官网下载,尤其说明的是protobuf请用我提供的,我试过2.6版本,编译会报错
配置完成的环境如下(我的主机)
检测软件是否安装成功
[root@node0 bin]# java -version java version "1.7.0_79" Java(TM) SE Runtime Environment (build 1.7.0_79-b15) Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)
[root@node0 bin]# mvn -version Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00) Maven home: /home/maven Java version: 1.7.0_79, vendor: Oracle Corporation Java home: /usr/java/jdk1.7.0_79/jre Default locale: zh_CN, platform encoding: UTF-8 OS name: "linux", version: "3.10.0-229.el7.x86_64", arch: "amd64", family: "unix"
[root@node0 bin]# protoc --version libprotoc 2.5.0
[root@node0 bin]# ant -version Apache Ant(TM) version 1.9.4 compiled on April 29 2014
解压hadoop-2.5.2-src,至此,准备工作基本完成
进入源码解压包目录,执行下面命令,你就可以睡觉了(祝你好运!):
mvn clean package -Pdist -Pnative -DskipTests-Dtar
编译完成后,如果没有错误,最后几行会出现 build success,我的忘了截图了,没办法展示了
然后,你就去你的源码解压目录中进入找如下图那个目录
全路径为:
/home/tmp/hadoop-2.5.2-src/hadoop-dist/target/ hadoop-2.5.2.tar.gz
这个就是编译好的包,改个名字,以便区分
好了,大功告成!!!!
下面给懒汉发编译好的包:http://pan.baidu.com/s/1skTuzN3