一直想写一下自己学习hadoop的经历,用来协助自己了解整个学习的进程,并帮助更多的初学者进行学习。
本文介绍的所有信息都是在ubuntu14.04上,jdk1.8,hadoop2.7.4
下面分几部分介绍些整个的学习进程。
1、ubuntu系统上安装hadoop
hadoop是运行在linux系统下的java程序,因此首先需要安装一个linux系统,作者选择的是vmwork+ubuntu14.04 64位系统作为开发的环境。对于如何使用vmwork安装ubuntu系统,请百度相关信息
vmwork 下载地址 vmWork 密码:ohsl
ubuntu 下载地址 ubuntu14.04 密码: 9stz
现在默认为大家都安装完成ubuntu系统。
1、ubuntu上安装jdk
由于hadoop最终是使用java进行开发以及编译的,因此需要使用jdk。在ubuntu系统中可以使用apt-get install jdk安装jdk,但是由于在安装hadoop时,需要使用jdk目录中的一部分文件,使用apt-get install 安装的jdk,其中的bin、以及conf等文件最总会被分割到不同的地方,因此建议直接下载jdk后进行配置。
可以去orcale官网进行下载,下面给出jdk的百度网盘路径:JDK8.密码:dqk7。
将jdk-8u151-linux-x64.tar.gz拷贝到ubuntu对应的用户文件夹下。
使用命令
$tar -xvzf jdk-8u151-linux-x64.tar.gz
进行解压到文件夹下。如图
解压完后得到相应的文件。由于用户目录一般仅是用于保存用户的数据,我们需要将安装的软件保存在/usr/soft中。
使用
$cd /usr
进入usr目录,在usr目录中创建文件夹,需要管理员权限,因此需要使用sudo,
$sudo mkdir soft
输入密码后创建成功。
创建成功后需要修改该文件夹的权限,让用户具有写和执行的权限。
$sudo chmod 777 soft
并使用ls -al查看相应的权限是否成功
$ls -al
将jdk 拷贝到soft中
$mv /home/zhaofan/Downloads/jdk1.8.0_151 /usr/soft
配置环境变量
$sudo gedit /etc/environment
在该文件中添加JAVA_HOME让其指向jdk安装目录,同时在PATH中添加对应的bin
编辑完成后,受用source让改配置文件立即生效
$source /etc/environment
$java -version
可以看到java 的版本号,至此jdk安装完成
2、安装hadoop
去apache中下载hadoop,或者点击下面链接去百度网盘下载,下载密码:2vc9
hadoop下载地址
下载完成后,同样将其解压到soft文件夹中
$tar -xvzf hadoop-2.7.4.tar.gz
在soft文件夹中会出现jdk和hadoop两个文件夹
同样在enviroment中添加环境变量,配置完成后如下图。
$sudo gedit /etc/environment
$source /etc/environment
使用上面命令让环境变量起作用。
$hadoop version
进行查看hadoop的版本信息,如果提示缺少JAVA_HONE,请查看是否配置JDK,如果配置后,请重启后查看hadoop的版本
如果看到上图的信息,说明hadoop已经安装完成。
下一节,我们将讲解如何配置hadoop
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。