安装Hadoop系统，配置单机模式+伪分布式-创新互联

1. 检查ubuntu版本

站在用户的角度思考问题，与客户深入沟通，找到太原网站设计与太原网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：网站设计制作、网站设计、企业官网、英文网站、手机端网站、网站推广、域名申请、网络空间、企业邮箱。业务覆盖太原地区。2. 创建hadoop用户

sudo useradd -m hadoop -s /bin/bash

这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。

修改密码“5g”

授予管理员权限

sudo adduser hadoop sudo

注销该用户，选择Hadoop登录

3. 更新apt

sudo apt-get update

开始报错

本质是DNS解析问题，重写网络文件或者更改软件更新源

域名系统（服务）协议（DNS）是一种分布式网络目录服务，主要用于域名与 IP 地址的相互转换，以及控制因特网的电子邮件的发送。

检查服务是否开启

我知道我的网关为192.168.44.2

在linux虚拟机中打开eth0对应网络接口配置文件，修改配置：

cd /etc
sudo mkdir sysconfig
cd sysconfig
sudo mkdir network-scripts
cd network-scripts
sudo vi ./ifcfg-eth0

配置信息如下：

ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.44.12
NETMASK=255.255.255.0 GATEWAY=192.168.44.2

ONBOOT设置为yes，BOOTPROTO设置为static，由于网关为192.168.44.2，所以这台虚拟机的ip可以设置为192.168.44.*,在此，我们设置为 192.168.44.12 ,子网掩码NETMASK=255.255.255.0，网关就是之前我们查看的网关地址：GATEWAY=192.168.44.2；

设置后，不见效果

复盘
（1）检查Vmware网络服务是否开启

（2）检验VMware Network Apdapter VMnet8 连接是否启动，本地网络也得可用**（此处为禁用状态，需开启）**
（3）检查虚拟机配置

sudo service network-manager stop
sudo vim /var/lib/NetworkManager/NetworkManager.state

如果有False的，改为True
（4）sudo service network-manager start

最后在虚拟机上方可见网络状态

小结：本质上是虚拟机网络配置问题，重新配置即可更新安装包。

安装vim
略

4. 安装ssh

sudo apt-get install openssh-server

日常报错，依赖错误，删了server重装

sudo apt-get autoremove openssh-client openssh-server
sudo apt-get install openssh-client openssh-server

安装后，可以使用如下命令登陆本机：

ssh localhost

设置无密登录
先退出exit
然后按照一下命令生成密钥，并将密钥加入授权

成功无密登录

5. 安装JAVA

下载jdk安装包，放到downloads文件夹下。

cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入hadoop用户的主目录
cd Downloads  #注意区分大小写字母，刚才已经通过FTP软件把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm  #把JDK文件解压到/usr/lib/jvm目录下

设置环境变量：

cd ~
vim ~/.bashrc

按下“i”，在这个文件的开头位置，添加如下几行内容

保存并退出
继续执行如下命令让.bashrc文件的配置立即生效：

source ~/.bashrc

6. 安装Hadoop3.1.3

将 Hadoop 安装至 /usr/local/ 中：

sudo tar -zxf ~/下载/hadoop-3.1.3.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-3.1.3/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop 

输入如下命令来检查 Hadoop 是否可用

7. Hadoop单机配置

Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。

选择运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。

cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/*          # 查看运行结果

注意，Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除。rm -r ./output

8.Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

准备修改配置文件，出bug了

参考解决方案：
https://blog.csdn.net/qq_43494013/article/details/124651579

成功解决
修改2个配置文件 core-site.xml 和 hdfs-site.xml

hadoop.tmp.dirfile:/usr/local/hadoop/tmpAbase for other temporary directories.fs.defaultFShdfs://localhost:9000

dfs.replication1dfs.namenode.name.dirfile:/usr/local/hadoop/tmp/dfs/namedfs.datanode.data.dirfile:/usr/local/hadoop/tmp/dfs/data

如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。

此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），不过若没有配置
hadoop.tmp.dir 参数，则默认使用的临时目录为
/tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format
才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和
dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。

执行 NameNode 的格式化:

cd /usr/local/hadoop
./bin/hdfs namenode -format

第一行警告…WARNING: /usr/local/hadoop/logs does not exist. Creating.

接着开启 NameNode 和 DataNode 守护进程

cd /usr/local/hadoop
./sbin/start-dfs.sh

如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

其实是修改配置文件时，选用的路径错误

这次第一行没有warming

配置成功

运行实例

结果

将运行结果取回到本地

若要再次执行，需要执行如下命令删除 output 文件夹:

./bin/hdfs dfs -rm -r output    # 删除 output 文件夹

关闭 Hadoop

./sbin/stop-dfs.sh

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧

当前文章：安装Hadoop系统，配置单机模式+伪分布式-创新互联
标题链接：http://cdxtjz.cn/article/dphgjh.html