189 8069 5689

hadoop3.x学习（一）--安装与环境配置-创新互联

一、hadoop的组成
  • hadoop1.x：Commons、HDFS（数据存储）、MapReduce（资源调度+计算）
  • hadoop2.x:Commons、HDFS（数据存储）、MapReduce（计算）、Yarn(资源调度)

1.1 HDFS

成都创新互联公司2013年开创至今，是专业互联网技术服务公司，拥有项目成都网站建设、成都网站制作网站策划，项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命，1280元赣榆做网站,已为上家服务,为赣榆各地企业和个人服务,联系电话:18980820575
  • 分布式存储文件系统。分为NameNode和DataNode
  • NameNode： 管理元数据，负责监控DataNode状态，存储在内存。
  • DataNode: 负责存储具体的数据。dataNode和nameNode有一个心跳机制，数据存储在磁盘。

1.2 Yarn（资源调度）

  • Resource Manager：所有资源（内存、CPU等）的管理者
  • Node Manager: 单一资源的管理者。
  • ApplicationMaster: 单个任务的执行者
  • Container: 容器，相当于一台独立的服务器，有对应运行所需要的的资源

在这里插入图片描述
1.2 MapReduce（计算）

将任务分发给每一台服务器，然后结果汇总到一台服务器

二、VM配置多台服务器

1.1 修改虚拟机配置ip网段

  • VM点击编辑，设置虚拟网络编辑器，点击VMnet8修改子网ip为192.168.10.0，修改网关为192.168.10.2。
  • windows打开网络配置，点击vm8修改ipv4
    在这里插入图片描述
  • 修改/etc/sysconfig/network-scripts/ifcfg-ens33
    修改BOOTPROTO为static #静态ip
    #添加一下内容
    IPADDR=192.168.10.100
    GATEWAY=192.168.10.2
    DNS1=192.168.10.2
  • 修改hostname为hadoop100
    vi /etc/hostname
  • 修改hosts映射
    vi /etc/hosts
    #添加以下内容
    192.168.10.100 hadoop100
    192.168.10.101 hadoop101
    192.168.10.102 hadoop102
    192.168.10.103 hadoop103
    192.168.10.104 hadoop104
    192.168.10.105 hadoop105
    192.168.10.106 hadoop106
    192.168.10.107 hadoop107
    192.168.10.108 hadoop108

1.2 虚拟机的基础配置

  • 如果虚拟机为最小系统安装，需要安装如下工具
    #软件库(官方的rpm会缺少一些包)
    yum install -y epel-release
    #vim
    yum install -y vim
    #net-tool
    yum install -y net-tools
  • 关闭停止防火墙
    systemctl stop firewalld
    systemctl disable firewalld.service

1.3 克隆虚拟机(hadoop102 103 104)

  • 关闭虚拟机，进行克隆，创建完整克隆
  • 轮流登录修改ip
    vi /etc/sysconfig/network-scripts/ifcfg-ens33
    修改IPADDR为192.168.10.102 (103 104)
  • 修改主机名称
    vi /etc/hostname hadoop102 (103 104)

三、配置hadoop基本的环境

1.1 在hadoop102上安装jdk和hadoop

在这里插入图片描述tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module

1.2 配置jdk的环境变量

cd /etc/profile.d
vim my_env.sh
####
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
####
source /etc/profile

1.3 安装hadoop

tar -xvzf hadoop-3.1.3.tar.gz -C /opt/module/

1.4 配置hadoop的环境变量

vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧


本文标题：hadoop3.x学习（一）--安装与环境配置-创新互联
新闻来源：http://cdxtjz.cn/article/hsiog.html

其他资讯