189 8069 5689
小编给大家分享一下Hadoop中的MapReduce是什么，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！
创新互联专业提供绵阳服务器托管服务，为用户提供五星数据中心、电信、双线接入解决方案，用户可自行在线购买绵阳服务器托管服务，并享受7*24小时金牌售后服务。
在MapReduce中，它也是主从结构，主节点：JobTracker，从节点：TaskTracker。主节点只有一个从节点有很多个，主节点在主机上，从节点分布到其他机器上。
JobTracker：
作用：
1、负责接收用户提交的作业；
2、负责把计算任务分给TaskTracker执行；
3、监控TaskTracker的执行情况；
TaskTracker：
作用：
1、执行JobTracker分配的计算任务；
JobClient：
概念：是用户作业与JobTracker交互的主要接口。
作用：
1、负责提交作业，负责启动；
2、跟踪任务执行；
3、访问任务状态和日志等；
Hadoop中基于RPC的通信协议
1、JobSubmissionProtocol：是JobClient与JobTracker通信的接口。
执行过程：TaskTracker每隔一段时间向JobTracker发送hearbeat(心跳机制)提交当前TaskTracker所在机
器的内存，CPU，磁盘等状态信息，是否可以接收新任务等信息；JobTracker接收到hearbeat
给TaskTracker返回需要所做的job或task操作，是否开启新的任务。TaskTracker可以从取
得JobTracker取得当前文件系统路径，需要执行Job的Jar文件路径等.
2、InterTrackerProtocol：是TaskTracker与JobTracker通信的接口。
作用：主要用来提交，执行Job和取得当前Job状态；JobClient可以通过此协议提交Job(submitJob),
取得当前Job的参数，状态，Counter，Task状态，文件系统路径，jar文件路径，所有Job的状
态，还有Job队列的信息，此外JobClient还可以提交KillJob和设定Job优先级等任务到 JobTracker。
MapReduce中驱动默认设置：
InputFormat | TextInputFormat |
MapperClass | IdentityMapper |
MapOutputKeyClass | LongWritable |
MapOutputValueClass | Text |
PartitionerClass | HashPartitioner |
ReduceClass | IdentityReduce |
OutputKeyClass | LongWritable |
OutputValueClass | Text |
OutputFormatClass | TextOutputFormat |
MapReduce中常见的算法
1、单词计数
2、数据去重
3、排序
4、Top k
5、选择
6、投影
7、分组
8、多表连接
9、单表关联
MapReduce原理
MapReduce为什么能实现失败检测？
正是由于采用了无共享框架，所有MapReduce才能够实现失败检测，这也意味着各个任务之间彼此独立。
MapReduce作业：
MapReduce作业(Job)是客户端需要执行的一个工作单元：它包括输入数据，MapReduce程序和配置信息等。
注意：在MapReduce中不能处理文件名以_(下划线)开头的文件.
以上是“Hadoop中的MapReduce是什么”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！