189 8069 5689

Hadoop的参数怎么调优

本篇内容主要讲解“Hadoop的参数怎么调优”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Hadoop的参数怎么调优”吧!

网站建设哪家好,找成都创新互联公司!专注于网页设计、网站建设、微信开发、微信小程序定制开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了牧野免费建站欢迎大家使用!

1、搭建集群之前,在hdfs-site.xml中提前配置好多目录

2、dfs.nammenode.handler.count=20*log2(集群总数量),是namenode线程池,处理datanode的心跳、客户端请求等

3、editslog存储路径dfs.nammenode.edits.dir 和 dfs.nammenode.name.dir 分开配置

4、yarn物理内存默认8g,任务如果卡死可以调低下,不会动态分配,yarn.nodemanager.resource.memory-mb

5、mr的参数优化,环形缓冲区大小io.sort.mb 默认100M ,可根据集群性能调整;溢写文件百分比io.sort.spill.percent 默认80%,可根据集群性能调至90%~95%,以及map任务个数和reduce拉取个数的调整。

到此,相信大家对“Hadoop的参数怎么调优”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!


分享标题:Hadoop的参数怎么调优
地址分享:http://cdxtjz.cn/article/gjdhps.html

其他资讯