CentOS   发布时间:2022-04-02  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了CentOS学习18_关于CentOS 6下Hadoop占用系统态CPU高的处理办法大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

概述

一次不经意发现Hadoop的系统态CPU使用率很高,然后百度一下居然是个已知问题。 RHel6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升:http://www.linux-kvm.org/wiki/images/9/9e/2010-forum-thp.pdf。 而Hadoop是个高密集型内存运算系统,这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CP

一次不经意发现Hadoop的系统态cpu使用率很高,然后百度一下居然是个已知问题。

RHel6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升:http://www.linux-kvm.org/wiki/images/9/9e/2010-forum-thp.pdf

而Hadoop是个高密集型内存运算系统,这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户cpu才对,Cloudera官方也推荐关闭THP。于是参一些文章作了调整:

 
 
  1. #forhadoop,disablethp
  2. echonever>/sys/kernel/mm/redhat_transparent_hugepage/enabled
  3. echonever>/sys/kernel/mm/redhat_transparent_hugepage/defrag

作用非常明显:

效果很明显,大概12:05分的时候操作的,系统态占用基本消失了。文件Cache使用上升、机器负载下降。

除了手动修改运行时参数之外,还可以修改 /etc/grub.conf 里内核的启动参数,追加“transparent_hugepage=never”(此选项只对 /sys/kernel/mm/redhat_transparent_hugepage/enabled 有效)。

原本transparent_hugepage 功能是在内核2.6.38之后才引入的,红帽在RHEL6就将此功能合并进来、详细还有待进一步了解。

转自:http://os.51cto.com/art/201406/442499.htm

@H_673_57@

大佬总结

以上是大佬教程为你收集整理的CentOS学习18_关于CentOS 6下Hadoop占用系统态CPU高的处理办法全部内容,希望文章能够帮你解决CentOS学习18_关于CentOS 6下Hadoop占用系统态CPU高的处理办法所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。