红联Linux门户
Linux帮助

hadoop运行到mapreduce.job: Running job后停止运行

发布时间:2015-10-14 09:54:49来源:linux网站作者:zhangchaokun

版本信息:Hadoop2.7.1, openjdk 8,运行在VirtualBox 5.0.6的Ubuntu 15.04上,基本上是目前(2015.10.13)最新的版本;

问题,在伪分布环境下,运行 bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output'dfs[a-z.]+'(Hadoop2.7.1里的实例)时,运行到INFO mapreduce.Job: Running job:job_....之后,就不再运行了,没有错误提示,ubuntu也基本死了。


网上解决方法:
(1)有说服务未启动的。但jps后发现6个服务都启动了,包括NameNode, ResourceManager, DataNode, NodeManager等;
(2)有说hosts文件的问题。经检查/etc/hosts中两条 127.0.0.1 localhost和127.0.1.1 <username> (<username>显示的是我的用户名)很正常;
(3)有说yarn-site.xml等文件未配置正确。经检查与官网(http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html)上所说完全一致;


最终解决方法:
原来仅是VirtualBox创建Ubuntu时分配的资源太少了:
机器配置:内存4096M、硬盘500G、4个CPU、显存128M
默认分配:内存768M、硬盘8G、1个CPU、显存12M
改变后分配值:内存1987M(提示分配给虚拟内存最高的数值,即1988M时VitualBox就提醒我分配内存太高)、硬盘64G、2个CPU、36M显存
以上数值,非专业调整,都是我感觉着调整的,也未必合理。


最终示例顺利运行过去了。


hadoop2.7.1在Ubuntu 32位上安装单机版伪分布环境:http://www.linuxdiyf.com/linux/14286.html

CentOS配置Hadoop环境变量:http://www.linuxdiyf.com/linux/12579.html

ubuntu15.04安裝hadoop2.6.0及eclipse开发环境配置:http://www.linuxdiyf.com/linux/12474.html

Ubuntu下配置Hadoop环境:http://www.linuxdiyf.com/linux/10191.html

Ubuntu15中安装hadoop2.7单机模式:http://www.linuxdiyf.com/linux/13027.html