900字范文,内容丰富有趣,生活中的好帮手!
900字范文 > 在eclipse环境中配置hadoop开发环境遇到的问题

在eclipse环境中配置hadoop开发环境遇到的问题

时间:2022-11-30 10:21:01

相关推荐

在eclipse环境中配置hadoop开发环境遇到的问题

当时已经配置完了环境之后 想试试看hadoop自带的单词统计功能 本以为水到渠成 没想到最后一步直接出问题

在hadoop路径下进入../share/hadoop/mapreduce路径下执行该命令(包后面的命令是指要进行什么功能 要操作的文件,操作后结果的输出文件 成功的话会在myeclipse页面自动创建输出文件)后就报了这个错

抛到网上以看说是什么缺少hadoop-mapreduce-client-common-2.2.0.jar这个包,但我查了一下发现是自己有这个包

无从下手的时候看到这个包的名字mapreduce觉得很眼熟 突然想起来之前配置hadoop的时候好像见到过 会不会是配置文件出错了 最后一查 果然。。。 居然是因为mapred-site.xml这个配置文件里最后的那个yarn写成yarm了。。。。 真的是。。。一失足成千古恨啊。。

但解决完之后又给我报了个错

显示一直在连接resourcemanager 当时启动hadoop之后一直没有仔细看 然后jps一看 resourcemanager 果然没有 后来看书才知道原来这个节点要单独启动。也就是说start-dfs.sh(这条民命令其实就是启动hdfs服务也就是namenode,datanode,journalnoded以及fszkfailovercontroller这些进程的)和start-yarn.sh(这条命令才是启动resourcemanager与nodemanager这两个进程)都需要敲一遍(印象里好像只有第一条命令来着 - -... 属实学艺不精了)最后启动之后就可以啦

中间过程可能会有些慢所以要等个10s左右 这里才会传回来

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。