在本地提交一个spark job,出现如下错误
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
在网上搜了一下,出现这种错误一般有两种原因,
1.内存不足。
2.主机名和IP配置不正确。
检查了一下,我只是跑一个简单的测试程序,内存是完全够用的,我也在spark web console上确认了内存是足够的。
为了确认主机名和IP的问题,我把SparkContext的内容打印了出来
spark.app.id=app-20150806145030-0003
spark.app.name=Simple Application
spark.cores.max=5
spark.driver.host=192.168.56.1
spark.driver.port=61685
……
spark.app.name=Simple Application
spark.cores.max=5
spark.driver.host=192.168.56.1
spark.driver.port=61685
……
这里显示我的IP是192.168.56.1,但实际上这是我的windows虚拟机的IP地址,而我本机的IP地址是192.168.100.151.
在提交spark job之后,server端需要反馈进度给driver host,所以反馈消息被发送到了虚拟机上而本机并没有收到,导致这个异常的发生。所以如果你的机器上装有虚拟机,在运行spark程序之前,最好用ifconfig <interface> down把虚拟机网卡关掉。
相关推荐
scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your clus ter UI to ensure that workers are registered and have sufficient resources 调度器:初始化Job时没有足够的资源,...
hadoop2.6版本的dll,网上比较多的是2.2的dll,如果2.6版本用2.2的dll,会报hadoop 2.6 UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArra 错误,因为2.2的dll中...
1.在写循环的时候遇见这个的 原创文章 96获赞 50访问量 6万+ 关注 私信 展开阅读全文 作者:itwangyang520
支持windows开发hadoop的连接,解决报警Did not find winutils.exe: java.io.FileNotFoundException
如果出现如下bug:“Could not locate executable null\bin\winutils.exe in the Hadoop binaries”,则下载该文件,放入hadoop的bin文件夹下,并设置环境变量HADOOP_HOME:F:\hadoop2.7.x即可。
Spark –跨集群的快速闪电分析001_preflight_check 在Scala中启动Spark Shell ./bin/spark-shell 如果Spark出现网络错误,请使用以下命令强制Spark使用本地网络。 SPARK_LOCAL_IP=127.0.0.1 ./bin/spark-shell 要...
runtime-core.esm-bundler.js:38 [Vue warn]: Hydration children mismatch in <div>: server rendered element contains fewer child nodes than client vdom. at <Home xss=removed> ref=Ref< undefined> > at ...
CentOS 7.9版本(CentOS-Userland-7-armv7hl-generic-KDE-2009-sda.raw)适用于ARM32 (armhfp),必须集齐2个文件才能一起解压缩使用,2个文件下载地址: CentOS-Userland-7-armv7hl-generic-KDE-2009-sda.raw.part2...
搭建hadoop 环境时遇到启动异常告警问题 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable” 上来不多说,百度收集些相关...
在windows环境下的eclipse或者idea中编写spark应用时,有时为了验证程序功能需要以本地模式运行测试。常常会遇到如下的异常: java.io.Exception: Could not locate executable null\bin\winutils.exe in the Hadoop...
[Vue warn]: Hydration node mismatch: - Client vnode: animateTransform - Server rendered DOM: at <Home xss=removed> ref=Ref< undefined> > at at 兴趣点 /src/pages/Home.vue 。 其余文件无关紧要...
20080629更新快门软件(无插件版,内附注册技巧)由于上传不能大于10M所以用RAR分卷压缩成两个文件,下载两个文件后点击任意一个文件即可解压缩使用.
NULL 博文链接:https://tianzhuowan.iteye.com/blog/1275487
[Vue warn]: Error in v-on handler: “ReferenceError: Toast is not defined” 解决方法: handleClick(){ this.$toast('点击提示') } 补充知识:vue+vant移动端遇到的那些问题 1、项目引用了lib-flexible 跟px...
2013-08-12 14:33:37.672:WARN::Nested in org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'sqlSessionFactory' defined in URL [file:/E:/cloudwave-core/src/main/...
示波器基础操作技能培训PPT,规范示波器的使用方法,避免使用过程中造成示波器的异常损坏,给公司财产和仪器使用带来不必要的麻烦
ST-LINK_V2驱动
eslint-plugin-only-warn 将错误降级为警告 安装 您首先需要安装 : $ npm i eslint --save-dev 接下来,安装eslint-plugin-only-warn : $ npm install eslint-plugin-only-warn --save-dev 注意:如果全局安装...
[Vue warn]: Avoid mutating a prop directly since the value will be overwritten whenever the parent component re-renders. Instead, use a data or computed property based on the prop’s value. Prop being...
不带垃圾场的`yard doc`输出[warn]: in YARD::Handlers::Ruby::MixinHandler: Undocumentable mixin: YARD::Parser::UndocumentableError for class ROM::Types in file 'core/lib/rom/types.rb':9: 9: include ...