spark-submit提交jar包到集群找不到主类

所遇问题：由于在IDEA下可以方便快捷地运行scala程序，所以先前并没有在终端下使用spark-submit提交打包好的jar任务包的习惯，但是其只能在local下执行，在网上搜了好多帖子都不能启动spark集群，由于实验任务紧急只能暂时作罢IDEA下任务提交，改由终端下使用spark-submit提交打包好的jar任务。

我想问一下 为什么提交spark-submit任务一直都是显示找不到主类？？？ 救救孩子吧！

背景 我在网上把基本上能找到的方法都试过了，然后追根溯源到了idea搭建spark环境上面，这种搭建教程千奇百怪，各不相同，最终看到一位大佬的操作之后终于找到了我debug 5小时的bug(如题) 解决方案 搭建可以参考Idea本地运行spark，操作HDFS（spark-without-hadoop版的spark） 关键在于打包jar包时的选择 JAR files 来自库 提取到目标JAR –...

scala+mysql，The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server. 提交作业时，出现连接不上的问题 在本地IDEA生成jar包，放到虚拟机上执行提交任务时，出现以下错误。 下面展示一些 报错片段。 Exception in thread "main" java.sql.SQLNonTransien

执行：spark-shell 1、报When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in th environmwnt 原因是没有配置之前在/etc/profile下配置了hadoop的环境变量，但是没有配置HADOOP_CONF_DIR 解决办法： vim /U...

spark（scala版本）提交jar到集群环境的常见问题，包括找不到启动类，不显示运行应用问题 Running Applications (0)的问题和集群环境有的包，pom.xml配置依赖时使用provided。

项目配置：IDEA + Maven + spark2.2 + scala 2.11.4 + java8 问题：使用IDEA，Maven创建java和scala项目，写完代码本地运行没有问题，打包后，java程序没有问题，scala程序总是找不到主类 java.lang.ClassNotFoundException: cn.spark.sql.SparkSQLDemo at java...

　　　　　　　　　　　　Spark进阶之路-Spark提交Jar包执行 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。   　　在实际开发中，使用spark-submit提交jar包是很常见的方式，因为用spark-shell来开发项目是很苦难的（一般都用IDE），当我们开发程序完毕后，需要打成jar包。  ...

启动spark-shell或执行spark-submit失败的问题 楼主搭建了一套CDH大数据平台，其中包括Spark2服务，近来在终端启动spark-shell以及利用spark-submit提交任务时，分别报以下错误： [root@cdh0 ~]# spark-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apac

设置sparkconf的"spark.yarn.jars"属性后解决第一个为你的jar包名称，第二个为spark依赖的jar包目录。spark on yarn idea远程提交报错，查看8088日志发现。

报错原因原因一：maven打包失败，没有加入将scala编译原因二：spark-submit参数写的不对，class后面需要全类名原因三：jar包上传失败，不完整 java.lang.ClassNotFoundException: com.xxx.xxx at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang.ClassLoader.loadClass(ClassLoader.jav

在IDEA中运行WordCount成功打包后使用命令：./spark-submit --class WordCount /home/hadoop/WordCount/out/artifacts/WordCount_jar/WordCount.jar运行后报错：查了好久发现可能跟package name有关，于是尝试下面的提交方式：./spark-submit --class scala.dblab...

Spark submit spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 spark 提交到 yarn 执行的例子如下。 spark-submit --master yarn --executor-memory 20G --executor-cores 2 --driver-memory...

spark 错误: 找不到或无法加载主类 com.atguigu.wc.BatchWordCount

spark异常处理ClassNotFoundException，多注意细节，关注排障过程

1.错误：找不到主类或者无法加载主类： 分析：没有语法错误，已经引入了依赖包，应该是ides配置问题 解决办法：关联scala的SDK 解决—- 2.错误：在创建scala之后，配置spark_sql时，在pom引入了spark-sql包，但是没有引入spark-core包，无法创建Spark-Conf Spark-Context，不能导入相应的包 原因：部分idea可能父项目或者sp...

是打jar包的问题 打包的时候去掉依赖的与集群相关的jar包，只留图片中的就可以

研究一段时间发现，这与maven打包插件的机制有关，因为我在写代码的时候，使用的local是一直在运行测试的，运行测试的过程中就会产生编译后的.class文件，maven在打包的时候，如果有target的文件，是直接把tartget里编译好的写入jar包里的，如果没有，maven才会重新编译打包。我把打完的jar包打开看了一下，确实没有这个类，不仅如此，我的代码甚至没有被编译成.class文件，但是在把master改成yarn前的代码，是有被编译成.class的，类都是有的。它要是再不好，我都要红温了。

在上述代码中，`--class`参数指定了主类，`--master`参数指定了运行模式（在本地模式下使用local[*]），`/path/to/spark/examples/jars/spark-example_2.11-3.0.1.jar`是要运行的应用程序的jar文件路径。可以通过在终端中输入`echo $JAVA_HOME`来查看当前配置的JAVA_HOME路径，如果配置错误，需要将其修改为正确的JAVA_HOME路径。1. 检查Spark的jar包是否已下载并放置在正确的目录下。