① tableau连接spark sql 报错，怎么处理
这个分好几种情况,最常见的是你的数据量太多(小数据正常) 或是需要执行大存储过程(简单的存储过程也正常)时候出现,你需要去官网下在安装对应数据库的驱动程序.
② spark打开spark-shell报错
试试在spark-env.sh中设置： export SPARK_MASTER_IP=127.0.0.1 export SPARK_LOCAL_IP=127.0.0.1
③ 在Eclipse中跑一个Spark的算Pi例子。报错如下:
你的spark集群的主机的hosts列表中有master对应的ip吗，看看/etc/hosts中有没有一行，如果spark的主机也就是master是本地机器，就用.setMaster("spark://localhost:7077")：
好了；
建议还是用Idea来编spark程序
④ spark启动pyspark一直报错是什么问题
方法： 1。 改表法。可能是你的帐号不允许从远程登陆，只能在localhost。这个时候只要在localhost的那台电脑，登入mysql后，更改 "mysql" 数据库里的 "user" 表里的 "host" 项，从"localhost"改称"%" mysql -u root -pvmwaremysql>use mysql;mysql>update user set host = '%' where user = 'root';mysql>select host, user from user; 2. 授权法。例如，你想myuser使用mypassword从任何主机连接到mysql服务器的话。
⑤ xshell进spark shell输入代码报错
错误原因 : 一般是错误的退出spark-shell 比如使用 Ctrl + C。
解决方法：1.输入命令 : netstat -npl | grep 4040，2.使用 kill -9 进程编号 关闭 占用端口，3.输入 ps -ef | grep spark-shell，4.使用 kill -9 进程编号 关闭 spark-shell的进程即可。
⑥ spark集群配置完成后浏览器无法访问
如果在虚拟机内部输入master:50070则能正常访问hdfs页面 而在虚拟机外部的本地主机下由于未在windows中的hosts标注master的ip地址，所以直接输入master是无法访问的，可以通过输入master虚拟机的ip来访问，比如http://192.168.94.135:50070/，192.168.94.135为master虚拟机的ip
————————————————
版权声明：本文为CSDN博主“lyc0424”的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/lyc0424/article/details/106739930/
⑦ spark 4040页面 不能访问。 如果使用的是spark-shell启动写程序，4040可以出
4040页面只有在有spark 任务运行时才能访问，你在任务访问日志里也能找到类似的语句，提交job后Spark-UI才会启动。
当任务运行完了，立马端口就释放了。
所以建议你配置一下spark-history 页面，运行完了可以查看已经finished的job，下面是简单的配置步骤，具体的还请网络教程。
spark-default.conf中配置如下参数
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoopmaster:8020/user/spark_event_log
spark.history.fs.logDirectory hdfs://hadoopmaster:8020/user/spark_event_log
web ui http://sparkmaster:18080/
spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=7777 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://had
oop000:8020/directory"
参数描述：
spark.history.ui.port=7777调整WEBUI访问的端口号为7777
spark.history.fs.logDirectory=hdfs://hadoop000:8020/directory配置了该属性后，在start-history-server.sh时就无需再显示的指定路径
spark.history.retainedApplications=3 指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除
启动
cd $SPARK_HOME/sbin
start-history-server.sh
需要在启动时指定目录：
start-history-server.shhdfs://hadoop000:8020/directory
注意的是spark 程序中需要将sparkcontext stop 掉，否则即便是运行完毕，web页面也只能显示incompleted applications，而不是completed applications
⑧ spark集群启动时节点报错Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger
将/home/centos/soft/hadoop/share/hadoop/common/lib目录下的slf4j-api-1.7.5.jar文件,slf4j-log4j12-1.7.5.jar文件和commons-logging-1.1.3.jar文件拷贝到/home/centos/soft/spark/jars目录下