① tableau連接spark sql 報錯，怎麼處理
這個分好幾種情況,最常見的是你的數據量太多(小數據正常) 或是需要執行大存儲過程(簡單的存儲過程也正常)時候出現,你需要去官網下在安裝對應資料庫的驅動程序.
② spark打開spark-shell報錯
試試在spark-env.sh中設置： export SPARK_MASTER_IP=127.0.0.1 export SPARK_LOCAL_IP=127.0.0.1
③ 在Eclipse中跑一個Spark的算Pi例子。報錯如下:
你的spark集群的主機的hosts列表中有master對應的ip嗎，看看/etc/hosts中有沒有一行，如果spark的主機也就是master是本地機器，就用.setMaster("spark://localhost:7077")：
好了；
建議還是用Idea來編spark程序
④ spark啟動pyspark一直報錯是什麼問題
方法： 1。 改表法。可能是你的帳號不允許從遠程登陸，只能在localhost。這個時候只要在localhost的那台電腦，登入mysql後，更改 "mysql" 資料庫里的 "user" 表裡的 "host" 項，從"localhost"改稱"%" mysql -u root -pvmwaremysql>use mysql;mysql>update user set host = '%' where user = 'root';mysql>select host, user from user; 2. 授權法。例如，你想myuser使用mypassword從任何主機連接到mysql伺服器的話。
⑤ xshell進spark shell輸入代碼報錯
錯誤原因 : 一般是錯誤的退出spark-shell 比如使用 Ctrl + C。
解決方法：1.輸入命令 : netstat -npl | grep 4040，2.使用 kill -9 進程編號 關閉 佔用埠，3.輸入 ps -ef | grep spark-shell，4.使用 kill -9 進程編號 關閉 spark-shell的進程即可。
⑥ spark集群配置完成後瀏覽器無法訪問
如果在虛擬機內部輸入master:50070則能正常訪問hdfs頁面 而在虛擬機外部的本地主機下由於未在windows中的hosts標注master的ip地址，所以直接輸入master是無法訪問的，可以通過輸入master虛擬機的ip來訪問，比如http://192.168.94.135:50070/，192.168.94.135為master虛擬機的ip
————————————————
版權聲明：本文為CSDN博主「lyc0424」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/lyc0424/article/details/106739930/
⑦ spark 4040頁面 不能訪問。 如果使用的是spark-shell啟動寫程序，4040可以出
4040頁面只有在有spark 任務運行時才能訪問，你在任務訪問日誌里也能找到類似的語句，提交job後Spark-UI才會啟動。
當任務運行完了，立馬埠就釋放了。
所以建議你配置一下spark-history 頁面，運行完了可以查看已經finished的job，下面是簡單的配置步驟，具體的還請網路教程。
spark-default.conf中配置如下參數
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoopmaster:8020/user/spark_event_log
spark.history.fs.logDirectory hdfs://hadoopmaster:8020/user/spark_event_log
web ui http://sparkmaster:18080/
spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=7777 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://had
oop000:8020/directory"
參數描述：
spark.history.ui.port=7777調整WEBUI訪問的埠號為7777
spark.history.fs.logDirectory=hdfs://hadoop000:8020/directory配置了該屬性後，在start-history-server.sh時就無需再顯示的指定路徑
spark.history.retainedApplications=3 指定保存Application歷史記錄的個數，如果超過這個值，舊的應用程序信息將被刪除
啟動
cd $SPARK_HOME/sbin
start-history-server.sh
需要在啟動時指定目錄：
start-history-server.shhdfs://hadoop000:8020/directory
注意的是spark 程序中需要將sparkcontext stop 掉，否則即便是運行完畢，web頁面也只能顯示incompleted applications，而不是completed applications
⑧ spark集群啟動時節點報錯Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger
將/home/centos/soft/hadoop/share/hadoop/common/lib目錄下的slf4j-api-1.7.5.jar文件,slf4j-log4j12-1.7.5.jar文件和commons-logging-1.1.3.jar文件拷貝到/home/centos/soft/spark/jars目錄下