① 只會sql 怎麼學習spark sql
SQL Server，MySQL，SparkSQL。其實你只需要關注SQL三個字母就可以了，不要在意前綴後綴。SQL其實算一個標准，而上面三者其實算是幾個實現。你當然可以跳過，但是不管學哪個，你都得先了解下SQL本身。
SparkSQL跟前兩者差別實在太大了，談不上取代。但是我覺得對於數據分析來說，以後Spark平台很有前途，所以這其實是一個不錯的選擇。但是，SparkSQL其實只是帶來了一些方便，你千萬別認為用了SparkSQL就能作數據分析了，因為現在說這話實在太早了。
你覺得現在SparkSQL的可用性已經到達這個程度了嗎看
Spark生態圈還遠沒有完善到這個程度。比如SparkSQL還僅僅是alpha狀態，MLlib演算法也非常少，MLBase可能要等相當長的一段時間才會出來。
如果是工程師，現在Spark的基礎API已經趨於完善，很多東西可能自己寫就行了。但如果是數據分析師，可能你就不太可能獨立做這件事了，可能需要工程師團隊協助才行。
② 為什麼說Spark SQL遠遠超越了MPP SQL
這里說的並不是性能，因為我沒嘗試對比過（下文會有簡單的說明），而是嘗試從某種更高一層次的的角度去看，為什麼Spark SQL 是遠遠超越MPP SQL的。
Spark SQL 和 MPP SQL 其實不在一個維度上。簡而言之，
MPP SQL 是 Spark SQL 的一個子集
Spark SQL 成為了一種跨越領域的交互形態
MPP SQL 是 Spark SQL 的一個子集
MPP SQL 要解決的技術問題是海量數據的查詢問題。這里根據實際場景，你還可以加上一些修飾詞彙，譬如秒級，Ad-hoc 之類。
在實際業務中
探索類業務，比如KPI多維分析，用戶畫像查詢，數據科學家摸底數據等
運營類業務，比如報表（現在很多BI系統基本上完全基於SQL來構建），各種運營臨時統計需求
分析類業務，不過這個會比較淺顯。顯然，真實的的分析應該主要依託一些統計類，機器學習等技術的支持
運維類業務，比如實時查詢查看海量的系統日誌等
MPP SQL 是有一定的性能優勢的，從HAWQ,Impala 等都是基於MPP架構的。然而僅限於此。這些功能Spark SQL 目前都已經涵蓋了，MPP SQL能做的事情，Spark SQL都完成的很漂亮。
依託於Spark 自身的全平台性(漂亮的DataSource API以及各個廠商的努力適配),Spark SQL 基本上可以對接任意多個異構數據源進行分析和查詢。大家可參考我的一個簡略實現 利用StreamingPro實現SQL-互動式查詢。
關於性能可以再多說兩句：
得益於一些具有復雜存儲格式的文件的誕生，譬如CarbonData, Spark SQL 已經實現海量數據的秒級查詢
Spark 自身通過Tungsten等項目的優化(尤其是代碼自動生成)，速度越來越生猛，而JVM譬如GC帶來的問題則可以進一步通過off-heap的方式減少。
所以 Spark SQL 和 MPP SQL在性能上的差距也會越來越小。
Spark SQL 成為了一種跨越領域的交互形態
Spark 通過使用DS（2.0統一了DF 和 DS，使用一套SQL引擎）極大的增強了交互語意，意味著你可以用SQL（DS）作為統一的交互語言完成流式，批處理，互動式查詢，機器學習等大數據領域常見場景。這在任何一個系統都是不多見的，也可見Spark團隊的抽象能力。
引言中的那篇文章其實是作者吐槽Spark 團隊對Spark core（RDD）那層關注太少了，所以開始發牢騷。
現在我們再回過頭來看我們常見的一些業務：
實時分析類業務
探索類業務
分析預測類業務
運營報表類業務
首先這些業務都可以使用Spark 來實現。其次統一的交互介面都是DS(DF/SQL),並且DS/SQL 是一套極度易用並且廣泛普及和接受的。
當然Spark 也不是一步就做到這點的，原來流式計算和批量計算就是兩套API, DF 和 DS 也是兩套API,後面經過發展，Databricks 團隊也在積極思考和慢慢成長，經過先前已經有的積累，才做到現在的這一步。
所以本質上DS/SQL 已經成為除了RDD API 以外，另外一套通用的，統一的互動式API，涵蓋了流式，批處理，互動式查詢，機器學習等大數據領域。這也是我們第一次達成這樣的統一，目前來看也僅在Spark平台上得以實現，它是的大數據的使用和學習門檻進一步降低，功在千秋。
RDD VS DS/SQL
DS/SQL 是一套數據類型首先，操作種類受限的表達語言，意味著Spark 團隊可以做更好的性能優化，也意味著門檻更低，在易用性和性能上都能取得良好的平衡
③ Kylin 與 Spark SQL相比，有哪些差異和優勢
SparkSQL本質上是基於DAG模型的MPP。而Kylin核心是Cube(多維立方體)。關於MPP和Cube預處理的差異，重復如下：
>
MPP [1]
的基本思路是增加機器來並行計算，從而提高查詢速度。比如掃描8億記錄一台機器要處理1小時，但如果用100台機器來並行處理，就只要一分鍾不到。再配合
列式存儲和一些索引，查詢可以更快返回。要注意這里在線運算量並沒有減小，8億條記錄還是要掃描一次，只是參與的機器多了，所以快了。
>
MOLAP Cube [2][3]
是一種預計算技術，基本思路是預先對數據作多維索引，查詢時只掃描索引而不訪問原始數據從而提速。8億記錄的一個3維索引可能只有幾萬條記錄，規模大大縮
小，所以在線計算量大大減小，查詢可以很快。索引表也可以採用列存儲，並行掃描等MPP常用的技術。但多維索引要對多維度的各種組合作預計算，離線建索引
需要較大計算量和時間，最終索引也會佔用較多磁碟空間。
除
了有無預處理的差異外，SparkSQL與Kylin對數據集大小的偏好也不一樣。如果數據可以基本放入內存，Spark的內存緩存會讓SparkSQL
有好的表現。但對於超大規模的數據集，Spark也不能避免頻繁的磁碟讀寫，性能會大幅下降。反過來Kylin的Cube預處理會大幅減小在線數據規模，
對於超大規模數據更有優勢。
④ hive和sparksql的區別
歷史上存在的原理，以前都是使用hive來構建數據倉庫，所以存在大量對hive所管理的數據查詢的需求。而hive、shark、sparlSQL都可以進行hive的數據查詢。shark是使用了hive的sql語法解析器和優化器，修改了執行器，使之物理執行過程是跑在spark上；而sparkSQL是使用了自身的語法解析器、優化器和執行器，同時sparkSQL還擴展了介面，不單單支持hive數據的查詢，可以進行多種數據源的數據查詢。
⑤ spark的join和sql的join的區別
spark的join和sql的join的區別
沒區別，inner join 是內連接 join默認就是inner join。
Table A
aid adate
1 a1
2 a2
3 a3
TableB
bid bdate
1 b1
2 b2
4 b4
兩個表a,b相連接,要取出id相同的欄位
select * from a inner join b on a.aid = b.bid這是僅取出匹配的數據.
此時的取出的是:
1 a1 b1
2 a2 b2
那麼left join 指:
select * from a left join b on a.aid = b.bid
首先取出a表中所有數據,然後再加上與a,b匹配的的數據
此時的取出的是:
1 a1 b1
2 a2 b2
3 a3 空字元
同樣的也有right join
指的是首先取出b表中所有數據,然後再加上與a,b匹配的的數據
此時的取出的是:
1 a1 b1
2 a2 b2
4 空字元 b4
LEFT JOIN 或 LEFT OUTER JOIN。
左向外聯接的結果集包括 LEFT OUTER 子句中指定的左表的所有行，而不僅僅是聯接列所匹配的行。如果左表的某行在右表中沒有匹配行，則在相關聯的結果集行中右表的所有選擇列表列均為空值
二. left join/right join/inner join操作演示
表A記錄如下：
aID aNum
1 a20050111
2 a20050112
3 a20050113
4 a20050114
5 a20050115
表B記錄如下:
bID bName
1 2006032401
2 2006032402
3 2006032403
4 2006032404
8 2006032408
實驗如下:
1. left join
sql語句如下:
SELECT * FROM A
LEFT JOIN B
ON A.aID = B.bID
結果如下:
aID aNum bID bName
1 a20050111 1 2006032401
2 a20050112 2 2006032402
3 a20050113 3 2006032403
4 a20050114 4 2006032404
5 a20050115 NULL NULL
（所影響的行數為 5 行）
結果說明:
left join是以A表的記錄為基礎的,A可以看成左表,B可以看成右表,left join是以左表為準的.
換句話說,左表(A)的記錄將會全部表示出來,而右表(B)只會顯示符合搜索條件的記錄(例子中為: A.aID = B.bID).
B表記錄不足的地方均為NULL.
2. right join
sql語句如下:
SELECT * FROM A
RIGHT JOIN B
ON A.aID = B.bID
結果如下:
aID aNum bID bName
1 a20050111 1 2006032401
2 a20050112 2 2006032402
3 a20050113 3 2006032403
4 a20050114 4 2006032404
NULL NULL 8 2006032408
（所影響的行數為 5 行）
⑥ SQL語句如何用spark SQL代替
Spark SQL到底支持什麼SQL語句
scala語言不是很容易懂，但是裡面有解析SQL的方法，可以看出支持的SQL語句，至少關鍵詞是很明確的。
protected val ALL = Keyword("ALL")
protected val AND = Keyword("AND")
protected val APPROXIMATE = Keyword("APPROXIMATE")
protected val AS = Keyword("AS")
protected val ASC = Keyword("ASC")
protected val BETWEEN = Keyword("BETWEEN")
protected val BY = Keyword("BY")
protected val CASE = Keyword("CASE")
protected val CAST = Keyword("CAST")
protected val DESC = Keyword("DESC")
protected val DISTINCT = Keyword("DISTINCT"）
⑦ spark sql和sql的區別
https://wenku..com/view/a085b5365fbfc77da369b158.html
⑧ spark SQL和hive到底什麼關系
Hive是一種基於HDFS的數據倉庫，並且提供了基於SQL模型的，針對存儲了大數據的數據倉庫，進行分布式交互查詢的查詢引擎。
SparkSQL並不能完全替代Hive，它替代的是Hive的查詢引擎，SparkSQL由於其底層基於Spark自身的基於內存的特點，因此速度是Hive查詢引擎的數倍以上，Spark本身是不提供存儲的，所以不可能替代Hive作為數據倉庫的這個功能。
SparkSQL相較於Hive的另外一個優點，是支持大量不同的數據源，包括hive、json、parquet、jdbc等等。SparkSQL由於身處Spark技術堆棧內，基於RDD來工作，因此可以與Spark的其他組件無縫整合使用，配合起來實現許多復雜的功能。比如SparkSQL支持可以直接針對hdfs文件執行sql語句。
⑨ sparkSQL和spark有什麼區別
Spark為結構化數據處理引入了一個稱為Spark SQL的編程模塊。簡而言之，sparkSQL是Spark的前身，是在Hadoop發展過程中，為了給熟悉RDBMS但又不理解MapRece的技術人員提供快速上手的工具。
sparkSQL提供了一個稱為DataFrame（數據框）的編程抽象，DF的底層仍然是RDD，並且可以充當分布式SQL查詢引擎。
SparkSql有哪些特點呢？
1）引入了新的RDD類型SchemaRDD，可以像傳統資料庫定義表一樣來定義SchemaRDD。
2）在應用程序中可以混合使用不同來源的數據，如可以將來自HiveQL的數據和來自SQL的數據進行Join操作。
3）內嵌了查詢優化框架，在把SQL解析成邏輯執行計劃之後，最後變成RDD的計算。
⑩ Spark SQL到底支持什麼SQL語句
Spark SQL到底支持什麼SQL語句
scala語言不是很容易懂，但是裡面有解析SQL的方法，可以看出支持的SQL語句，至少關鍵詞是很明確的。
protected val ALL = Keyword("ALL")
protected val AND = Keyword("AND")
protected val APPROXIMATE = Keyword("APPROXIMATE")
protected val AS = Keyword("AS")
protected val ASC = Keyword("ASC")
protected val BETWEEN = Keyword("BETWEEN")
protected val BY = Keyword("BY")
protected val CASE = Keyword("CASE")
protected val CAST = Keyword("CAST")
protected val DESC = Keyword("DESC")
protected val DISTINCT = Keyword("DISTINCT")