1. spark中什麼是dataframe
sparksql中為了將普通的rdd可以進行執行sql的操作，而將rdd封裝成一個結構化的模型， 就是dataframe， 獲得dataframe後就可以創建臨時表進行sql操作了。
2. sparksql產生的臨時表之間可以進行去重查詢嗎
（一）分批執行，就是把幾萬個id，按3000一組查詢一次，最後把所有的查詢結果在匯合起來。
（二）使用join，把幾萬個id創建成一張hive表，然後兩表關聯，可以一次性把結果給獲取到。
這里傾向於第二種解決辦法，比較靈活和方便擴展，盡量不要把數據集分散，一旦分散意味著客戶端需要做更多的工作來合並結果集，比如隨便一個sum或者dinstict，如果是第一種則需要在最終的結果集再次sum或者distinct。
3. spark dataframe 怎麼去除第一行數據
然後我們進入spark-shell，控制台的提示說明Spark為我們創建了一個叫sqlContext的上下文，注意，它是DataFrame的起點。
接下來我們希望把本地的JSON文件轉化為DataFrame：
scala> val df = sqlContext.jsonFile("/path/to/your/jsonfile")df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]
從控制台的提示可以得知，我們成功創建了一個DataFrame的對象，包含age和name兩個欄位。
而DataFrame自帶的玩法就多了：// 輸出表結構df.printSchema()// 選擇所有年齡大於21歲的人，只保留name欄位df.filter(df("age") > 21).select("name").show()// 選擇name，並把age欄位自增df.select("name", df("age") + 1).show()// 按年齡分組計數df.groupBy("age").count().show()// 左聯表（注意是3個等號！）df.join(df2, df("name") === df2("name"), "left").show()
4. spark sql 中支持刪除嗎
這個是為了統計數據， 不是為了存儲數據的， 所以不會。
5. spark sql支持哪些sql操作
支持Shark和sparkSQL 。
但是，隨著Spark的發展，其中sparkSQL作為Spark生態的一員繼續發展，而不再受限於hive，只是兼容hive；而hive on
spark是一個hive的發展計劃，該計劃將spark作為hive的底層引擎之一，也就是說，hive將不再受限於一個引擎，可以採用map-
rece、Tez、spark等引擎。
6. spark sql中的臨時表怎麼讀取數據
Spark SQL就是shark ，也就是SQL on Spark。如果沒記錯的話，shark的開發利用了hive的API，所以支持讀取HBase。而且Spark的數據類型兼容範圍大於Hadoop，並且包含了Hadoop所支持的任何數據類型。
7. sparksql支持delete操作么
本來基於 HDFS 的 spark/impala 的 sql-like 的語法是挺好用的，性能也很不錯，無奈 hdfs 上的存儲系統一般不支持 update/delete ，只支持 insert ，剛接觸 Bigdata 、 DW 這一塊，不是很了解這方面的技術 /產品，有什麼推薦的嗎？
目前有要求如下
分布式，方便擴展
sql-like 是最好的
需要支持 update/delete 等修改
盡量是開源免費，而且不那麼小眾的
目前我知道 GreenPlum ， Any other ideas?
PS:沒找到合適的節點。
8. sparksql的truncate=false刪除表
truncate操作同沒有where條件的delete操作十分相似。
1、無論truncate大表還是小錶速度都非常快。delete要產生回滾信息來滿足回滾需求，而truncate是不產生的。
2、truncate是DDL語句進行隱式提交，不能進行回滾操作。
3、truncate重新設定表和索引的HWM（高水標記），由於全表掃描和索引快速掃描都要讀取所有的數據塊知道HWM為止。所以全表掃描的性能不會因為delete而提高，但是經過truncate操作後速度會很快。
4、truncate不觸發任何delete觸發器。
5、不能賦給某個用戶truncate其它用戶表的許可權。如果需要trucate其它用戶表的許可權必須對該用戶賦DROP ANY TABLE許可權。
6、當表被truncate後，這個表和索引所佔用的空間會恢復到初始大小，而delete操作不會減少表或索引所佔用的空間。
7、不能truncate一個帶有外鍵的表，如果要刪除首先要取消外鍵，然後再刪除。