1. spark中什么是dataframe
sparksql中为了将普通的rdd可以进行执行sql的操作，而将rdd封装成一个结构化的模型， 就是dataframe， 获得dataframe后就可以创建临时表进行sql操作了。
2. sparksql产生的临时表之间可以进行去重查询吗
（一）分批执行，就是把几万个id，按3000一组查询一次，最后把所有的查询结果在汇合起来。
（二）使用join，把几万个id创建成一张hive表，然后两表关联，可以一次性把结果给获取到。
这里倾向于第二种解决办法，比较灵活和方便扩展，尽量不要把数据集分散，一旦分散意味着客户端需要做更多的工作来合并结果集，比如随便一个sum或者dinstict，如果是第一种则需要在最终的结果集再次sum或者distinct。
3. spark dataframe 怎么去除第一行数据
然后我们进入spark-shell，控制台的提示说明Spark为我们创建了一个叫sqlContext的上下文，注意，它是DataFrame的起点。
接下来我们希望把本地的JSON文件转化为DataFrame：
scala> val df = sqlContext.jsonFile("/path/to/your/jsonfile")df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]
从控制台的提示可以得知，我们成功创建了一个DataFrame的对象，包含age和name两个字段。
而DataFrame自带的玩法就多了：// 输出表结构df.printSchema()// 选择所有年龄大于21岁的人，只保留name字段df.filter(df("age") > 21).select("name").show()// 选择name，并把age字段自增df.select("name", df("age") + 1).show()// 按年龄分组计数df.groupBy("age").count().show()// 左联表（注意是3个等号！）df.join(df2, df("name") === df2("name"), "left").show()
4. spark sql 中支持删除吗
这个是为了统计数据， 不是为了存储数据的， 所以不会。
5. spark sql支持哪些sql操作
支持Shark和sparkSQL 。
但是，随着Spark的发展，其中sparkSQL作为Spark生态的一员继续发展，而不再受限于hive，只是兼容hive；而hive on
spark是一个hive的发展计划，该计划将spark作为hive的底层引擎之一，也就是说，hive将不再受限于一个引擎，可以采用map-
rece、Tez、spark等引擎。
6. spark sql中的临时表怎么读取数据
Spark SQL就是shark ，也就是SQL on Spark。如果没记错的话，shark的开发利用了hive的API，所以支持读取HBase。而且Spark的数据类型兼容范围大于Hadoop，并且包含了Hadoop所支持的任何数据类型。
7. sparksql支持delete操作么
本来基于 HDFS 的 spark/impala 的 sql-like 的语法是挺好用的，性能也很不错，无奈 hdfs 上的存储系统一般不支持 update/delete ，只支持 insert ，刚接触 Bigdata 、 DW 这一块，不是很了解这方面的技术 /产品，有什么推荐的吗？
目前有要求如下
分布式，方便扩展
sql-like 是最好的
需要支持 update/delete 等修改
尽量是开源免费，而且不那么小众的
目前我知道 GreenPlum ， Any other ideas?
PS:没找到合适的节点。
8. sparksql的truncate=false删除表
truncate操作同没有where条件的delete操作十分相似。
1、无论truncate大表还是小表速度都非常快。delete要产生回滚信息来满足回滚需求，而truncate是不产生的。
2、truncate是DDL语句进行隐式提交，不能进行回滚操作。
3、truncate重新设定表和索引的HWM（高水标记），由于全表扫描和索引快速扫描都要读取所有的数据块知道HWM为止。所以全表扫描的性能不会因为delete而提高，但是经过truncate操作后速度会很快。
4、truncate不触发任何delete触发器。
5、不能赋给某个用户truncate其它用户表的权限。如果需要trucate其它用户表的权限必须对该用户赋DROP ANY TABLE权限。
6、当表被truncate后，这个表和索引所占用的空间会恢复到初始大小，而delete操作不会减少表或索引所占用的空间。
7、不能truncate一个带有外键的表，如果要删除首先要取消外键，然后再删除。