A. hive sql怎么给字段内的值加上前缀
从文件加载数据进表(OVERWRITE覆盖,追加不需要OVERWRITE关键字)
LOAD DATA LOCAL INPATH 'dim_csl_rule_config.txt' OVERWRITE into table dim.dim_csl_rule_config;
--从查询语句给table插入数据
INSERT OVERWRITE TABLE test_h02_click_log PARTITION(dt) select *
from stage.s_h02_click_log where dt='2014-01-22' limit 100;
B. hive on spark overwrite 空表不覆盖
dataframe.registerTempTable("result")
sql(s"""INSERT OVERWRITE Table $outputTable PARTITION (dt ='$outputDate') select * from result""")
而整个结果数据的产生只需要4分钟左右的时间，比如以下方式：将结果以textfile存入hdfs：
result.rdd.saveAsTextFile(output_tmp_dir)
由此可见，对hive的写入操作耗用了大量的时间。
对此现象的优化可以是，将文件存为符合hive table文件的格式，然后使用hive load将产生的结果文件直接move到指定目录下。代码如下：
result.rdd.map { r => r.mkString("\001") }.repartition(partitions).saveAsTextFile(output_tmp_dir)
sql(s"""load data inpath '$output_tmp_dir' overwrite into table $output partition (dt='$dt')""")
C. hql语句怎么写向Hive中一次插入一条数据或一个字段的值，类似关系型数据库的sql语句
目前我知道的方法是把你希望添加的数据写入到文本中，然后从文本导入到你的表格中。
但是，hive不知道oracle的insert into , update。
load data [local] inpath 'yourfile_location' [overwrite] into your_table;
D. hive如何同时执行多段sql
hive sql放到文件当中，之后 hive -f filename执行
E. 如何用sql对maxcompute数据进行修改和删除
//1.你创建一个insert触发器，每当数据插入的时候判断一下是不是有你要删除的数据。 //2.你还可以创建一个存储过程，然后再做一个作业任务，让 sql server 每多长时间删除一次。
F. 如何用数字 取hive表某列值
Hive的insert语句能够从查询语句中获取数据，并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees（雇员信息全量表），所属国家cnty和所属州st是该表的两个属性，我们做个试验将该表中的数据查询出来插入到另一个表employees中。
INSERT OVERWRITE TABLE employees
PARTITION (country = '中国', state = '北京')
SELECT * FROM staged_employees se
WHERE se.cnty = '中国' AND se.st = '北京';
由于使用了OVERWRITE关键字，目标表中原来相同partition中的所有数据被覆盖，如果目标表中没有partition，则整个表会被覆盖。
如果把OVERWRITE关键字删掉，或者替换成INTO，则hive会追加而不是替代原分区或原表中的数据，这个特性在Hive v0.8.0之后才支持。
当数据已经存在于hdfs上但不是我们想要的格式的时候，当进行的计算需要分好多步骤有必要存储中间数据的时候，或者原数据没有分区、有很多无效列需要过滤的时候，可以使用insert..select句型来完成这一转换过程。
由于一个国家有很多个省份，如果想根据（国家country，地区partition）两个维度对数据进行分区的话，这条SQL语句的执行个数应该等于地区的数目，比如中国有23个省就要对该SQL语句执行23次。因此hive对这个SQL语句进行了改造，只需要扫描一次原表就可以生成不同的输出（多路输出）。比如下面的SQL语句扫描了一次原始数据表，但是同时生成了3个省份的结果数据：
FROM staged_employees se
INSERT OVERWRITE TABLE employees
PARTITION (country = '中国', state = '河北省')
SELECT * WHERE se.cnty = '中国' AND se.st = '河北省'
INSERT OVERWRITE TABLE employees
PARTITION (country = '中国', state = '陕西省')
SELECT * WHERE se.cnty = '中国' AND se.st = '陕西省'
INSERT OVERWRITE TABLE employees
PARTITION (country = '中国', state = '河南省')
SELECT * WHERE se.cnty = 'US' AND se.st = '河南省';通过缩进可以很清楚的看到，我们扫描了一次staged_employees表但是执行了3次不同的insert语句，这条大SQL语句是这么执行的：先通过from staged_employees表获取一条记录，然后执行每一个select子句，如果select子句验证通过则执行相应的insert语句。注意这里的三条select子句是完全独立执行的，并不是if .. then .. else的关系，这就意味着这3条select子句在某种情况下可能同时通过where检测。
通过这种结构，原始表的数据能被拆分到目标表的不同partition中去。
如果原表的一条记录满足于其中一个给定的select .. where .. 子句，则该记录将被写到目标表的固定分区中。其实更进一步，每条Insert语句能将数据写到不同的数据表中，不管这个表是否分区都一样。
于是，就像一个过滤器一样，原表的一些数据被写到了很多输出地址，而剩下的数据会被丢弃。
当然，你也可以混用Insert overwrite和insert into两种不同的方法写出数据。
向动态分区插入数据
但是问题还是没有解决，中国有23个省，那么我们就需要写23个insert into .. select ..where子句，这非常不现实。于是hive的一种叫做动态分区的特性就出现了，它能够根据select出来的参数自动推断将数据插入到那个分区中去。本文上面的两种SQL语句设定分区的方式都叫做静态分区插入。
将上一个SQL语句进行改动，会得到以下简洁的新SQL语句：
INSERT OVERWRITE TABLE employees
PARTITION (country, state)
SELECT ..., se.cnty, se.st
FROM staged_employees se;hive先获取select的最后两个位置的se.cnty和se.st参数值，然后将这两个值填写到Insert语句partition中的两个country和state变量中，即动态分区是通过位置来对应分区值的。原始表select出来的值和输出partition的值的关系仅仅是通过位置来确定的，和名字并没有关系，比如这里se.cnty和county的名称完全没有关系。
上面的这条SQL语句是对两个分区同时进行了动态设定，如果staged_employees表中有100个国家，每个国家有100个地区，那么该SQL语句自动对每个国家和地区建立相应的partition并插入数据，如果用手写的话不现实。
只要位置正确，你可以混用动态分区和静态分区值设定，比如下面这个例子，你可以静态指定一个country值，但是state值采用动态的方法设定：
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state)
SELECT ..., se.cnty, se.st
FROM staged_employees se
WHERE se.cnty = 'US';注意：静态分区值必须在动态分区值的前面！
G. 为什么跑hive hadoop出现很多临时文件
今天将临时表里面的数据按照天分区插入到线上的表中去，出现了Hive创建的文件数大于100000个的情况，我的SQL如下：
hive> insert overwrite table test partition(dt)
> select * from iteblog_tmp;
iteblog_tmp表里面一共有570多G的数据，一共可以分成76个分区，SQL运行的时候创建了2163个Mapper，0个Recers。程序运行到一般左右的时候出现了以下的异常：
[Fatal Error] total number of created files now is 100385, which exceeds 100000. Killing the job.
并最终导致了SQL的运行失败。这个错误的原因是因为Hive对创建文件的总数有限制（hive.exec.max.created.files），默认是100000个，而这个SQL在运行的时候每个Map都会创建76个文件，对应了每个分区，所以这个SQL总共会创建2163 * 76 = 164388个文件，运行中肯定会出现上述的异常。为了能够成功地运行上述的SQL，最简单的方法就是加大hive.exec.max.created.files参数的设置。但是这有个问题，这会导致在iteblog中产生大量的小文件，因为iteblog_tmp表的数据就570多G，那么平均每个文件的大小=570多G / 164388 = 3.550624133148405MB，可想而知，十万多个这么小的小文件对Hadoop来说是多么不好。那么有没有好的办法呢？有！
我们可以将dt相同的数据放到同一个Rece处理，这样最多也就产生76个文件，将dt相同的数据放到同一个Rece可以使用DISTRIBUTE BY dt实现，所以修改之后的SQL如下：
hive> insert overwrite table test partition(dt)
> select * from iteblog_tmp
> DISTRIBUTE BY dt;
修改完之后的SQL运行良好，并没有出现上面的异常信息，但是这里也有个问题，因为这76个分区的数据分布很不均匀，有些Rece的数据有30多G，而有些Rece只有几K，直接导致了这个SQL运行的速度很慢！
能不能将570G的数据均匀的分配给Rece呢？可以！我们可以使用DISTRIBUTE BY rand()将数据随机分配给Rece，这样可以使得每个Rece处理的数据大体一致。我设定每个Rece处理5G的数据，对于570G的数据总共会起110左右的Reces，修改的SQL如下：
hive> insert overwrite table test partition(dt)
> select * from iteblog_tmp
> DISTRIBUTE BY rand();
这个SQL运行的时间很不错，而且生产的文件数量为Rece的个数*分区的个数，不到1W个文件。
H. hive查询结果导入hadoop文件系统如何修改分隔符insert overwrite directory...
修改表的serde中的属性，把outputformat那个类换成自己写的，默认是\x001，可以修改成自用的，然后出来的文件就都按这个输出分隔符分割了。
I. insert overwrite 删除哪些数据
insert overwrite table t_table1 select * from t_table1 where XXXX;
其中xxx是你需要保留的数据的查询条件。
如果清空表，如下：
insert overwrite table t_table1 select * from t_table1 where 1=0;
J. 如何在sql server中存储图片
1、首先可以存储图片链接，设置图片链接字段，如下图所示。
