① hive sql 中 怎么用变量
分页实现的方式比较多了
下面举个例子
比如
获取前10条数据
注：同时需要记录这10条中最大的id为preid，作为下一页的条件。
select
*
from
table
order
by
id
asc
limit
10;
select
*
from
table
where
id
>preid
order
by
id
asc
limit
10;
② hive支持以下哪些sql特性
一、关系运算：1. 等值比较: =
语法：A=B
操作类型：所有基本类型
描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE
举例：
hive>select 1 from lxw_al where 1=1;
1
2. 不等值比较: <>
语法: A <> B
操作类型: 所有基本类型
描述: 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A与表达式B不相等，则为TRUE；否则为FALSE
举例：
hive> select1 from lxw_al where 1 <> 2;
1
3. 小于比较: <
语法: A < B
操作类型: 所有基本类型
描述: 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A小于表达式B，则为TRUE；否则为FALSE
举例：
hive> select1 from lxw_al where 1 < 2;
1
4. 小于等于比较: <=
语法: A <= B
操作类型: 所有基本类型
描述: 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A小于或者等于表达式B，则为TRUE；否则为FALSE
举例：
hive> select1 from lxw_al where 1 <= 1;
1
5. 大于比较: >
语法: A > B
操作类型: 所有基本类型
描述: 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A大于表达式B，则为TRUE；否则为FALSE
举例：
hive> select1 from lxw_al where 2 > 1;
1
6. 大于等于比较: >=
语法: A >= B
操作类型: 所有基本类型
描述: 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A大于或者等于表达式B，则为TRUE；否则为FALSE
举例：
hive> select1 from lxw_al where 1 >= 1;
1
注意：String的比较要注意(常用的时间比较可以先to_date之后再比较)
hive> select* from lxw_al;
OK
201111120900:00:00 2011111209
hive> selecta,b,a<b,a>b,a=b from lxw_al;
201111120900:00:00 2011111209 false true false
7. 空值判断: IS NULL
语法: A IS NULL
操作类型: 所有类型
描述: 如果表达式A的值为NULL，则为TRUE；否则为FALSE
举例：
hive> select1 from lxw_al where null is null;
1
8. 非空判断: IS NOTNULL
语法: A IS NOT NULL
操作类型: 所有类型
描述: 如果表达式A的值为NULL，则为FALSE；否则为TRUE
举例：
hive> select1 from lxw_al where 1 is not null;
1
9. LIKE比较: LIKE
语法: A LIKE B
操作类型: strings
描述: 如果字符串A或者字符串B为NULL，则返回NULL；如果字符串A符合表达式B 的正则语法，则为TRUE；否则为FALSE。B中字符”_”表示任意单个字符，而字符”%”表示任意数量的字符。
举例：
hive> select1 from lxw_al where 'football' like 'foot%';
1
hive> select1 from lxw_al where 'football' like 'foot____';
1
注意：否定比较时候用NOT ALIKE B
hive> select1 from lxw_al where NOT 'football' like 'fff%';
1
10. JAVA的LIKE操作: RLIKE
语法: A RLIKE B
操作类型: strings
描述: 如果字符串A或者字符串B为NULL，则返回NULL；如果字符串A符合JAVA正则表达式B的正则语法，则为TRUE；否则为FALSE。
举例：
hive> select1 from lxw_al where 'footbar’ rlike '^f.*r$’;
1
注意：判断一个字符串是否全为数字：
hive>select 1from lxw_al where '123456' rlike '^\\d+$';
1
hive> select1 from lxw_al where '123456aa' rlike '^\\d+$';
11. REGEXP操作: REGEXP
语法: A REGEXP B
操作类型: strings
描述: 功能与RLIKE相同
举例：
hive> select1 from lxw_al where 'footbar' REGEXP '^f.*r$';
1
二、数学运算：1. 加法操作: +
语法: A + B
操作类型：所有数值类型
说明：返回A与B相加的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。比如，int + int 一般结果为int类型，而int + double 一般结果为double类型
举例：
hive> select1 + 9 from lxw_al;
10
hive> createtable lxw_al as select 1 + 1.2 from lxw_al;
hive>describe lxw_al;
_c0 double
2. 减法操作: -
语法: A – B
操作类型：所有数值类型
说明：返回A与B相减的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。比如，int – int 一般结果为int类型，而int – double 一般结果为double类型
举例：
hive> select10 – 5 from lxw_al;
5
hive> createtable lxw_al as select 5.6 – 4 from lxw_al;
hive>describe lxw_al;
_c0 double
3. 乘法操作: *
语法: A * B
操作类型：所有数值类型
说明：返回A与B相乘的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。注意，如果A乘以B的结果超过默认结果类型的数值范围，则需要通过cast将结果转换成范围更大的数值类型
举例：
hive> select40 * 5 from lxw_al;
200
4. 除法操作: /
语法: A / B
操作类型：所有数值类型
说明：返回A除以B的结果。结果的数值类型为double
举例：
hive> select40 / 5 from lxw_al;
8.0
注意：hive中最高精度的数据类型是double,只精确到小数点后16位，在做除法运算的时候要特别注意
hive>select ceil(28.0/6.999999999999999999999) from lxw_allimit 1;
结果为4
hive>select ceil(28.0/6.99999999999999) from lxw_al limit1;
结果为5
5. 取余操作: %
语法: A % B
操作类型：所有数值类型
说明：返回A除以B的余数。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。
举例：
hive> select 41 % 5 from lxw_al;
1
hive> select 8.4 % 4 from lxw_al;
0.40000000000000036
注意：精度在hive中是个很大的问题，类似这样的操作最好通过round指定精度
hive> select round(8.4 % 4 , 2) from lxw_al;
0.4
6. 位与操作: &
语法: A & B
操作类型：所有数值类型
说明：返回A和B按位进行与操作的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。
举例：
hive> select 4 & 8 from lxw_al;
0
hive> select 6 & 4 from lxw_al;
4
7. 位或操作: |
语法: A | B
操作类型：所有数值类型
说明：返回A和B按位进行或操作的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。
举例：
hive> select 4 | 8 from lxw_al;
12
hive> select 6 | 8 from lxw_al;
14
8. 位异或操作: ^
语法: A ^ B
操作类型：所有数值类型
说明：返回A和B按位进行异或操作的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。
举例：
hive> select 4 ^ 8 from lxw_al;
12
hive> select 6 ^ 4 from lxw_al;
2
9．位取反操作: ~
语法: ~A
操作类型：所有数值类型
说明：返回A按位取反操作的结果。结果的数值类型等于A的类型。
举例：
hive> select ~6 from lxw_al;
-7
hive> select ~4 from lxw_al;
-5
三、逻辑运算：1. 逻辑与操作: AND
语法: A AND B
操作类型：boolean
说明：如果A和B均为TRUE，则为TRUE；否则为FALSE。如果A为NULL或B为NULL，则为NULL
举例：
hive> select 1 from lxw_al where 1=1 and 2=2;
1
2. 逻辑或操作: OR
语法: A OR B
操作类型：boolean
说明：如果A为TRUE，或者B为TRUE，或者A和B均为TRUE，则为TRUE；否则为FALSE
举例：
hive> select 1 from lxw_al where 1=2 or 2=2;
1
3. 逻辑非操作: NOT
语法: NOT A
操作类型：boolean
说明：如果A为FALSE，或者A为NULL，则为TRUE；否则为FALSE
举例：
hive> select 1 from lxw_al where not 1=2;
1
四、数值计算1. 取整函数: round
语法: round(double a)
返回值: BIGINT
说明: 返回double类型的整数值部分（遵循四舍五入）
举例：
hive> select round(3.1415926) from lxw_al;
3
hive> select round(3.5) from lxw_al;
4
hive> create table lxw_al as select round(9542.158) fromlxw_al;
hive> describe lxw_al;
_c0 bigint
2. 指定精度取整函数: round
语法: round(double a, int d)
返回值: DOUBLE
说明: 返回指定精度d的double类型
举例：
hive> select round(3.1415926,4) from lxw_al;
3.1416
3. 向下取整函数: floor
语法: floor(double a)
返回值: BIGINT
说明: 返回等于或者小于该double变量的最大的整数
举例：
hive> select floor(3.1415926) from lxw_al;
3
hive> select floor(25) from lxw_al;
25
4. 向上取整函数: ceil
语法: ceil(double a)
返回值: BIGINT
说明: 返回等于或者大于该double变量的最小的整数
举例：
hive> select ceil(3.1415926) from lxw_al;
4
hive> select ceil(46) from lxw_al;
46
5. 向上取整函数: ceiling
语法: ceiling(double a)
返回值: BIGINT
说明: 与ceil功能相同
举例：
hive> select ceiling(3.1415926) from lxw_al;
4
hive> select ceiling(46) from lxw_al;
46
6. 取随机数函数: rand
语法: rand(),rand(int seed)
返回值: double
说明: 返回一个0到1范围内的随机数。如果指定种子seed，则会等到一个稳定的随机数序列
举例：
hive> select rand() from lxw_al;
0.5577432776034763
hive> select rand() from lxw_al;
0.6638336467363424
hive> select rand(100) from lxw_al;
0.7220096548596434
hive> select rand(100) from lxw_al;
0.7220096548596434
7. 自然指数函数: exp
语法: exp(double a)
返回值: double
说明: 返回自然对数e的a次方
举例：
hive> select exp(2) from lxw_al;
7.38905609893065
自然对数函数: ln
语法: ln(double a)
返回值: double
说明: 返回a的自然对数
举例：
hive> select ln(7.38905609893065) from lxw_al;
2.0
8. 以10为底对数函数: log10
语法: log10(double a)
返回值: double
说明: 返回以10为底的a的对数
举例：
hive> select log10(100) from lxw_al;
2.0
9. 以2为底对数函数: log2
语法: log2(double a)
返回值: double
说明: 返回以2为底的a的对数
举例：
hive> select log2(8) from lxw_al;
3.0
10. 对数函数: log
语法: log(double base, double a)
返回值: double
说明: 返回以base为底的a的对数
举例：
hive> select log(4,256) from lxw_al;
4.0
11. 幂运算函数: pow
语法: pow(double a, double p)
返回值: double
说明: 返回a的p次幂
举例：
hive> select pow(2,4) from lxw_al;
16.0
12. 幂运算函数: power
语法: power(double a, double p)
返回值: double
说明: 返回a的p次幂,与pow功能相同
举例：
hive> select power(2,4) from lxw_al;
16.0
13. 开平方函数: sqrt
语法: sqrt(double a)
返回值: double
说明: 返回a的平方根
举例：
hive> select sqrt(16) from lxw_al;
4.0
14. 二进制函数: bin
语法: bin(BIGINT a)
返回值: string
说明: 返回a的二进制代码表示
举例：
hive> select bin(7) from lxw_al;
111
15. 十六进制函数: hex
语法: hex(BIGINT a)
返回值: string
说明: 如果变量是int类型，那么返回a的十六进制表示；如果变量是string类型，则返回该字符串的十六进制表示
举例：
hive> select hex(17) from lxw_al;
11
hive> select hex(‘abc’) from lxw_al;
616263
16. 反转十六进制函数: unhex
语法: unhex(string a)
返回值: string
说明: 返回该十六进制字符串所代码的字符串
举例：
hive> select unhex(‘616263’)from lxw_al;
abc
hive> select unhex(‘11’)from lxw_al;
-
hive> select unhex(616263) from lxw_al;
abc
17. 进制转换函数: conv
语法: conv(BIGINT num, int from_base, int to_base)
返回值: string
说明: 将数值num从from_base进制转化到to_base进制
举例：
hive> select conv(17,10,16) from lxw_al;
11
hive> select conv(17,10,2) from lxw_al;
10001
18. 绝对值函数: abs
语法: abs(double a) abs(int a)
返回值: double int
说明: 返回数值a的绝对值
举例：
hive> select abs(-3.9) from lxw_al;
3.9
hive> select abs(10.9) from lxw_al;
10.9
19. 正取余函数: pmod
语法: pmod(int a, int b),pmod(double a, double b)
返回值: int double
说明: 返回正的a除以b的余数
举例：
hive> select pmod(9,4) from lxw_al;
1
hive> select pmod(-9,4) from lxw_al;
3
20. 正弦函数: sin
语法: sin(double a)
返回值: double
说明: 返回a的正弦值
举例：
hive> select sin(0.8) from lxw_al;
0.7173560908995228
21. 反正弦函数: asin
语法: asin(double a)
返回值: double
说明: 返回a的反正弦值
举例：
hive> select asin(0.7173560908995228) from lxw_al;
0.8
22. 余弦函数: cos
语法: cos(double a)
返回值: double
说明: 返回a的余弦值
举例：
hive> select cos(0.9) from lxw_al;
0.6216099682706644
23. 反余弦函数: acos
语法: acos(double a)
返回值: double
说明: 返回a的反余弦值
举例：
hive> select acos(0.6216099682706644) from lxw_al;
0.9
24. positive函数: positive
语法: positive(int a), positive(double a)
返回值: int double
说明: 返回a
举例：
hive> select positive(-10) from lxw_al;
-10
hive> select positive(12) from lxw_al;
12
25. negative函数: negative
语法: negative(int a), negative(double a)
返回值: int double
说明: 返回-a
举例：
hive> select negative(-5) from lxw_al;
5
hive> select negative(8) from lxw_al;
-8
③ SparkAPI中的spark.sql(sql)支持limit查询吗例如select * from tablename limit 1,10。
支持limit的，但不支持limit(2,10),想要分页还得使用类似hive的开窗函数row_number
④ presto查询数据怎么实现分页
在Spark,Storm横行的时代，spark由于耗用内存高而很难满足这种改良的需求，Storm由于和hive不是一个套路，本身实时流处理的思路也和我们的需求差距较大，所以，
寻求一个能提供类似SQL查询接口，并且速度比较接近于实时，能利用现有集群硬件的实时SQL查询引擎成为一个现有hive的替代查询引擎。
⑤ hive limit怎么使用
hive.groupby.skewindata=true：数据倾斜时负载均衡，当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJob 中，
Map的输出结果集合会随机分布到Rece中，每个Rece做部分聚合操作，并输出结果，这样处理的结果是相同的GroupBy Key
有可能被分发到不同的Rece中，从而达到负载均衡的目的；第二个MRJob再根据预处理的数据结果按照GroupBy Key分布到
Rece中（这个过程可以保证相同的GroupBy Key被分布到同一个Rece中），最后完成最终的聚合操作。
⑥ 请教利用mybatis实现hive库分页查询，普通查询已实现，关键是分页，注明表里没有明显的主键和联合主键
select count（* ） from 表名 where 分页条件
⑦ hive 分页sql语句
分页实现的方式比较多了 下面举个例子 比如 获取前10条数据
注：同时需要记录这10条中最大的id为preId，作为下一页的条件。
select * from table order by id asc limit 10;
select * from table where id >preId order by id asc limit 10;
⑧ HiveJDBC如何获取当前SQL语句的表名
分页实现的方式比较多了
下面举个例子
比如
获取前10条数据
注：同时需要记录这10条中最大的id为preid，作为下一页的条件。
select
*
from
table
order
by
id
asc
limit
10;
select
*
from
table
where
id
>preid
order
by
id
asc
limit
10;
⑨ HiveSQL核心技能之窗口计算
目标：
1、掌握 sum()、avg()等用于累计计算的聚合函数，学会对行数的限制（移动计算）；
2、掌握 row_number(),rank()、dense_rank()用于排序的函数；
3、掌握 ntile()用于分组查询的函数；
4、掌握 lag()、lead()偏移分析函数
窗口函数（window function）：
与聚合函数类似，但是窗口函数是每一行数据都生成一个结果，聚合函数可以将多行数据按照规定聚合为一行，一般来说聚合后的行数要少于聚合前的行数，但是有时我们想要既显示聚合前的数据，又要显示聚合后的数据，这时便引入了窗口函数， 窗口函数是在 select 时执行的，位于 order by 之前 。
在日常工作中，经常遇到 计算截止某月或某天的累计数值 ，在Excel可以通过函数来实现，
在HiveSQL里，可以利用窗口函数实现。
1）2018年每月的支付总额和当年累计支付总额
2）对2017年和2018年公司的支付总额按月度累计进行分析，按年度进行汇总
说明：1、over中的 partition by 起到分组的作用；
2、order by 按照什么顺序进行累加，升序ASC、降序DESC，默认升序
3、正确的分组是非常重要的，partition by 后面的字段是需要累计计算的区域，需要仔细理解
（计算三日留存、七日留存、三十日留存等方式可以使用这个函数。）
3）对2018年每个月的近三个月进行移动的求平均支付金额
用法：这三个函数的作用都是返回相应规则的排序序号，由于排序函数不是二次聚合计算，因此不一定要使用子查询
4）2019年1月，用户购买商品品类数量的排名
5）选出2019年支付金额排名在第10、20、30名的用户
6）将2019年1月的支付用户，按照支付金额分成5组
7）选出2019年退款金额排名前10%的用户
说明：Lag和Lead分析函数可以在同一次查询中取出同一字段的 前N行数据(Lag)和后N行的数据(Lead) 作为独立的列。
在实际应用当中，若要用到取今天和昨天的某字段差值时，Lag和Lead函数的应用就显得尤为重要。
当然，这种操作可以用表的 自连接实现 ，但是Lag和Lead与 left join、 right join等自连接相比，效率更高，SQL语句更简洁。
8）支付时间间隔超过100天的用户数(这一次购买距离下一次购买的时间？，注意datediff函数是日期大的在前面)
9）每个城市，不同性别，2018年支付金额最高的TOP3用户
步骤总结：
1、首先筛选出每个用户和每个用户总的消费金额；
2、对两个表进行连接提取需要的字段；
3、对连接后的表进行二次聚合计算，计算出不同城市、性别的金额排名；
4、对二次聚合计算的表进行条件筛选提取
10）每个手机品牌退款金额前25%的用户
步骤总结：
1、首先筛选出每个用户和每个用户的总退款金额；
2、对两个表进行连接提取需要的字段；
3、对连接后的表进行按手机品牌内分组；
4、对分组后的表进行条件筛选提取
⑩ 求问 hadoop +hive ，怎么通过hive的sql实现分页查询(分批查询)。
简单的办法是按小时分区，之后一次取一小时