A. dbserver可以连接impala么
dbserver不能直接连impala.
可以在Java中配置好驱动,然后采用JDBC的方式就可连入impala了,
B. impala整合hbase,用JDBC建表报错不识别STORED BY关键字
Impala与Hbase建立关联的sql语句没法在Impala的控制台执行,需要在Hive上执行你上面的语句,然后在Impala上执行更新元数据invalidate metadata;
C. 如何在Apache hadoop2.2.0下面部署impala-CSDN论坛
安装impala
这里介绍使用rpm包安装的方式(需有root或sudo权限),基于源码包安装的方式待后续折腾。
1.2.1 安装前需知
impala能使用的内存无法超过系统的硬件可用内存(GA版,查询需要的内存如果超出硬件内存,则查询将失败),对内存要求高,典型的硬件内存为:32~48G
impala(版本0.4)只支持redhat 5.7/centos 5.7或redhat 6.2/centos 6.2以上(好像还要求是64位的,所以建议安装在64位系统上),不支持ubuntu
假设你已经安装了CDH4(即Hadoop 2.0)
假设你已经安装了Hive,并配置一个外部数据库(如MySQL)供Hive存储元数据。可通过执行下面的命令来判断Hive是否安装正常
$ hive
hive> show tables;
OK
Time taken: 2.809 seconds
这里请原谅我没有提到Hadoop和Hive的安装过程,还请尊驾自行搜索。
Impala不支持的特性:
查询流数据
删除数据
索引(至少当前版本不支持)
YARN集成(至少当前版本不支持)
全文搜索
不具有像Hive SerDe的可扩展机制
不支持线上查询容错,如果查询出错,如机器宕机,Impala将会丢弃本次查询。
不支持表和列级别的授权
impalad实例之间的传输没有加密
不支持Hive UFS
beta版尚不支持JDBC,计划GA版支持
如果我的回答没能帮助您,请继续追问。
转载,仅供参考。
D. Ubuntu下如何搭建impala组件
安装impala 这里介绍使用rpm包安装的方式(需有root或sudo权限),基于源码包安装的方式待后续折腾。 1.2.1 安装前需知 impala能使用的内存无法超过系统的硬件可用内存(GA版,查询需要的内存如果超出硬件内存,则查询将失败),对内存要求高,...
E. Cloudera CDH Impala本地通过Parcel安装配置详解及什么是Parcel
本地通过Parcel安装过程与本地通过Package安装过程完全一致,不同的是两者的本地源的配置。
区别如下:
Package本地源:软件包是.rpm格式的,数量通常较多,下载的时候比较麻烦。通过"createrepo ."的命令创建源,并要放到存放源文件主机的web服务器的根目录下,详见创建本地yum软件源,为本地Package安装Cloudera Manager、Cloudera Hadoop及Impala做准备
Parcel本地源:软件包是以.parcel结尾,相当于压缩包格式的,一个系统版本对应一个,下载的时候方便。如centos 6.x使用的CDH版本为CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel,而centos 5.x使用的CDH版本为CDH-4.3.0-1.cdh4.3.0.p0.22-el5.parcel。
F. “嘿,老伙计!”1961的雪佛兰 Bel Air
哟!
车友速递!
(他的照片拍的真好看)
1961
Chevrolet
Bel Air
讲真,当我看到这台破旧不堪的老车时,我是震惊的。我很难想象在不出国门的情况下,能在除了电影电视以外的地方看到一台真实的 1961 款雪佛兰 Chevrolet Bel Air !怀着无比崇敬的心情,和脑海中自动选择的 Muddy Waters ,我用相机记录下了这台位于天津的老车。
汽车 是用来“穿越时空”的最佳工具,尤其是老车。这台生产于 56 年前的 Chevy 和大部分漂洋过海到中国的进口老车一样,车况惨不忍睹。不知这家伙来到东方以后都经历了些什么...与改革开放初期大量涌入中国的“豪华 汽车 ”不同,这可是一台货真价实的 American Muscle !谁会在当年有如此情怀将它带入中国呢?
在我引经据典之前,我有必要介绍一下这台车所在的位置。这台 1961 款雪佛兰 Bel Air 现在停放在天津塘沽的 趣车 河 老车修复中心。于一大票经典之中我首先选择这台 Chevy,正是因为它是那么的如此罕见。
当我第一眼看到它时,凭我对于美国车的了解识别出它应该是一台雪佛兰 Impala。但当我多方查找资料后发现,这其实是一台第五代雪佛兰 Bel Air 四门豪华轿车。
资料图:1961 款雪佛兰 Bel Air 4-door
雪佛兰 Chevrolet Bel Air (有中文翻译为蓓丽,但未经官方证实)是于 1950-1981 年期间生产的美式全尺寸轿车。最初只有两门硬顶版本,1953 年之后衍生出多款车型,这其中就包括共享底盘和发动机的 Impala。雪佛兰 Bel Air 车系在美国本土于 1975 年停产,但在加拿大一直延续到 1981 年。
资料图:与 1961 款雪佛兰 Bel Air 共平台的其他型号
所拍摄的这台老 Chevy 是有车门边框的型号,而且车尾部共有两组四个尾灯。而 Impala 是运动感十足的无边框车门,而且车尾部有两组共六个尾灯。所以,这台被我认为是 Impala 的大家伙,实际上是一台 Bel Air。
1961 款雪佛兰 Bel Air 是其第五代车型,这个型代从 1961 年到 1964 年之间生产。与我们熟悉的圆头圆脑的 50 年代 Bel Air 已经完全不同。如果你看过电影《狂暴飞车》,那你一定记得尼古拉斯-凯奇的那台酷黑座驾,那是我们熟悉的 Bel Air 造型。
第五代雪佛兰 Bel Air 拥有了全新的车体,这与同年代很多雪佛兰产品共享平台。只是和现在不同,那个时候不同配置的同平台 汽车 产品是有独立名称和型号的。你可以理解为 Impala 是年轻运动型,而 Bel Air 是豪华舒适性...不同名称的产品是为了面向不同的消费人群。
这台车的轴距长达 3 米!车身长度为 5.32 米。发动机有 135 马力的 235 立方英寸六缸引擎和 V8 170 马力的 283 立方英寸引擎两种。不过这台老家伙我没能打开引擎盖一探究竟,车体上也没有任何可以识别配置的标志,有些可惜。
可以看出这台车原本应该是一台黑色外观的大家伙,车身上除了反光镜以外并没有太大的改动,这对儿有些“跳戏”的塑料材质反光镜明显和这个车的年代不符,推断应该是为了符合上牌上路条件才进行的加装。
老车线索: 与同年款雪佛兰 Impala 的明显区别除了尾灯数量和有边框车门以外,还有后窗上经典的车顶后掠设计。这台车后窗上还贴有一张“Drive Safety”的贴纸,下面一行看不出是哪国文字,推断应该是销售这台车的经销商广告吧。如果你能认出的话,请在评论区留言。
根据 YouTube 视频作者 Josh Netzer 的介绍,这个型号的 1961 款雪佛兰 Bel Air 是没有倒车灯的,所以后面的四个尾灯都是红色。而且原车两侧车门上是没有后视镜的,所以这台车的一对儿后视镜肯定是后期安装。(看上去像是从欧洲车上所得)
1961 年雪佛兰全线产品更新面貌,这与时任通用设计部门一把手的 Bill Mitchell 关系重大。也正是他设计出了 1955 Chevy Bel Air, 1963 Corvette Stingray 和 1970 Chevrolet Camaro 这些经典车型。
20 世纪 60 年代是西方世界公认的 汽车 、音乐以及一切文化产业最兴盛的年代。美国人民对于 汽车 的追求不再是宽大舒适而已,还要追求更高的豪华享受。在这一点上,通用旗下各品牌无疑走在了最前列。要知道,是雪佛兰第一个把收音机安装在 汽车 上的...类似种种提升车辆享受配置的记录都是由雪佛兰保持。
56 年啊!从这台车的锈穿情况来看,个人推断其实它并没有经历太多的“苦难”和长途行驶,应该只是停放在一个地方很久很久才有如此老化。车身上也没有明显的因碰撞造成的伤痕。零配件也保持了很高的原厂度。
车门只有驾驶座一侧还能打开,我就顺便看了看这台老家伙的里面是什么样子。要知道这样的机会可不多,即使有一台成色极佳的老车摆在你面前,这样的型号恐怕也只是在博物馆中才能看到。
尺寸超大的方向盘十分抢眼,中控台上大部分的零配件已经丢失。但还是能看出原来鲜艳的内饰配色。前后排座椅为宽敞舒适而且非常厚的真皮质地“大沙发”,因为实在是比较脏所以就没体验一下...驾驶座一侧有明显的塌陷,而后排座椅完好如初,推断除了驾驶员以外应该也没什么人乘坐。
根据资料得知,这中间缺少的一块仪表是一个可以调整的石英钟,如果它运转正常的话你还能听到钟表指针的“嘀嗒”声。迈速表是非常具有年代感的美式设计,不过因为实在是太脏,没有看到历程信息。靠近中间缺少的是收音机旋钮和机头,一些开关还在原来的位置上,不过早已经锈死难动。
两排座椅上布满了雪佛兰标示,而且摸上去支撑感非常不错。这是一台四门版本车型,所以拥有相当宽敞的后排。不过即便是双门版,后排空间也是一样舒适宽阔。据说,很多美国姑娘的第一次都是在这样的后座上...
它的身旁实际上还有很多老家伙,请各位读者老爷等着将来的更新吧!
值得注意的是 ,这台车的内饰中控台几乎全部是金属材质!尽管漆面已经破败不堪,但还是能看到内部的金属。能在没有保养的情况下保持这么长时间,也是佩服当年美国的 汽车 制造水准和工艺水平。在中控台中间的一道金属装饰条上能看到各种按键的功能提示。
三个像飞机操纵杆一样的功能按钮是控制空调的,钥匙门设计在中间的位置上。很多按钮还可以按动,只是没有任何反应。红色内饰真的是非常漂亮啊!
在迈速表下方的三块仪表除了中间缺少的钟表以外,左边的是水温表,右边的是油表。我们来欣赏一下这台车的内饰:
天津趣车河老车修复中心的英文名字叫 Sparrow Tears ,麻雀的眼泪。嗯,这些散落在中国各地的进口经典老车就像麻雀的眼泪一样稀有罕见。这些真正爱车的人能做的,也许就是将它们收集珍藏起来,慢慢修复它们...重新上路奔跑,穿越回那个黄金时光!
也许在未来的某天,这台 1961 款雪佛兰 Bel Air 将重新焕发容光上路驰骋。到那时,一切所谓“政策”都无力如白纸。 我们也不“祈求”什么奇迹发生了,就让这些老车在爱车人的庇护之下,一直存在下去吧!!
“嘿,老伙计,你本应该享受加州的阳光沙滩啊!而现在你和我一样浪迹天涯...”
G. Cloudera CDH Impala本地通过Parcel安装配置详解及什么是Parcel
1、问题的描述:当你利用ClouderaManager部署了CDH的集群后,也许随着你的业务需求,你需要对你的就去哪做一些优化,或者扩展之类的,这个时候你可能需要下载安装一些组件。例如,我最近在阅读Cloudera官方文档的是,看到有一节的内容说到PerformanceManagement的时候,发现为了提升集群的性能,经常会将数据进行压缩,此时就会需要添加一些parcel的安装。2、方法详述:为了能够安装自己想要的parcel的软件包,采用的方式可以:(1)在ClouderaManager的主界面选择“host(主机)”---->parcel,就会出现如下的界面:(2)点击上图的红色按钮(编辑设置)进入设置界面:若是手动下载的parcel包,可以将其放到对应目录下,默认是/opt/cloudera/parcel-repo/目录下。若需要配置远程下载的repo路径,则只需要在旁边点击“+”这个按钮即可。(3)设置好了这两个参数后,回到(1)中的parcel界面,点击检查新parcel按钮即可显示。(4)分配和激活即可。
H. 如何修改hue的配置
配置 Hue
配置hue server
[desktop]
http_host=cdh1
http_port=8888
secret_key=
time_zone=Asia/Shanghai
如果想配置 SSL,则添加下面设置:
ssl_certificate=/path/to/certificate
ssl_private_key=/path/to/key
并使用下面命令生成证书:
# Create a key
$ openssl genrsa 1024 > host.key
# Create a self-signed certificate
$ openssl req -new -x509 -nodes -sha1 -key host.key > host.cert
配置 DB Query
DB Query 的相关配置在 hue.ini 中 databases 节点下面,目前共支持 sqlite, mysql, postgresql 和 oracle 四种数据库,默认使用的是 sqlite 数据库,你可以按自己的需要修改为其他的数据库。
[[database]]
engine=sqlite3
name=/var/lib/hue/desktop.db
配置 Hadoop 参数
HDFS 集群配置
在 hadoop.hdfs_clusters.default 节点下配置以下参数:
fs_defaultfs:
logical_name: NameNode 逻辑名称
webhdfs_url:
security_enabled:是否开启 Kerberos
hadoop_conf_dir: hadoop 配置文件路径
完整配置如下:
[hadoop]
[[hdfs_clusters]]
[[[default]]]
# Enter the filesystem uri
fs_defaultfs=hdfs://mycluster
# NameNode logical name.
logical_name=mycluster
# Use WebHdfs/HttpFs as the communication mechanism.
# Domain should be the NameNode or HttpFs host.
# Default port is 14000 for HttpFs.
## webhdfs_url=http://localhost:50070/webhdfs/v1
webhdfs_url=http://cdh1:14000/webhdfs/v1
# Change this if your HDFS cluster is Kerberos-secured
security_enabled=true
hadoop_conf_dir=/etc/hadoop/conf
配置 WebHDFS 或者 HttpFS
Hue 可以通过下面两种方式访问 Hdfs 中的数据:
WebHDFS:提供高速的数据传输,客户端直接和 DataNode 交互
HttpFS:一个代理服务,方便与集群外部的系统集成
两者都支持 HTTP REST API,但是 Hue 只能配置其中一种方式;对于 HDFS HA部署方式,只能使用 HttpFS。
对于 WebHDFS 方式,在每个节点上的 hdfs-site.xml 文件添加如下配置并重启服务:
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
配置 Hue 为其他用户和组的代理用户。对于 WebHDFS 方式,在 core-site.xml 添加:
<!-- Hue WebHDFS proxy user setting -->
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
对于 HttpFS 方式,在 /etc/hadoop-httpfs/conf/httpfs-site.xml 中添加下面配置并重启 HttpFS 进程:
<!-- Hue HttpFS proxy user setting -->
<property>
<name>httpfs.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>httpfs.proxyuser.hue.groups</name>
<value>*</value>
</property>
对于 HttpFS 方式,在 core-site.xml 中添加下面配置并重启 hadoop 服务:
<property>
<name>hadoop.proxyuser.httpfs.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.httpfs.groups</name>
<value>*</value>
</property>
修改 /etc/hue/conf/hue.ini 中 hadoop.hdfs_clusters.default.webhdfs_url 属性。
对于 WebHDFS:
webhdfs_url=http://cdh1:50070/webhdfs/v1/
对于 HttpFS:
webhdfs_url=http://cdh1:14000/webhdfs/v1/
YARN 集群配置
在 hadoop.yarn_clusters.default 节点下配置:
[hadoop]
[[yarn_clusters]]
[[[default]]]
resourcemanager_host=cdh1
resourcemanager_port=8032
submit_to=True
security_enabled=true
resourcemanager_api_url=http://cdh1:8088
proxy_api_url=http://cdh1:8088
history_server_api_url=http://cdh1:19888
集成 Hive
在 beeswax 节点下配置:
[beeswax]
hive_server_host=cdh1
hive_server_port=10000
hive_conf_dir=/etc/hive/conf
这里是配置为连接一个 Hive Server2 节点,如有需要可以配置负载均衡,连接一个负载节点。
集成 Impala
在 impala 节点下配置
[impala]
# Host of the Impala Server (one of the Impalad)
server_host=cdh1
# Port of the Impala Server
server_port=21050
# Kerberos principal
impala_principal=impala/[email protected]
# Turn on/off impersonation mechanism when talking to Impala
impersonation_enabled=True
这里是配置为连接一个 Impala Server 节点,如有需要可以配置负载均衡,连接一个负载节点。
参考 Configuring Per-User Access for Hue 和 Use the Impala App with Sentry for real security,在配置 impersonation_enabled 为 true 的情况下,还需要在 impalad 的启动参数中添加 authorized_proxy_user_config 参数,修改 /etc/default/impala中的 IMPALA_SERVER_ARGS 添加下面一行:
-authorized_proxy_user_config=hue=* \
另外,如果集群开启了 Kerberos,别忘了配置 impala_principal 参数。
集成 kerberos
首先,需要在 kerberos server 节点上生成 hue 用户的凭证,并将其拷贝到 /etc/hue/conf 目录。:
$ kadmin: addprinc -randkey hue/[email protected]
$ kadmin: xst -k hue.keytab hue/[email protected]
$ cp hue.keytab /etc/hue/conf/
然后,修改 hue.ini 中 kerberos 节点:
[[kerberos]]
# Path to Hue's Kerberos keytab file
hue_keytab=/etc/hue/conf/hue.keytab
# Kerberos principal name for Hue
hue_principal=hue/[email protected]
# Path to kinit
kinit_path=/usr/bin/kinit
接下来,修改 /etc/hadoop/conf/core-site.xml,添加:
<!--hue kerberos-->
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hue.kerberos.principal.shortname</name>
<value>hue</value>
</property>
最后,重启 hadoop 服务。
集成 LDAP
开启 ldap 验证,使用 ldap 用户登录 hue server,修改 auth 节点:
[desktop]
[[auth]]
backend=desktop.auth.backend.LdapBackend
另外修改 ldap 节点:
[desktop]
[[ldap]]
base_dn="dc=javachen,dc=com"
ldap_url=ldap://cdh1
# ldap用户登陆时自动在hue创建用户
create_users_on_login = true
# 开启direct bind mechanism
search_bind_authentication=false
# ldap登陆用户的模板,username运行时被替换
ldap_username_pattern="uid=<username>,ou=people,dc=javachen,dc=com"
注意:在开启ldap验证前,先普通方法创建一个ldap存在的用户,赋超级用户权限,否则无法管理hue用户。
集成 Sentry
如果 hive 和 impala 中集成了 Sentry,则需要修改 hue.ini 中的 libsentry 节点:
[libsentry]
# Hostname or IP of server.
hostname=cdh1
# Port the sentry service is running on.
port=8038
# Sentry configuration directory, where sentry-site.xml is located.
sentry_conf_dir=/etc/sentry/conf
另外,修改 /etc/sentry/conf/sentry-store-site.xml 确保 hue 用户可以连接 sentry:
<property>
<name>sentry.service.allow.connect</name>
<value>impala,hive,solr,hue</value>
</property>
集成 Sqoop2
在 sqoop 节点配置 server_url 参数为 sqoop2 的地址即可。
集成 HBase
在 hbase 节点配置下面参数:
truncate_limit:Hard limit of rows or columns per row fetched before truncating.
hbase_clusters:HBase Thrift 服务列表,例如: Cluster1|cdh1:9090,Cluster2|cdh2:9090,默认为: Cluster|localhost:9090
集成 Zookeeper
在 zookeeper 节点配置下面两个参数:
host_ports:zookeeper 节点列表,例如: localhost:2181,localhost:2182,localhost:2183
rest_url:zookeeper 的 REST 接口,默认值为 http://localhost:9998
集成 Oozie
未使用,暂不记录。
管理 Hue
如果配置了 kerberos,则先获取 hue 凭证:
kinit -k -t /etc/hue/conf/hue.keytab hue/[email protected]
启动 hue server:
$ service hue start
停止 hue server:
$ service hue stop
hue server 默认使用 8888 作为 web 访问端口,故需要在防火墙上开放该端口。
你可以在 /var/log/hue 目录查看 hue 的日志,或者通过 http://cdh1:8888/logs 查看。
测试
在开启了 LDAP 后,使用 LDAP 中的管理员用户登录 hue,根据提示向导进行设置并将 LDAP 中的用户同步到 Hue Server,然后依次测试每一个功能是否运行正常。
I. 如何配置impala更新hive 时间
如何配置impala更新hive 时间
在hive下创建临时IO的tmp文件夹。然后将路径配置到下列参数中 hive.querylog.location /home/username/hive/iotmp Location of Hive run time structured log file hive.exec.local.scratchdir /home/username/hive/iotmp Local scratch space