当前位置:首页 » 数据仓库 » impala如何配置
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

impala如何配置

发布时间: 2022-10-19 14:10:04

A. dbserver可以连接impala么

dbserver不能直接连impala.
可以在Java中配置好驱动,然后采用JDBC的方式就可连入impala了,

B. impala整合hbase,用JDBC建表报错不识别STORED BY关键字

Impala与Hbase建立关联的sql语句没法在Impala的控制台执行,需要在Hive上执行你上面的语句,然后在Impala上执行更新元数据invalidate metadata;

C. 如何在Apache hadoop2.2.0下面部署impala-CSDN论坛

安装impala

这里介绍使用rpm包安装的方式(需有root或sudo权限),基于源码包安装的方式待后续折腾。

1.2.1 安装前需知

impala能使用的内存无法超过系统的硬件可用内存(GA版,查询需要的内存如果超出硬件内存,则查询将失败),对内存要求高,典型的硬件内存为:32~48G

impala(版本0.4)只支持redhat 5.7/centos 5.7或redhat 6.2/centos 6.2以上(好像还要求是64位的,所以建议安装在64位系统上),不支持ubuntu

假设你已经安装了CDH4(即Hadoop 2.0)

假设你已经安装了Hive,并配置一个外部数据库(如MySQL)供Hive存储元数据。可通过执行下面的命令来判断Hive是否安装正常
$ hive
hive> show tables;
OK
Time taken: 2.809 seconds

这里请原谅我没有提到Hadoop和Hive的安装过程,还请尊驾自行搜索。

Impala不支持的特性:

  1. 查询流数据

  2. 删除数据

  3. 索引(至少当前版本不支持)

  4. YARN集成(至少当前版本不支持)

  5. 全文搜索

  6. 不具有像Hive SerDe的可扩展机制

  7. 不支持线上查询容错,如果查询出错,如机器宕机,Impala将会丢弃本次查询。

  8. 不支持表和列级别的授权

  9. impalad实例之间的传输没有加密

  10. 不支持Hive UFS

  11. beta版尚不支持JDBC,计划GA版支持

  12. 如果我的回答没能帮助您,请继续追问。

  13. 转载,仅供参考。

D. Ubuntu下如何搭建impala组件

安装impala 这里介绍使用rpm包安装的方式(需有root或sudo权限),基于源码包安装的方式待后续折腾。 1.2.1 安装前需知 impala能使用的内存无法超过系统的硬件可用内存(GA版,查询需要的内存如果超出硬件内存,则查询将失败),对内存要求高,...

E. Cloudera CDH Impala本地通过Parcel安装配置详解及什么是Parcel

本地通过Parcel安装过程与本地通过Package安装过程完全一致,不同的是两者的本地源的配置。
区别如下:

Package本地源:软件包是.rpm格式的,数量通常较多,下载的时候比较麻烦。通过"createrepo ."的命令创建源,并要放到存放源文件主机的web服务器的根目录下,详见创建本地yum软件源,为本地Package安装Cloudera Manager、Cloudera Hadoop及Impala做准备

Parcel本地源:软件包是以.parcel结尾,相当于压缩包格式的,一个系统版本对应一个,下载的时候方便。如centos 6.x使用的CDH版本为CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel,而centos 5.x使用的CDH版本为CDH-4.3.0-1.cdh4.3.0.p0.22-el5.parcel。

F. “嘿,老伙计!”1961的雪佛兰 Bel Air

哟!

车友速递!

(他的照片拍的真好看)

1961

Chevrolet

Bel Air


讲真,当我看到这台破旧不堪的老车时,我是震惊的。我很难想象在不出国门的情况下,能在除了电影电视以外的地方看到一台真实的 1961 款雪佛兰 Chevrolet Bel Air !怀着无比崇敬的心情,和脑海中自动选择的 Muddy Waters ,我用相机记录下了这台位于天津的老车。



汽车 是用来“穿越时空”的最佳工具,尤其是老车。这台生产于 56 年前的 Chevy 和大部分漂洋过海到中国的进口老车一样,车况惨不忍睹。不知这家伙来到东方以后都经历了些什么...与改革开放初期大量涌入中国的“豪华 汽车 ”不同,这可是一台货真价实的 American Muscle !谁会在当年有如此情怀将它带入中国呢?



在我引经据典之前,我有必要介绍一下这台车所在的位置。这台 1961 款雪佛兰 Bel Air 现在停放在天津塘沽的 趣车 老车修复中心。于一大票经典之中我首先选择这台 Chevy,正是因为它是那么的如此罕见。



当我第一眼看到它时,凭我对于美国车的了解识别出它应该是一台雪佛兰 Impala。但当我多方查找资料后发现,这其实是一台第五代雪佛兰 Bel Air 四门豪华轿车。


资料图:1961 款雪佛兰 Bel Air 4-door


雪佛兰 Chevrolet Bel Air (有中文翻译为蓓丽,但未经官方证实)是于 1950-1981 年期间生产的美式全尺寸轿车。最初只有两门硬顶版本,1953 年之后衍生出多款车型,这其中就包括共享底盘和发动机的 Impala。雪佛兰 Bel Air 车系在美国本土于 1975 年停产,但在加拿大一直延续到 1981 年。


资料图:与 1961 款雪佛兰 Bel Air 共平台的其他型号



所拍摄的这台老 Chevy 是有车门边框的型号,而且车尾部共有两组四个尾灯。而 Impala 是运动感十足的无边框车门,而且车尾部有两组共六个尾灯。所以,这台被我认为是 Impala 的大家伙,实际上是一台 Bel Air。



1961 款雪佛兰 Bel Air 是其第五代车型,这个型代从 1961 年到 1964 年之间生产。与我们熟悉的圆头圆脑的 50 年代 Bel Air 已经完全不同。如果你看过电影《狂暴飞车》,那你一定记得尼古拉斯-凯奇的那台酷黑座驾,那是我们熟悉的 Bel Air 造型。




第五代雪佛兰 Bel Air 拥有了全新的车体,这与同年代很多雪佛兰产品共享平台。只是和现在不同,那个时候不同配置的同平台 汽车 产品是有独立名称和型号的。你可以理解为 Impala 是年轻运动型,而 Bel Air 是豪华舒适性...不同名称的产品是为了面向不同的消费人群。


这台车的轴距长达 3 米!车身长度为 5.32 米。发动机有 135 马力的 235 立方英寸六缸引擎和 V8 170 马力的 283 立方英寸引擎两种。不过这台老家伙我没能打开引擎盖一探究竟,车体上也没有任何可以识别配置的标志,有些可惜。



可以看出这台车原本应该是一台黑色外观的大家伙,车身上除了反光镜以外并没有太大的改动,这对儿有些“跳戏”的塑料材质反光镜明显和这个车的年代不符,推断应该是为了符合上牌上路条件才进行的加装。



老车线索: 与同年款雪佛兰 Impala 的明显区别除了尾灯数量和有边框车门以外,还有后窗上经典的车顶后掠设计。这台车后窗上还贴有一张“Drive Safety”的贴纸,下面一行看不出是哪国文字,推断应该是销售这台车的经销商广告吧。如果你能认出的话,请在评论区留言。



根据 YouTube 视频作者 Josh Netzer 的介绍,这个型号的 1961 款雪佛兰 Bel Air 是没有倒车灯的,所以后面的四个尾灯都是红色。而且原车两侧车门上是没有后视镜的,所以这台车的一对儿后视镜肯定是后期安装。(看上去像是从欧洲车上所得)



1961 年雪佛兰全线产品更新面貌,这与时任通用设计部门一把手的 Bill Mitchell 关系重大。也正是他设计出了 1955 Chevy Bel Air, 1963 Corvette Stingray 和 1970 Chevrolet Camaro 这些经典车型。




20 世纪 60 年代是西方世界公认的 汽车 、音乐以及一切文化产业最兴盛的年代。美国人民对于 汽车 的追求不再是宽大舒适而已,还要追求更高的豪华享受。在这一点上,通用旗下各品牌无疑走在了最前列。要知道,是雪佛兰第一个把收音机安装在 汽车 上的...类似种种提升车辆享受配置的记录都是由雪佛兰保持。



56 年啊!从这台车的锈穿情况来看,个人推断其实它并没有经历太多的“苦难”和长途行驶,应该只是停放在一个地方很久很久才有如此老化。车身上也没有明显的因碰撞造成的伤痕。零配件也保持了很高的原厂度。



车门只有驾驶座一侧还能打开,我就顺便看了看这台老家伙的里面是什么样子。要知道这样的机会可不多,即使有一台成色极佳的老车摆在你面前,这样的型号恐怕也只是在博物馆中才能看到。



尺寸超大的方向盘十分抢眼,中控台上大部分的零配件已经丢失。但还是能看出原来鲜艳的内饰配色。前后排座椅为宽敞舒适而且非常厚的真皮质地“大沙发”,因为实在是比较脏所以就没体验一下...驾驶座一侧有明显的塌陷,而后排座椅完好如初,推断除了驾驶员以外应该也没什么人乘坐。



根据资料得知,这中间缺少的一块仪表是一个可以调整的石英钟,如果它运转正常的话你还能听到钟表指针的“嘀嗒”声。迈速表是非常具有年代感的美式设计,不过因为实在是太脏,没有看到历程信息。靠近中间缺少的是收音机旋钮和机头,一些开关还在原来的位置上,不过早已经锈死难动。



两排座椅上布满了雪佛兰标示,而且摸上去支撑感非常不错。这是一台四门版本车型,所以拥有相当宽敞的后排。不过即便是双门版,后排空间也是一样舒适宽阔。据说,很多美国姑娘的第一次都是在这样的后座上...


它的身旁实际上还有很多老家伙,请各位读者老爷等着将来的更新吧!



值得注意的是 ,这台车的内饰中控台几乎全部是金属材质!尽管漆面已经破败不堪,但还是能看到内部的金属。能在没有保养的情况下保持这么长时间,也是佩服当年美国的 汽车 制造水准和工艺水平。在中控台中间的一道金属装饰条上能看到各种按键的功能提示。



三个像飞机操纵杆一样的功能按钮是控制空调的,钥匙门设计在中间的位置上。很多按钮还可以按动,只是没有任何反应。红色内饰真的是非常漂亮啊!



在迈速表下方的三块仪表除了中间缺少的钟表以外,左边的是水温表,右边的是油表。我们来欣赏一下这台车的内饰:



天津趣车河老车修复中心的英文名字叫 Sparrow Tears ,麻雀的眼泪。嗯,这些散落在中国各地的进口经典老车就像麻雀的眼泪一样稀有罕见。这些真正爱车的人能做的,也许就是将它们收集珍藏起来,慢慢修复它们...重新上路奔跑,穿越回那个黄金时光!



也许在未来的某天,这台 1961 款雪佛兰 Bel Air 将重新焕发容光上路驰骋。到那时,一切所谓“政策”都无力如白纸。 我们也不“祈求”什么奇迹发生了,就让这些老车在爱车人的庇护之下,一直存在下去吧!!



“嘿,老伙计,你本应该享受加州的阳光沙滩啊!而现在你和我一样浪迹天涯...”


G. Cloudera CDH Impala本地通过Parcel安装配置详解及什么是Parcel

1、问题的描述:当你利用ClouderaManager部署了CDH的集群后,也许随着你的业务需求,你需要对你的就去哪做一些优化,或者扩展之类的,这个时候你可能需要下载安装一些组件。例如,我最近在阅读Cloudera官方文档的是,看到有一节的内容说到PerformanceManagement的时候,发现为了提升集群的性能,经常会将数据进行压缩,此时就会需要添加一些parcel的安装。2、方法详述:为了能够安装自己想要的parcel的软件包,采用的方式可以:(1)在ClouderaManager的主界面选择“host(主机)”---->parcel,就会出现如下的界面:(2)点击上图的红色按钮(编辑设置)进入设置界面:若是手动下载的parcel包,可以将其放到对应目录下,默认是/opt/cloudera/parcel-repo/目录下。若需要配置远程下载的repo路径,则只需要在旁边点击“+”这个按钮即可。(3)设置好了这两个参数后,回到(1)中的parcel界面,点击检查新parcel按钮即可显示。(4)分配和激活即可。

H. 如何修改hue的配置

配置 Hue
配置hue server
[desktop]
http_host=cdh1
http_port=8888
secret_key=
time_zone=Asia/Shanghai

如果想配置 SSL,则添加下面设置:
ssl_certificate=/path/to/certificate
ssl_private_key=/path/to/key

并使用下面命令生成证书:
# Create a key
$ openssl genrsa 1024 > host.key
# Create a self-signed certificate
$ openssl req -new -x509 -nodes -sha1 -key host.key > host.cert

配置 DB Query
DB Query 的相关配置在 hue.ini 中 databases 节点下面,目前共支持 sqlite, mysql, postgresql 和 oracle 四种数据库,默认使用的是 sqlite 数据库,你可以按自己的需要修改为其他的数据库。
[[database]]
engine=sqlite3
name=/var/lib/hue/desktop.db

配置 Hadoop 参数
HDFS 集群配置
在 hadoop.hdfs_clusters.default 节点下配置以下参数:
fs_defaultfs:
logical_name: NameNode 逻辑名称
webhdfs_url:
security_enabled:是否开启 Kerberos
hadoop_conf_dir: hadoop 配置文件路径
完整配置如下:
[hadoop]
[[hdfs_clusters]]
[[[default]]]
# Enter the filesystem uri
fs_defaultfs=hdfs://mycluster

# NameNode logical name.
logical_name=mycluster

# Use WebHdfs/HttpFs as the communication mechanism.
# Domain should be the NameNode or HttpFs host.
# Default port is 14000 for HttpFs.
## webhdfs_url=http://localhost:50070/webhdfs/v1
webhdfs_url=http://cdh1:14000/webhdfs/v1

# Change this if your HDFS cluster is Kerberos-secured
security_enabled=true

hadoop_conf_dir=/etc/hadoop/conf

配置 WebHDFS 或者 HttpFS
Hue 可以通过下面两种方式访问 Hdfs 中的数据:
WebHDFS:提供高速的数据传输,客户端直接和 DataNode 交互
HttpFS:一个代理服务,方便与集群外部的系统集成
两者都支持 HTTP REST API,但是 Hue 只能配置其中一种方式;对于 HDFS HA部署方式,只能使用 HttpFS。
对于 WebHDFS 方式,在每个节点上的 hdfs-site.xml 文件添加如下配置并重启服务:
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

配置 Hue 为其他用户和组的代理用户。对于 WebHDFS 方式,在 core-site.xml 添加:
<!-- Hue WebHDFS proxy user setting -->
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>

对于 HttpFS 方式,在 /etc/hadoop-httpfs/conf/httpfs-site.xml 中添加下面配置并重启 HttpFS 进程:
<!-- Hue HttpFS proxy user setting -->
<property>
<name>httpfs.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>httpfs.proxyuser.hue.groups</name>
<value>*</value>
</property>

对于 HttpFS 方式,在 core-site.xml 中添加下面配置并重启 hadoop 服务:
<property>
<name>hadoop.proxyuser.httpfs.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.httpfs.groups</name>
<value>*</value>
</property>

修改 /etc/hue/conf/hue.ini 中 hadoop.hdfs_clusters.default.webhdfs_url 属性。
对于 WebHDFS:
webhdfs_url=http://cdh1:50070/webhdfs/v1/

对于 HttpFS:
webhdfs_url=http://cdh1:14000/webhdfs/v1/

YARN 集群配置
在 hadoop.yarn_clusters.default 节点下配置:
[hadoop]
[[yarn_clusters]]
[[[default]]]
resourcemanager_host=cdh1
resourcemanager_port=8032
submit_to=True
security_enabled=true
resourcemanager_api_url=http://cdh1:8088
proxy_api_url=http://cdh1:8088
history_server_api_url=http://cdh1:19888

集成 Hive
在 beeswax 节点下配置:
[beeswax]
hive_server_host=cdh1
hive_server_port=10000
hive_conf_dir=/etc/hive/conf

这里是配置为连接一个 Hive Server2 节点,如有需要可以配置负载均衡,连接一个负载节点。
集成 Impala
在 impala 节点下配置
[impala]
# Host of the Impala Server (one of the Impalad)
server_host=cdh1

# Port of the Impala Server
server_port=21050

# Kerberos principal
impala_principal=impala/[email protected]

# Turn on/off impersonation mechanism when talking to Impala
impersonation_enabled=True

这里是配置为连接一个 Impala Server 节点,如有需要可以配置负载均衡,连接一个负载节点。
参考 Configuring Per-User Access for Hue 和 Use the Impala App with Sentry for real security,在配置 impersonation_enabled 为 true 的情况下,还需要在 impalad 的启动参数中添加 authorized_proxy_user_config 参数,修改 /etc/default/impala中的 IMPALA_SERVER_ARGS 添加下面一行:
-authorized_proxy_user_config=hue=* \

另外,如果集群开启了 Kerberos,别忘了配置 impala_principal 参数。
集成 kerberos
首先,需要在 kerberos server 节点上生成 hue 用户的凭证,并将其拷贝到 /etc/hue/conf 目录。:
$ kadmin: addprinc -randkey hue/[email protected]
$ kadmin: xst -k hue.keytab hue/[email protected]

$ cp hue.keytab /etc/hue/conf/

然后,修改 hue.ini 中 kerberos 节点:
[[kerberos]]
# Path to Hue's Kerberos keytab file
hue_keytab=/etc/hue/conf/hue.keytab

# Kerberos principal name for Hue
hue_principal=hue/[email protected]

# Path to kinit
kinit_path=/usr/bin/kinit

接下来,修改 /etc/hadoop/conf/core-site.xml,添加:
<!--hue kerberos-->
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hue.kerberos.principal.shortname</name>
<value>hue</value>
</property>

最后,重启 hadoop 服务。
集成 LDAP
开启 ldap 验证,使用 ldap 用户登录 hue server,修改 auth 节点:
[desktop]
[[auth]]
backend=desktop.auth.backend.LdapBackend

另外修改 ldap 节点:
[desktop]
[[ldap]]
base_dn="dc=javachen,dc=com"
ldap_url=ldap://cdh1

# ldap用户登陆时自动在hue创建用户
create_users_on_login = true

# 开启direct bind mechanism
search_bind_authentication=false

# ldap登陆用户的模板,username运行时被替换
ldap_username_pattern="uid=<username>,ou=people,dc=javachen,dc=com"

注意:在开启ldap验证前,先普通方法创建一个ldap存在的用户,赋超级用户权限,否则无法管理hue用户。
集成 Sentry
如果 hive 和 impala 中集成了 Sentry,则需要修改 hue.ini 中的 libsentry 节点:
[libsentry]
# Hostname or IP of server.
hostname=cdh1

# Port the sentry service is running on.
port=8038

# Sentry configuration directory, where sentry-site.xml is located.
sentry_conf_dir=/etc/sentry/conf

另外,修改 /etc/sentry/conf/sentry-store-site.xml 确保 hue 用户可以连接 sentry:
<property>
<name>sentry.service.allow.connect</name>
<value>impala,hive,solr,hue</value>
</property>

集成 Sqoop2
在 sqoop 节点配置 server_url 参数为 sqoop2 的地址即可。
集成 HBase
在 hbase 节点配置下面参数:
truncate_limit:Hard limit of rows or columns per row fetched before truncating.
hbase_clusters:HBase Thrift 服务列表,例如: Cluster1|cdh1:9090,Cluster2|cdh2:9090,默认为: Cluster|localhost:9090
集成 Zookeeper
在 zookeeper 节点配置下面两个参数:
host_ports:zookeeper 节点列表,例如: localhost:2181,localhost:2182,localhost:2183
rest_url:zookeeper 的 REST 接口,默认值为 http://localhost:9998
集成 Oozie
未使用,暂不记录。
管理 Hue
如果配置了 kerberos,则先获取 hue 凭证:
kinit -k -t /etc/hue/conf/hue.keytab hue/[email protected]

启动 hue server:
$ service hue start

停止 hue server:
$ service hue stop

hue server 默认使用 8888 作为 web 访问端口,故需要在防火墙上开放该端口。
你可以在 /var/log/hue 目录查看 hue 的日志,或者通过 http://cdh1:8888/logs 查看。
测试
在开启了 LDAP 后,使用 LDAP 中的管理员用户登录 hue,根据提示向导进行设置并将 LDAP 中的用户同步到 Hue Server,然后依次测试每一个功能是否运行正常。

I. 如何配置impala更新hive 时间

如何配置impala更新hive 时间
在hive下创建临时IO的tmp文件夹。然后将路径配置到下列参数中 hive.querylog.location /home/username/hive/iotmp Location of Hive run time structured log file hive.exec.local.scratchdir /home/username/hive/iotmp Local scratch space