當前位置:首頁 » 數據倉庫 » impala如何配置
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

impala如何配置

發布時間: 2022-10-19 14:10:04

A. dbserver可以連接impala么

dbserver不能直接連impala.
可以在Java中配置好驅動,然後採用JDBC的方式就可連入impala了,

B. impala整合hbase,用JDBC建表報錯不識別STORED BY關鍵字

Impala與Hbase建立關聯的sql語句沒法在Impala的控制台執行,需要在Hive上執行你上面的語句,然後在Impala上執行更新元數據invalidate metadata;

C. 如何在Apache hadoop2.2.0下面部署impala-CSDN論壇

安裝impala

這里介紹使用rpm包安裝的方式(需有root或sudo許可權),基於源碼包安裝的方式待後續折騰。

1.2.1 安裝前需知

impala能使用的內存無法超過系統的硬體可用內存(GA版,查詢需要的內存如果超出硬體內存,則查詢將失敗),對內存要求高,典型的硬體內存為:32~48G

impala(版本0.4)只支持redhat 5.7/centos 5.7或redhat 6.2/centos 6.2以上(好像還要求是64位的,所以建議安裝在64位系統上),不支持ubuntu

假設你已經安裝了CDH4(即Hadoop 2.0)

假設你已經安裝了Hive,並配置一個外部資料庫(如MySQL)供Hive存儲元數據。可通過執行下面的命令來判斷Hive是否安裝正常
$ hive
hive> show tables;
OK
Time taken: 2.809 seconds

這里請原諒我沒有提到Hadoop和Hive的安裝過程,還請尊駕自行搜索。

Impala不支持的特性:

  1. 查詢流數據

  2. 刪除數據

  3. 索引(至少當前版本不支持)

  4. YARN集成(至少當前版本不支持)

  5. 全文搜索

  6. 不具有像Hive SerDe的可擴展機制

  7. 不支持線上查詢容錯,如果查詢出錯,如機器宕機,Impala將會丟棄本次查詢。

  8. 不支持表和列級別的授權

  9. impalad實例之間的傳輸沒有加密

  10. 不支持Hive UFS

  11. beta版尚不支持JDBC,計劃GA版支持

  12. 如果我的回答沒能幫助您,請繼續追問。

  13. 轉載,僅供參考。

D. Ubuntu下如何搭建impala組件

安裝impala 這里介紹使用rpm包安裝的方式(需有root或sudo許可權),基於源碼包安裝的方式待後續折騰。 1.2.1 安裝前需知 impala能使用的內存無法超過系統的硬體可用內存(GA版,查詢需要的內存如果超出硬體內存,則查詢將失敗),對內存要求高,...

E. Cloudera CDH Impala本地通過Parcel安裝配置詳解及什麼是Parcel

本地通過Parcel安裝過程與本地通過Package安裝過程完全一致,不同的是兩者的本地源的配置。
區別如下:

Package本地源:軟體包是.rpm格式的,數量通常較多,下載的時候比較麻煩。通過"createrepo ."的命令創建源,並要放到存放源文件主機的web伺服器的根目錄下,詳見創建本地yum軟體源,為本地Package安裝Cloudera Manager、Cloudera Hadoop及Impala做准備

Parcel本地源:軟體包是以.parcel結尾,相當於壓縮包格式的,一個系統版本對應一個,下載的時候方便。如centos 6.x使用的CDH版本為CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel,而centos 5.x使用的CDH版本為CDH-4.3.0-1.cdh4.3.0.p0.22-el5.parcel。

F. 「嘿,老伙計!」1961的雪佛蘭 Bel Air

喲!

車友速遞!

(他的照片拍的真好看)

1961

Chevrolet

Bel Air


講真,當我看到這台破舊不堪的老車時,我是震驚的。我很難想像在不出國門的情況下,能在除了電影電視以外的地方看到一台真實的 1961 款雪佛蘭 Chevrolet Bel Air !懷著無比崇敬的心情,和腦海中自動選擇的 Muddy Waters ,我用相機記錄下了這台位於天津的老車。



汽車 是用來「穿越時空」的最佳工具,尤其是老車。這台生產於 56 年前的 Chevy 和大部分漂洋過海到中國的進口老車一樣,車況慘不忍睹。不知這傢伙來到東方以後都經歷了些什麼...與改革開放初期大量湧入中國的「豪華 汽車 」不同,這可是一台貨真價實的 American Muscle !誰會在當年有如此情懷將它帶入中國呢?



在我引經據典之前,我有必要介紹一下這台車所在的位置。這台 1961 款雪佛蘭 Bel Air 現在停放在天津塘沽的 趣車 老車修復中心。於一大票經典之中我首先選擇這台 Chevy,正是因為它是那麼的如此罕見。



當我第一眼看到它時,憑我對於美國車的了解識別出它應該是一台雪佛蘭 Impala。但當我多方查找資料後發現,這其實是一台第五代雪佛蘭 Bel Air 四門豪華轎車。


資料圖:1961 款雪佛蘭 Bel Air 4-door


雪佛蘭 Chevrolet Bel Air (有中文翻譯為蓓麗,但未經官方證實)是於 1950-1981 年期間生產的美式全尺寸轎車。最初只有兩門硬頂版本,1953 年之後衍生出多款車型,這其中就包括共享底盤和發動機的 Impala。雪佛蘭 Bel Air 車系在美國本土於 1975 年停產,但在加拿大一直延續到 1981 年。


資料圖:與 1961 款雪佛蘭 Bel Air 共平台的其他型號



所拍攝的這台老 Chevy 是有車門邊框的型號,而且車尾部共有兩組四個尾燈。而 Impala 是運動感十足的無邊框車門,而且車尾部有兩組共六個尾燈。所以,這台被我認為是 Impala 的大傢伙,實際上是一台 Bel Air。



1961 款雪佛蘭 Bel Air 是其第五代車型,這個型代從 1961 年到 1964 年之間生產。與我們熟悉的圓頭圓腦的 50 年代 Bel Air 已經完全不同。如果你看過電影《狂暴飛車》,那你一定記得尼古拉斯-凱奇的那台酷黑座駕,那是我們熟悉的 Bel Air 造型。




第五代雪佛蘭 Bel Air 擁有了全新的車體,這與同年代很多雪佛蘭產品共享平台。只是和現在不同,那個時候不同配置的同平台 汽車 產品是有獨立名稱和型號的。你可以理解為 Impala 是年輕運動型,而 Bel Air 是豪華舒適性...不同名稱的產品是為了面向不同的消費人群。


這台車的軸距長達 3 米!車身長度為 5.32 米。發動機有 135 馬力的 235 立方英寸六缸引擎和 V8 170 馬力的 283 立方英寸引擎兩種。不過這台老傢伙我沒能打開引擎蓋一探究竟,車體上也沒有任何可以識別配置的標志,有些可惜。



可以看出這台車原本應該是一台黑色外觀的大傢伙,車身上除了反光鏡以外並沒有太大的改動,這對兒有些「跳戲」的塑料材質反光鏡明顯和這個車的年代不符,推斷應該是為了符合上牌上路條件才進行的加裝。



老車線索: 與同年款雪佛蘭 Impala 的明顯區別除了尾燈數量和有邊框車門以外,還有後窗上經典的車頂後掠設計。這台車後窗上還貼有一張「Drive Safety」的貼紙,下面一行看不出是哪國文字,推斷應該是銷售這台車的經銷商廣告吧。如果你能認出的話,請在評論區留言。



根據 YouTube 視頻作者 Josh Netzer 的介紹,這個型號的 1961 款雪佛蘭 Bel Air 是沒有倒車燈的,所以後面的四個尾燈都是紅色。而且原車兩側車門上是沒有後視鏡的,所以這台車的一對兒後視鏡肯定是後期安裝。(看上去像是從歐洲車上所得)



1961 年雪佛蘭全線產品更新面貌,這與時任通用設計部門一把手的 Bill Mitchell 關系重大。也正是他設計出了 1955 Chevy Bel Air, 1963 Corvette Stingray 和 1970 Chevrolet Camaro 這些經典車型。




20 世紀 60 年代是西方世界公認的 汽車 、音樂以及一切文化產業最興盛的年代。美國人民對於 汽車 的追求不再是寬大舒適而已,還要追求更高的豪華享受。在這一點上,通用旗下各品牌無疑走在了最前列。要知道,是雪佛蘭第一個把收音機安裝在 汽車 上的...類似種種提升車輛享受配置的記錄都是由雪佛蘭保持。



56 年啊!從這台車的銹穿情況來看,個人推斷其實它並沒有經歷太多的「苦難」和長途行駛,應該只是停放在一個地方很久很久才有如此老化。車身上也沒有明顯的因碰撞造成的傷痕。零配件也保持了很高的原廠度。



車門只有駕駛座一側還能打開,我就順便看了看這台老傢伙的裡面是什麼樣子。要知道這樣的機會可不多,即使有一台成色極佳的老車擺在你面前,這樣的型號恐怕也只是在博物館中才能看到。



尺寸超大的方向盤十分搶眼,中控台上大部分的零配件已經丟失。但還是能看出原來鮮艷的內飾配色。前後排座椅為寬敞舒適而且非常厚的真皮質地「大沙發」,因為實在是比較臟所以就沒體驗一下...駕駛座一側有明顯的塌陷,而後排座椅完好如初,推斷除了駕駛員以外應該也沒什麼人乘坐。



根據資料得知,這中間缺少的一塊儀表是一個可以調整的石英鍾,如果它運轉正常的話你還能聽到鍾表指針的「嘀嗒」聲。邁速表是非常具有年代感的美式設計,不過因為實在是太臟,沒有看到歷程信息。靠近中間缺少的是收音機旋鈕和機頭,一些開關還在原來的位置上,不過早已經銹死難動。



兩排座椅上布滿了雪佛蘭標示,而且摸上去支撐感非常不錯。這是一台四門版本車型,所以擁有相當寬敞的後排。不過即便是雙門版,後排空間也是一樣舒適寬闊。據說,很多美國姑娘的第一次都是在這樣的後座上...


它的身旁實際上還有很多老傢伙,請各位讀者老爺等著將來的更新吧!



值得注意的是 ,這台車的內飾中控台幾乎全部是金屬材質!盡管漆面已經破敗不堪,但還是能看到內部的金屬。能在沒有保養的情況下保持這么長時間,也是佩服當年美國的 汽車 製造水準和工藝水平。在中控台中間的一道金屬裝飾條上能看到各種按鍵的功能提示。



三個像飛機操縱桿一樣的功能按鈕是控制空調的,鑰匙門設計在中間的位置上。很多按鈕還可以按動,只是沒有任何反應。紅色內飾真的是非常漂亮啊!



在邁速表下方的三塊儀表除了中間缺少的鍾表以外,左邊的是水溫表,右邊的是油表。我們來欣賞一下這台車的內飾:



天津趣車河老車修復中心的英文名字叫 Sparrow Tears ,麻雀的眼淚。嗯,這些散落在中國各地的進口經典老車就像麻雀的眼淚一樣稀有罕見。這些真正愛車的人能做的,也許就是將它們收集珍藏起來,慢慢修復它們...重新上路奔跑,穿越回那個黃金時光!



也許在未來的某天,這台 1961 款雪佛蘭 Bel Air 將重新煥發容光上路馳騁。到那時,一切所謂「政策」都無力如白紙。 我們也不「祈求」什麼奇跡發生了,就讓這些老車在愛車人的庇護之下,一直存在下去吧!!



「嘿,老伙計,你本應該享受加州的陽光沙灘啊!而現在你和我一樣浪跡天涯...」


G. Cloudera CDH Impala本地通過Parcel安裝配置詳解及什麼是Parcel

1、問題的描述:當你利用ClouderaManager部署了CDH的集群後,也許隨著你的業務需求,你需要對你的就去哪做一些優化,或者擴展之類的,這個時候你可能需要下載安裝一些組件。例如,我最近在閱讀Cloudera官方文檔的是,看到有一節的內容說到PerformanceManagement的時候,發現為了提升集群的性能,經常會將數據進行壓縮,此時就會需要添加一些parcel的安裝。2、方法詳述:為了能夠安裝自己想要的parcel的軟體包,採用的方式可以:(1)在ClouderaManager的主界面選擇「host(主機)」---->parcel,就會出現如下的界面:(2)點擊上圖的紅色按鈕(編輯設置)進入設置界面:若是手動下載的parcel包,可以將其放到對應目錄下,默認是/opt/cloudera/parcel-repo/目錄下。若需要配置遠程下載的repo路徑,則只需要在旁邊點擊「+」這個按鈕即可。(3)設置好了這兩個參數後,回到(1)中的parcel界面,點擊檢查新parcel按鈕即可顯示。(4)分配和激活即可。

H. 如何修改hue的配置

配置 Hue
配置hue server
[desktop]
http_host=cdh1
http_port=8888
secret_key=
time_zone=Asia/Shanghai

如果想配置 SSL,則添加下面設置:
ssl_certificate=/path/to/certificate
ssl_private_key=/path/to/key

並使用下面命令生成證書:
# Create a key
$ openssl genrsa 1024 > host.key
# Create a self-signed certificate
$ openssl req -new -x509 -nodes -sha1 -key host.key > host.cert

配置 DB Query
DB Query 的相關配置在 hue.ini 中 databases 節點下面,目前共支持 sqlite, mysql, postgresql 和 oracle 四種資料庫,默認使用的是 sqlite 資料庫,你可以按自己的需要修改為其他的資料庫。
[[database]]
engine=sqlite3
name=/var/lib/hue/desktop.db

配置 Hadoop 參數
HDFS 集群配置
在 hadoop.hdfs_clusters.default 節點下配置以下參數:
fs_defaultfs:
logical_name: NameNode 邏輯名稱
webhdfs_url:
security_enabled:是否開啟 Kerberos
hadoop_conf_dir: hadoop 配置文件路徑
完整配置如下:
[hadoop]
[[hdfs_clusters]]
[[[default]]]
# Enter the filesystem uri
fs_defaultfs=hdfs://mycluster

# NameNode logical name.
logical_name=mycluster

# Use WebHdfs/HttpFs as the communication mechanism.
# Domain should be the NameNode or HttpFs host.
# Default port is 14000 for HttpFs.
## webhdfs_url=http://localhost:50070/webhdfs/v1
webhdfs_url=http://cdh1:14000/webhdfs/v1

# Change this if your HDFS cluster is Kerberos-secured
security_enabled=true

hadoop_conf_dir=/etc/hadoop/conf

配置 WebHDFS 或者 HttpFS
Hue 可以通過下面兩種方式訪問 Hdfs 中的數據:
WebHDFS:提供高速的數據傳輸,客戶端直接和 DataNode 交互
HttpFS:一個代理服務,方便與集群外部的系統集成
兩者都支持 HTTP REST API,但是 Hue 只能配置其中一種方式;對於 HDFS HA部署方式,只能使用 HttpFS。
對於 WebHDFS 方式,在每個節點上的 hdfs-site.xml 文件添加如下配置並重啟服務:
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

配置 Hue 為其他用戶和組的代理用戶。對於 WebHDFS 方式,在 core-site.xml 添加:
<!-- Hue WebHDFS proxy user setting -->
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>

對於 HttpFS 方式,在 /etc/hadoop-httpfs/conf/httpfs-site.xml 中添加下面配置並重啟 HttpFS 進程:
<!-- Hue HttpFS proxy user setting -->
<property>
<name>httpfs.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>httpfs.proxyuser.hue.groups</name>
<value>*</value>
</property>

對於 HttpFS 方式,在 core-site.xml 中添加下面配置並重啟 hadoop 服務:
<property>
<name>hadoop.proxyuser.httpfs.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.httpfs.groups</name>
<value>*</value>
</property>

修改 /etc/hue/conf/hue.ini 中 hadoop.hdfs_clusters.default.webhdfs_url 屬性。
對於 WebHDFS:
webhdfs_url=http://cdh1:50070/webhdfs/v1/

對於 HttpFS:
webhdfs_url=http://cdh1:14000/webhdfs/v1/

YARN 集群配置
在 hadoop.yarn_clusters.default 節點下配置:
[hadoop]
[[yarn_clusters]]
[[[default]]]
resourcemanager_host=cdh1
resourcemanager_port=8032
submit_to=True
security_enabled=true
resourcemanager_api_url=http://cdh1:8088
proxy_api_url=http://cdh1:8088
history_server_api_url=http://cdh1:19888

集成 Hive
在 beeswax 節點下配置:
[beeswax]
hive_server_host=cdh1
hive_server_port=10000
hive_conf_dir=/etc/hive/conf

這里是配置為連接一個 Hive Server2 節點,如有需要可以配置負載均衡,連接一個負載節點。
集成 Impala
在 impala 節點下配置
[impala]
# Host of the Impala Server (one of the Impalad)
server_host=cdh1

# Port of the Impala Server
server_port=21050

# Kerberos principal
impala_principal=impala/[email protected]

# Turn on/off impersonation mechanism when talking to Impala
impersonation_enabled=True

這里是配置為連接一個 Impala Server 節點,如有需要可以配置負載均衡,連接一個負載節點。
參考 Configuring Per-User Access for Hue 和 Use the Impala App with Sentry for real security,在配置 impersonation_enabled 為 true 的情況下,還需要在 impalad 的啟動參數中添加 authorized_proxy_user_config 參數,修改 /etc/default/impala中的 IMPALA_SERVER_ARGS 添加下面一行:
-authorized_proxy_user_config=hue=* \

另外,如果集群開啟了 Kerberos,別忘了配置 impala_principal 參數。
集成 kerberos
首先,需要在 kerberos server 節點上生成 hue 用戶的憑證,並將其拷貝到 /etc/hue/conf 目錄。:
$ kadmin: addprinc -randkey hue/[email protected]
$ kadmin: xst -k hue.keytab hue/[email protected]

$ cp hue.keytab /etc/hue/conf/

然後,修改 hue.ini 中 kerberos 節點:
[[kerberos]]
# Path to Hue's Kerberos keytab file
hue_keytab=/etc/hue/conf/hue.keytab

# Kerberos principal name for Hue
hue_principal=hue/[email protected]

# Path to kinit
kinit_path=/usr/bin/kinit

接下來,修改 /etc/hadoop/conf/core-site.xml,添加:
<!--hue kerberos-->
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hue.kerberos.principal.shortname</name>
<value>hue</value>
</property>

最後,重啟 hadoop 服務。
集成 LDAP
開啟 ldap 驗證,使用 ldap 用戶登錄 hue server,修改 auth 節點:
[desktop]
[[auth]]
backend=desktop.auth.backend.LdapBackend

另外修改 ldap 節點:
[desktop]
[[ldap]]
base_dn="dc=javachen,dc=com"
ldap_url=ldap://cdh1

# ldap用戶登陸時自動在hue創建用戶
create_users_on_login = true

# 開啟direct bind mechanism
search_bind_authentication=false

# ldap登陸用戶的模板,username運行時被替換
ldap_username_pattern="uid=<username>,ou=people,dc=javachen,dc=com"

注意:在開啟ldap驗證前,先普通方法創建一個ldap存在的用戶,賦超級用戶許可權,否則無法管理hue用戶。
集成 Sentry
如果 hive 和 impala 中集成了 Sentry,則需要修改 hue.ini 中的 libsentry 節點:
[libsentry]
# Hostname or IP of server.
hostname=cdh1

# Port the sentry service is running on.
port=8038

# Sentry configuration directory, where sentry-site.xml is located.
sentry_conf_dir=/etc/sentry/conf

另外,修改 /etc/sentry/conf/sentry-store-site.xml 確保 hue 用戶可以連接 sentry:
<property>
<name>sentry.service.allow.connect</name>
<value>impala,hive,solr,hue</value>
</property>

集成 Sqoop2
在 sqoop 節點配置 server_url 參數為 sqoop2 的地址即可。
集成 HBase
在 hbase 節點配置下面參數:
truncate_limit:Hard limit of rows or columns per row fetched before truncating.
hbase_clusters:HBase Thrift 服務列表,例如: Cluster1|cdh1:9090,Cluster2|cdh2:9090,默認為: Cluster|localhost:9090
集成 Zookeeper
在 zookeeper 節點配置下面兩個參數:
host_ports:zookeeper 節點列表,例如: localhost:2181,localhost:2182,localhost:2183
rest_url:zookeeper 的 REST 介面,默認值為 http://localhost:9998
集成 Oozie
未使用,暫不記錄。
管理 Hue
如果配置了 kerberos,則先獲取 hue 憑證:
kinit -k -t /etc/hue/conf/hue.keytab hue/[email protected]

啟動 hue server:
$ service hue start

停止 hue server:
$ service hue stop

hue server 默認使用 8888 作為 web 訪問埠,故需要在防火牆上開放該埠。
你可以在 /var/log/hue 目錄查看 hue 的日誌,或者通過 http://cdh1:8888/logs 查看。
測試
在開啟了 LDAP 後,使用 LDAP 中的管理員用戶登錄 hue,根據提示向導進行設置並將 LDAP 中的用戶同步到 Hue Server,然後依次測試每一個功能是否運行正常。

I. 如何配置impala更新hive 時間

如何配置impala更新hive 時間
在hive下創建臨時IO的tmp文件夾。然後將路徑配置到下列參數中 hive.querylog.location /home/username/hive/iotmp Location of Hive run time structured log file hive.exec.local.scratchdir /home/username/hive/iotmp Local scratch space