A. dbserver可以連接impala么
dbserver不能直接連impala.
可以在Java中配置好驅動,然後採用JDBC的方式就可連入impala了,
B. impala整合hbase,用JDBC建表報錯不識別STORED BY關鍵字
Impala與Hbase建立關聯的sql語句沒法在Impala的控制台執行,需要在Hive上執行你上面的語句,然後在Impala上執行更新元數據invalidate metadata;
C. 如何在Apache hadoop2.2.0下面部署impala-CSDN論壇
安裝impala
這里介紹使用rpm包安裝的方式(需有root或sudo許可權),基於源碼包安裝的方式待後續折騰。
1.2.1 安裝前需知
impala能使用的內存無法超過系統的硬體可用內存(GA版,查詢需要的內存如果超出硬體內存,則查詢將失敗),對內存要求高,典型的硬體內存為:32~48G
impala(版本0.4)只支持redhat 5.7/centos 5.7或redhat 6.2/centos 6.2以上(好像還要求是64位的,所以建議安裝在64位系統上),不支持ubuntu
假設你已經安裝了CDH4(即Hadoop 2.0)
假設你已經安裝了Hive,並配置一個外部資料庫(如MySQL)供Hive存儲元數據。可通過執行下面的命令來判斷Hive是否安裝正常
$ hive
hive> show tables;
OK
Time taken: 2.809 seconds
這里請原諒我沒有提到Hadoop和Hive的安裝過程,還請尊駕自行搜索。
Impala不支持的特性:
查詢流數據
刪除數據
索引(至少當前版本不支持)
YARN集成(至少當前版本不支持)
全文搜索
不具有像Hive SerDe的可擴展機制
不支持線上查詢容錯,如果查詢出錯,如機器宕機,Impala將會丟棄本次查詢。
不支持表和列級別的授權
impalad實例之間的傳輸沒有加密
不支持Hive UFS
beta版尚不支持JDBC,計劃GA版支持
如果我的回答沒能幫助您,請繼續追問。
轉載,僅供參考。
D. Ubuntu下如何搭建impala組件
安裝impala 這里介紹使用rpm包安裝的方式(需有root或sudo許可權),基於源碼包安裝的方式待後續折騰。 1.2.1 安裝前需知 impala能使用的內存無法超過系統的硬體可用內存(GA版,查詢需要的內存如果超出硬體內存,則查詢將失敗),對內存要求高,...
E. Cloudera CDH Impala本地通過Parcel安裝配置詳解及什麼是Parcel
本地通過Parcel安裝過程與本地通過Package安裝過程完全一致,不同的是兩者的本地源的配置。
區別如下:
Package本地源:軟體包是.rpm格式的,數量通常較多,下載的時候比較麻煩。通過"createrepo ."的命令創建源,並要放到存放源文件主機的web伺服器的根目錄下,詳見創建本地yum軟體源,為本地Package安裝Cloudera Manager、Cloudera Hadoop及Impala做准備
Parcel本地源:軟體包是以.parcel結尾,相當於壓縮包格式的,一個系統版本對應一個,下載的時候方便。如centos 6.x使用的CDH版本為CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel,而centos 5.x使用的CDH版本為CDH-4.3.0-1.cdh4.3.0.p0.22-el5.parcel。
F. 「嘿,老伙計!」1961的雪佛蘭 Bel Air
喲!
車友速遞!
(他的照片拍的真好看)
1961
Chevrolet
Bel Air
講真,當我看到這台破舊不堪的老車時,我是震驚的。我很難想像在不出國門的情況下,能在除了電影電視以外的地方看到一台真實的 1961 款雪佛蘭 Chevrolet Bel Air !懷著無比崇敬的心情,和腦海中自動選擇的 Muddy Waters ,我用相機記錄下了這台位於天津的老車。
汽車 是用來「穿越時空」的最佳工具,尤其是老車。這台生產於 56 年前的 Chevy 和大部分漂洋過海到中國的進口老車一樣,車況慘不忍睹。不知這傢伙來到東方以後都經歷了些什麼...與改革開放初期大量湧入中國的「豪華 汽車 」不同,這可是一台貨真價實的 American Muscle !誰會在當年有如此情懷將它帶入中國呢?
在我引經據典之前,我有必要介紹一下這台車所在的位置。這台 1961 款雪佛蘭 Bel Air 現在停放在天津塘沽的 趣車 河 老車修復中心。於一大票經典之中我首先選擇這台 Chevy,正是因為它是那麼的如此罕見。
當我第一眼看到它時,憑我對於美國車的了解識別出它應該是一台雪佛蘭 Impala。但當我多方查找資料後發現,這其實是一台第五代雪佛蘭 Bel Air 四門豪華轎車。
資料圖:1961 款雪佛蘭 Bel Air 4-door
雪佛蘭 Chevrolet Bel Air (有中文翻譯為蓓麗,但未經官方證實)是於 1950-1981 年期間生產的美式全尺寸轎車。最初只有兩門硬頂版本,1953 年之後衍生出多款車型,這其中就包括共享底盤和發動機的 Impala。雪佛蘭 Bel Air 車系在美國本土於 1975 年停產,但在加拿大一直延續到 1981 年。
資料圖:與 1961 款雪佛蘭 Bel Air 共平台的其他型號
所拍攝的這台老 Chevy 是有車門邊框的型號,而且車尾部共有兩組四個尾燈。而 Impala 是運動感十足的無邊框車門,而且車尾部有兩組共六個尾燈。所以,這台被我認為是 Impala 的大傢伙,實際上是一台 Bel Air。
1961 款雪佛蘭 Bel Air 是其第五代車型,這個型代從 1961 年到 1964 年之間生產。與我們熟悉的圓頭圓腦的 50 年代 Bel Air 已經完全不同。如果你看過電影《狂暴飛車》,那你一定記得尼古拉斯-凱奇的那台酷黑座駕,那是我們熟悉的 Bel Air 造型。
第五代雪佛蘭 Bel Air 擁有了全新的車體,這與同年代很多雪佛蘭產品共享平台。只是和現在不同,那個時候不同配置的同平台 汽車 產品是有獨立名稱和型號的。你可以理解為 Impala 是年輕運動型,而 Bel Air 是豪華舒適性...不同名稱的產品是為了面向不同的消費人群。
這台車的軸距長達 3 米!車身長度為 5.32 米。發動機有 135 馬力的 235 立方英寸六缸引擎和 V8 170 馬力的 283 立方英寸引擎兩種。不過這台老傢伙我沒能打開引擎蓋一探究竟,車體上也沒有任何可以識別配置的標志,有些可惜。
可以看出這台車原本應該是一台黑色外觀的大傢伙,車身上除了反光鏡以外並沒有太大的改動,這對兒有些「跳戲」的塑料材質反光鏡明顯和這個車的年代不符,推斷應該是為了符合上牌上路條件才進行的加裝。
老車線索: 與同年款雪佛蘭 Impala 的明顯區別除了尾燈數量和有邊框車門以外,還有後窗上經典的車頂後掠設計。這台車後窗上還貼有一張「Drive Safety」的貼紙,下面一行看不出是哪國文字,推斷應該是銷售這台車的經銷商廣告吧。如果你能認出的話,請在評論區留言。
根據 YouTube 視頻作者 Josh Netzer 的介紹,這個型號的 1961 款雪佛蘭 Bel Air 是沒有倒車燈的,所以後面的四個尾燈都是紅色。而且原車兩側車門上是沒有後視鏡的,所以這台車的一對兒後視鏡肯定是後期安裝。(看上去像是從歐洲車上所得)
1961 年雪佛蘭全線產品更新面貌,這與時任通用設計部門一把手的 Bill Mitchell 關系重大。也正是他設計出了 1955 Chevy Bel Air, 1963 Corvette Stingray 和 1970 Chevrolet Camaro 這些經典車型。
20 世紀 60 年代是西方世界公認的 汽車 、音樂以及一切文化產業最興盛的年代。美國人民對於 汽車 的追求不再是寬大舒適而已,還要追求更高的豪華享受。在這一點上,通用旗下各品牌無疑走在了最前列。要知道,是雪佛蘭第一個把收音機安裝在 汽車 上的...類似種種提升車輛享受配置的記錄都是由雪佛蘭保持。
56 年啊!從這台車的銹穿情況來看,個人推斷其實它並沒有經歷太多的「苦難」和長途行駛,應該只是停放在一個地方很久很久才有如此老化。車身上也沒有明顯的因碰撞造成的傷痕。零配件也保持了很高的原廠度。
車門只有駕駛座一側還能打開,我就順便看了看這台老傢伙的裡面是什麼樣子。要知道這樣的機會可不多,即使有一台成色極佳的老車擺在你面前,這樣的型號恐怕也只是在博物館中才能看到。
尺寸超大的方向盤十分搶眼,中控台上大部分的零配件已經丟失。但還是能看出原來鮮艷的內飾配色。前後排座椅為寬敞舒適而且非常厚的真皮質地「大沙發」,因為實在是比較臟所以就沒體驗一下...駕駛座一側有明顯的塌陷,而後排座椅完好如初,推斷除了駕駛員以外應該也沒什麼人乘坐。
根據資料得知,這中間缺少的一塊儀表是一個可以調整的石英鍾,如果它運轉正常的話你還能聽到鍾表指針的「嘀嗒」聲。邁速表是非常具有年代感的美式設計,不過因為實在是太臟,沒有看到歷程信息。靠近中間缺少的是收音機旋鈕和機頭,一些開關還在原來的位置上,不過早已經銹死難動。
兩排座椅上布滿了雪佛蘭標示,而且摸上去支撐感非常不錯。這是一台四門版本車型,所以擁有相當寬敞的後排。不過即便是雙門版,後排空間也是一樣舒適寬闊。據說,很多美國姑娘的第一次都是在這樣的後座上...
它的身旁實際上還有很多老傢伙,請各位讀者老爺等著將來的更新吧!
值得注意的是 ,這台車的內飾中控台幾乎全部是金屬材質!盡管漆面已經破敗不堪,但還是能看到內部的金屬。能在沒有保養的情況下保持這么長時間,也是佩服當年美國的 汽車 製造水準和工藝水平。在中控台中間的一道金屬裝飾條上能看到各種按鍵的功能提示。
三個像飛機操縱桿一樣的功能按鈕是控制空調的,鑰匙門設計在中間的位置上。很多按鈕還可以按動,只是沒有任何反應。紅色內飾真的是非常漂亮啊!
在邁速表下方的三塊儀表除了中間缺少的鍾表以外,左邊的是水溫表,右邊的是油表。我們來欣賞一下這台車的內飾:
天津趣車河老車修復中心的英文名字叫 Sparrow Tears ,麻雀的眼淚。嗯,這些散落在中國各地的進口經典老車就像麻雀的眼淚一樣稀有罕見。這些真正愛車的人能做的,也許就是將它們收集珍藏起來,慢慢修復它們...重新上路奔跑,穿越回那個黃金時光!
也許在未來的某天,這台 1961 款雪佛蘭 Bel Air 將重新煥發容光上路馳騁。到那時,一切所謂「政策」都無力如白紙。 我們也不「祈求」什麼奇跡發生了,就讓這些老車在愛車人的庇護之下,一直存在下去吧!!
「嘿,老伙計,你本應該享受加州的陽光沙灘啊!而現在你和我一樣浪跡天涯...」
G. Cloudera CDH Impala本地通過Parcel安裝配置詳解及什麼是Parcel
1、問題的描述:當你利用ClouderaManager部署了CDH的集群後,也許隨著你的業務需求,你需要對你的就去哪做一些優化,或者擴展之類的,這個時候你可能需要下載安裝一些組件。例如,我最近在閱讀Cloudera官方文檔的是,看到有一節的內容說到PerformanceManagement的時候,發現為了提升集群的性能,經常會將數據進行壓縮,此時就會需要添加一些parcel的安裝。2、方法詳述:為了能夠安裝自己想要的parcel的軟體包,採用的方式可以:(1)在ClouderaManager的主界面選擇「host(主機)」---->parcel,就會出現如下的界面:(2)點擊上圖的紅色按鈕(編輯設置)進入設置界面:若是手動下載的parcel包,可以將其放到對應目錄下,默認是/opt/cloudera/parcel-repo/目錄下。若需要配置遠程下載的repo路徑,則只需要在旁邊點擊「+」這個按鈕即可。(3)設置好了這兩個參數後,回到(1)中的parcel界面,點擊檢查新parcel按鈕即可顯示。(4)分配和激活即可。
H. 如何修改hue的配置
配置 Hue
配置hue server
[desktop]
http_host=cdh1
http_port=8888
secret_key=
time_zone=Asia/Shanghai
如果想配置 SSL,則添加下面設置:
ssl_certificate=/path/to/certificate
ssl_private_key=/path/to/key
並使用下面命令生成證書:
# Create a key
$ openssl genrsa 1024 > host.key
# Create a self-signed certificate
$ openssl req -new -x509 -nodes -sha1 -key host.key > host.cert
配置 DB Query
DB Query 的相關配置在 hue.ini 中 databases 節點下面,目前共支持 sqlite, mysql, postgresql 和 oracle 四種資料庫,默認使用的是 sqlite 資料庫,你可以按自己的需要修改為其他的資料庫。
[[database]]
engine=sqlite3
name=/var/lib/hue/desktop.db
配置 Hadoop 參數
HDFS 集群配置
在 hadoop.hdfs_clusters.default 節點下配置以下參數:
fs_defaultfs:
logical_name: NameNode 邏輯名稱
webhdfs_url:
security_enabled:是否開啟 Kerberos
hadoop_conf_dir: hadoop 配置文件路徑
完整配置如下:
[hadoop]
[[hdfs_clusters]]
[[[default]]]
# Enter the filesystem uri
fs_defaultfs=hdfs://mycluster
# NameNode logical name.
logical_name=mycluster
# Use WebHdfs/HttpFs as the communication mechanism.
# Domain should be the NameNode or HttpFs host.
# Default port is 14000 for HttpFs.
## webhdfs_url=http://localhost:50070/webhdfs/v1
webhdfs_url=http://cdh1:14000/webhdfs/v1
# Change this if your HDFS cluster is Kerberos-secured
security_enabled=true
hadoop_conf_dir=/etc/hadoop/conf
配置 WebHDFS 或者 HttpFS
Hue 可以通過下面兩種方式訪問 Hdfs 中的數據:
WebHDFS:提供高速的數據傳輸,客戶端直接和 DataNode 交互
HttpFS:一個代理服務,方便與集群外部的系統集成
兩者都支持 HTTP REST API,但是 Hue 只能配置其中一種方式;對於 HDFS HA部署方式,只能使用 HttpFS。
對於 WebHDFS 方式,在每個節點上的 hdfs-site.xml 文件添加如下配置並重啟服務:
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
配置 Hue 為其他用戶和組的代理用戶。對於 WebHDFS 方式,在 core-site.xml 添加:
<!-- Hue WebHDFS proxy user setting -->
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
對於 HttpFS 方式,在 /etc/hadoop-httpfs/conf/httpfs-site.xml 中添加下面配置並重啟 HttpFS 進程:
<!-- Hue HttpFS proxy user setting -->
<property>
<name>httpfs.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>httpfs.proxyuser.hue.groups</name>
<value>*</value>
</property>
對於 HttpFS 方式,在 core-site.xml 中添加下面配置並重啟 hadoop 服務:
<property>
<name>hadoop.proxyuser.httpfs.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.httpfs.groups</name>
<value>*</value>
</property>
修改 /etc/hue/conf/hue.ini 中 hadoop.hdfs_clusters.default.webhdfs_url 屬性。
對於 WebHDFS:
webhdfs_url=http://cdh1:50070/webhdfs/v1/
對於 HttpFS:
webhdfs_url=http://cdh1:14000/webhdfs/v1/
YARN 集群配置
在 hadoop.yarn_clusters.default 節點下配置:
[hadoop]
[[yarn_clusters]]
[[[default]]]
resourcemanager_host=cdh1
resourcemanager_port=8032
submit_to=True
security_enabled=true
resourcemanager_api_url=http://cdh1:8088
proxy_api_url=http://cdh1:8088
history_server_api_url=http://cdh1:19888
集成 Hive
在 beeswax 節點下配置:
[beeswax]
hive_server_host=cdh1
hive_server_port=10000
hive_conf_dir=/etc/hive/conf
這里是配置為連接一個 Hive Server2 節點,如有需要可以配置負載均衡,連接一個負載節點。
集成 Impala
在 impala 節點下配置
[impala]
# Host of the Impala Server (one of the Impalad)
server_host=cdh1
# Port of the Impala Server
server_port=21050
# Kerberos principal
impala_principal=impala/[email protected]
# Turn on/off impersonation mechanism when talking to Impala
impersonation_enabled=True
這里是配置為連接一個 Impala Server 節點,如有需要可以配置負載均衡,連接一個負載節點。
參考 Configuring Per-User Access for Hue 和 Use the Impala App with Sentry for real security,在配置 impersonation_enabled 為 true 的情況下,還需要在 impalad 的啟動參數中添加 authorized_proxy_user_config 參數,修改 /etc/default/impala中的 IMPALA_SERVER_ARGS 添加下面一行:
-authorized_proxy_user_config=hue=* \
另外,如果集群開啟了 Kerberos,別忘了配置 impala_principal 參數。
集成 kerberos
首先,需要在 kerberos server 節點上生成 hue 用戶的憑證,並將其拷貝到 /etc/hue/conf 目錄。:
$ kadmin: addprinc -randkey hue/[email protected]
$ kadmin: xst -k hue.keytab hue/[email protected]
$ cp hue.keytab /etc/hue/conf/
然後,修改 hue.ini 中 kerberos 節點:
[[kerberos]]
# Path to Hue's Kerberos keytab file
hue_keytab=/etc/hue/conf/hue.keytab
# Kerberos principal name for Hue
hue_principal=hue/[email protected]
# Path to kinit
kinit_path=/usr/bin/kinit
接下來,修改 /etc/hadoop/conf/core-site.xml,添加:
<!--hue kerberos-->
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hue.kerberos.principal.shortname</name>
<value>hue</value>
</property>
最後,重啟 hadoop 服務。
集成 LDAP
開啟 ldap 驗證,使用 ldap 用戶登錄 hue server,修改 auth 節點:
[desktop]
[[auth]]
backend=desktop.auth.backend.LdapBackend
另外修改 ldap 節點:
[desktop]
[[ldap]]
base_dn="dc=javachen,dc=com"
ldap_url=ldap://cdh1
# ldap用戶登陸時自動在hue創建用戶
create_users_on_login = true
# 開啟direct bind mechanism
search_bind_authentication=false
# ldap登陸用戶的模板,username運行時被替換
ldap_username_pattern="uid=<username>,ou=people,dc=javachen,dc=com"
注意:在開啟ldap驗證前,先普通方法創建一個ldap存在的用戶,賦超級用戶許可權,否則無法管理hue用戶。
集成 Sentry
如果 hive 和 impala 中集成了 Sentry,則需要修改 hue.ini 中的 libsentry 節點:
[libsentry]
# Hostname or IP of server.
hostname=cdh1
# Port the sentry service is running on.
port=8038
# Sentry configuration directory, where sentry-site.xml is located.
sentry_conf_dir=/etc/sentry/conf
另外,修改 /etc/sentry/conf/sentry-store-site.xml 確保 hue 用戶可以連接 sentry:
<property>
<name>sentry.service.allow.connect</name>
<value>impala,hive,solr,hue</value>
</property>
集成 Sqoop2
在 sqoop 節點配置 server_url 參數為 sqoop2 的地址即可。
集成 HBase
在 hbase 節點配置下面參數:
truncate_limit:Hard limit of rows or columns per row fetched before truncating.
hbase_clusters:HBase Thrift 服務列表,例如: Cluster1|cdh1:9090,Cluster2|cdh2:9090,默認為: Cluster|localhost:9090
集成 Zookeeper
在 zookeeper 節點配置下面兩個參數:
host_ports:zookeeper 節點列表,例如: localhost:2181,localhost:2182,localhost:2183
rest_url:zookeeper 的 REST 介面,默認值為 http://localhost:9998
集成 Oozie
未使用,暫不記錄。
管理 Hue
如果配置了 kerberos,則先獲取 hue 憑證:
kinit -k -t /etc/hue/conf/hue.keytab hue/[email protected]
啟動 hue server:
$ service hue start
停止 hue server:
$ service hue stop
hue server 默認使用 8888 作為 web 訪問埠,故需要在防火牆上開放該埠。
你可以在 /var/log/hue 目錄查看 hue 的日誌,或者通過 http://cdh1:8888/logs 查看。
測試
在開啟了 LDAP 後,使用 LDAP 中的管理員用戶登錄 hue,根據提示向導進行設置並將 LDAP 中的用戶同步到 Hue Server,然後依次測試每一個功能是否運行正常。
I. 如何配置impala更新hive 時間
如何配置impala更新hive 時間
在hive下創建臨時IO的tmp文件夾。然後將路徑配置到下列參數中 hive.querylog.location /home/username/hive/iotmp Location of Hive run time structured log file hive.exec.local.scratchdir /home/username/hive/iotmp Local scratch space