⑴ Hive是什麼,Hive與關系型資料庫的區別
Hive與傳統的關系型資料庫有很多類似的地方,例如對sql的支持。但是其基於HDFS與MapRece的事實使得它與傳統的資料庫在很多方面有很大的不同,在一些特性的支持下也受到底層架構的限制,但是這些限制隨著版本迭代正在不斷被消除,使得Hive看起來越來越像傳統的資料庫。
⑵ Hive元資料庫是用來做什麼的,存儲哪些信息
本質上只是用來存儲hive中有哪些資料庫,哪些表,表的模式,目錄,分區,索引以及命名空間。為資料庫創建的目錄一般在hive數據倉庫目錄下。
⑶ 怎樣查看hive建的外部表的資料庫
1
進入HIVE之前要把HADOOP給啟動起來,因為HIVE是基於HADOOP的。所有的MR計算都是在HADOOP上面進行的。
2
在命令行中輸入:hive。這個時候就可以順利的進入HIVE了。當然了,如果你想直接執行HQL腳本文件可以這樣:hive
-f
xxxxx.hql。
3
進入hive之後一一般默認的資料庫都是default。如果你切換資料庫的話所建的表都會是在default資料庫裡面。
4
創建資料庫的語法是:create
database
database_name;非常簡單的,其實hive跟mysql的語法還是比較相似的。為什麼呢?請繼續往下
5
切換資料庫的時候可以輸入:use
database_name;
查看所有資料庫的時候可以輸入:show
databases;
查看所有表的時候可以輸入:show
tables
6
看錶結構的時候可以輸入:describe
tab_name;
⑷ 如何用Hive訪問Hadoop上數據
步驟
Hive提供了jdbc驅動,使得我們可以連接Hive並進行一些類關系型資料庫的sql語句查詢等操作,首先我們需要將這些驅動拷貝到報表工程下面,然後再建立連接,最後通過連接進行數據查詢。
拷貝jar包到FR工程
將hadoop里的hadoop-common.jar拷貝至報表工程appname/WEB-INF/lib下;
將hive里的hive-exec.jar、hive-jdbc.jar、hive-metastore.jar、hive-service.jar、libfb303.jar、log4j.jar、slf4j-api.jar、slf4j-log4j12.jar拷貝至報表工程appname/WEB-INF/lib下。
配置數據連接
啟動設計器,打開伺服器>定義數據連接,新建JDBC連接。
在Hive 0.11.0版本之前,只有HiveServer服務可用,在程序操作Hive之前,必須在Hive安裝的伺服器上打開HiveServer服務。而HiveServer本身存在很多問題(比如:安全性、並發性等);針對這些問題,Hive0.11.0版本提供了一個全新的服務:HiveServer2,這個很好的解決HiveServer存在的安全性、並發性等問題,所以下面我們分別介紹HiveServer和HiveServer2配置數據連接的方式。
HiveServer
資料庫驅動:org.apache.hadoop.hive.jdbc.HiveDriver;
URL:jdbc:hive://localhost:10000/default
註:hive服務默認埠為10000,根據實際情況修改埠;另外目前只支持默認資料庫名default,所有的Hive都支持。
測試連接,提示連接成功即可。
4
資料庫驅動:org.apache.hive.jdbc.HiveDriver;
URL:jdbc:hive2://localhost:10000/default
註:該連接方式只支持Hive0.11.0及之後版本。
⑸ Linux裡面hive是個資料庫嗎
hive是基於Hadoop的一個數據倉庫工具,用來進行數據提取、轉化、載入,這是一種可以存儲、查詢和分析存儲在Hadoop中的大規模數據的機制。hive數據倉庫工具能將結構化的數據文件映射為一張資料庫表,並提供SQL查詢功能,能將SQL語句轉變成MapRece任務來執行。Hive的優點是學習成本低,可以通過類似SQL語句實現快速MapRece統計,使MapRece變得更加簡單,而不必開發專門的MapRece應用程序。hive十分適合對數據倉庫進行統計分析。
⑹ windows下怎麼用python連接hive資料庫
由於版本的不同,Python 連接 Hive 的方式也就不一樣。
在網上搜索關鍵字 python hive 的時候可以找到一些解決方案。大部分是這樣的,首先把hive 根目錄下的$HIVE_HOME/lib/py拷貝到 python 的庫中,也就是 site-package 中,或者乾脆把新寫的 python 代碼和拷貝的 py 庫放在同一個目錄下,然後用這個目錄下提供的 thrift 介面調用。示例也是非常簡單的。類似這樣:
import sys
from hive_service import ThriftHive
from hive_service.ttypes import HiveServerException
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
def hiveExe(sql):
try:
transport = TSocket.TSocket('127.0.0.1', 10000)
transport = TTransport.TBufferedTransport(transport)
protocol = TBinaryProtocol.TBinaryProtocol(transport)
client = ThriftHive.Client(protocol)
transport.open()
client.execute(sql)
print "The return value is : "
print client.fetchAll()
print "............"
transport.close()
except Thrift.TException, tx:
print '%s' % (tx.message)
if __name__ == '__main__':
hiveExe("show tables")171819202122232425262728
或者是這樣的:
#!/usr/bin/env python
import sys
from hive import ThriftHive
from hive.ttypes import HiveServerException
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
try:
transport = TSocket.TSocket('14.18.154.188', 10000)
transport = TTransport.TBufferedTransport(transport)
protocol = TBinaryProtocol.TBinaryProtocol(transport)
client = ThriftHive.Client(protocol)
transport.open()
client.execute("CREATE TABLE r(a STRING, b INT, c DOUBLE)")
client.execute("LOAD TABLE LOCAL INPATH '/path' INTO TABLE r")
client.execute("SELECT * FROM test1")
while (1):
row = client.fetchOne()
if (row == None):
break
print rowve
client.execute("SELECT * FROM test1")
print client.fetchAll()
transport.close()
except Thrift.TException, tx:
print '%s' % (tx.message)
但是都解決不了問題,從 netstat 中查看可以發現 TCP 連接確實是建立了,但是不執行 hive 指令。也許就是版本的問題。
還是那句話,看各種中文博客不如看官方文檔。
項目中使用的 hive 版本是0.13,此時此刻官網的最新版本都到了1.2.1了。中間間隔了1.2.0、1.1.0、1.0.0、0.14.0。但是還是參考一下官網的方法試試吧。
首先看官網的 setting up hiveserver2
可以看到啟動 hiveserver2 可以配置最大最小線程數,綁定的 IP,綁定的埠,還可以設置認證方式。(之前一直不成功正式因為這個連接方式)然後還給了 python 示例代碼。
import pyhs2
with pyhs2.connect(host='localhost',
port=10000,
authMechanism="PLAIN",
user='root',
password='test',
database='default') as conn:
with conn.cursor() as cur:
#Show databases
print cur.getDatabases()
#Execute query
cur.execute("select * from table")
#Return column info from query
print cur.getSchema()
#Fetch table results
for i in cur.fetch():
print
在拿到這個代碼的時候,自以為是的把認證信息給去掉了。然後運行發現跟之前博客里介紹的方法結果一樣,建立了 TCP 連接,但是就是不執行,也不報錯。這是幾個意思?然後無意中嘗試了一下原封不動的使用上面的代碼。結果可以用。唉。。。
首先聲明一下,hive-site.xml中默認關於 hiveserver2的配置我一個都沒有修改,一直是默認配置啟動 hiveserver2。沒想到的是默認配置是有認證機制的。
然後再寫一點,在安裝 pyhs2的時候還是遇到了點問題,其實還是要看官方文檔的,我只是沒看官方文檔直接用 pip安裝導致了這個問題。安裝 pyhs2需要確定已經安裝了幾個依賴包。直接看在 github 上的 wiki 吧。哪個沒安裝就補上哪一個就好了。
To install pyhs2 on a clean CentOS 6.4 64-bit desktop....
(as root or with sudo)
get ez_setup.py from https://pypi.python.org/pypi/ez_setup
python ez_setup.py
easy_install pip
yum install gcc-c++
yum install cyrus-sasl-devel.x86_64
yum install python-devel.x86_64
pip install
寫了這么多,其實是在啰嗦自己遇到的問題。下面寫一下如何使用 python
連接 hive。
python 連接 hive 是基於 thrift 完成的。所以需要伺服器端和客戶端的配合才能使用。
在伺服器端需要啟動 hiveserver2 服務,啟動方法有兩種, 第二種方法只是對第一種方法的封裝。
1. $HIVE_HOME/bin/hive --server hiveserver2
2. $HIVE_HOME/bin/hiveserver21212
默認情況下就是hiveserver2監聽了10000埠。也可以通過修改 hive-site.xml 或者在啟動的時候添加參數來實現修改默認配置。
另外一方面,在客戶端需要安裝 python 的依賴包 pyhs2。安裝方法在上面也介紹了,基本上就是用 pip install pyhs2,如果安裝不成功,安裝上面提到的依賴包就可以了。
最後運行上面的示例代碼就可以了,配置好 IP 地址、埠、資料庫、表名稱就可以用了,默認情況下認證信息不需要修改。
另外補充一點 fetch 函數執行速度是比較慢的,會把所有的查詢結果返回來。可以看一下 pyhs2 的源碼,查看一下還有哪些函數可以用。下圖是 Curor 類的可以使用的函數。
一般 hive 表裡的數據比較多,還是一條一條的讀比較好,所以選擇是喲功能 fetchone函數來處理數據。fetchone函數如果讀取成功會返回列表,否則 None。可以把示例代碼修改一下,把 fetch修改為:
count = 0
while (1):
row = cur.fetchone()
if (row is not None):
count += 1
print count, row
else:
print "it's over"
⑺ hive支持資料庫重命名嗎
hive暫不支持資料庫重命名操作.
用戶可以使用ALTER DATABASE命令為某個資料庫的 DBPROPERTIES 設置鍵-值對屬性值,來描述這個資料庫的屬性信息;
ALTER(DATABASE|SCHEMA)database_nameSETDBPROPERTIES(property_name=property_value,...);
2. 也可以使用該命令修改資料庫的用戶或許可權;
ALTER(DATABASE|SCHEMA)database_nameSETOWNER[USER|ROLE]user_or_role;
3. 但是資料庫的其他元數據信息都是不可以更改的,包括資料庫名和資料庫所在的目錄位置。
⑻ Hive有哪些支持者和替代品
Apache Hive社區項目的提交者包括Cloudera,Hortonworks,Facebook,Intel,LinkedIn,Databricks等。Hadoop發行版支持Hive。與Hbase NoSQL資料庫一樣,它通常作為Hadoop分布式數據處理應用程序的一部分實現。Hive可從Apache Foundation下載,也可從Hadoop分發商Cloudera,MapR和Hortonworks下載,也可作為AWS Elastic MapRece的一部分下載。後一種實現方式支持在Simple Storage Service對象存儲中的數據集分析。
Apache Hive是首次將SQL查詢功能引入Hadoop生態系統的軟體之一。在眾多其他SQL-on-Hadoop產品中出現的是BigSQL,Drill,Hadapt,Impala和Presto。此外,Apache Pig已經成為面向Hadoop資料庫的HiveQL的替代語言。
⑼ hadoop hive 使用什麼資料庫
hive支持多種資料庫存放元數據derby|mysql|postgres|oracle,默認使用derby資料庫。