當前位置:首頁 » 數據倉庫 » hive創建資料庫表
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

hive創建資料庫表

發布時間: 2022-07-08 07:16:31

㈠ mysql和hive建表的區別

當然不是,hive支持jdbc和odbc數據源連接,可以連接很多種資料庫,mysql、oracle等等等等,它自己的metastore用的就是derbyDB。 具體的連接方法在官網上有說明,使用odbc需要重新編譯相關組件。hive通過jdbc連接其他資料庫的教程在google上一搜
應該是Hadoop在hbase和Hive中的作用吧。 hbase與hive都是架構在hadoop之上的。都是用hadoop作為底層存儲。而hbase是作為分布式資料庫,而hive是作為分布式數據倉庫。當然hive還是借用hadoop的MapRece來完成一些hive中的命令的執行。

㈡ hive cmd 開啟

1、下載Hive軟體。如果下載hive-211,可直接進行下一步。如果下載hive-235,需要將缺失的cmd文件放入bin目錄下。
2、配置Hive系統變數和環境變數。
3、下載MySQL驅動(mysql-connector-java-5145),放置到目錄下。
4、在Hadoop上創建HDFS目錄。調出CMD終端,輸入以下命令。
5、創建相關目錄。
6、將模板文件另存為hive-sitexml,並修改文件hive-sitexml內容。Hive相關目錄設置,資料庫相關設置。
7、在MySQL下創建資料庫。
8、啟動Hadoop,即在hadoop的sbin目錄下調出CMD輸入命令start-dfscmd。
9、啟動Hivemetastore服務,即調出CMD輸入命令hive-servicemetastore。輸入命令後會自動在MySQL的hive資料庫下創建許多相關表。
10、啟動Hive,即調出CMD輸入命令hivecmd。

㈢ 如何基於hive建立數據倉庫

構建一個真正的數據倉庫可能是一個龐大的工程。有許多不同的設備、方法和理論。最大的共同價值是什麼?事實是什麼,哪些主題與這些事實相關?以及您如何混合、匹配、合並和集成可能已存在數十年的系統與僅在幾個月前實現的系統?這還是在大數據和 Hadoop 之前。將非結構化、數據、NoSQL 和 Hadoop 添加到組合中,您很快就會得到一個龐大的數據集成項目。
描述一個數據倉庫的最簡單方式是,認識到可以將它歸結為星形模式、事實和維度。您如何創建這些元素,決定權在您手上 — 通過暫存資料庫;動態提取、轉換、載入流程;或者集成輔助索引。當然,您可以構建一個包含星形模式、事實和維度的數據倉庫,使用 Hive 作為核心技術,但這並不容易。在 Hadoop 世界外部,這會成為一個更大的挑戰。與其說 Hive 是一種合法的數據倉庫,倒不如說它是一個集成、轉換、快速查找工具。該模式可能像是數據倉庫,但適用性表明它不是 RDBMS

㈣ 為什麼我的hive 不能創建資料庫和表 create database userdb

-創建資料庫
create database if not exists sopdm
comment 『this is test database』
with dbproperties(『creator』=』gxw』,』date』=』2014-11-12』) --資料庫鍵值對屬性信息
location 『/my/preferred/directory』;

--查看資料庫的描述信息和文件目錄位置路徑信息
describe database sopdm;
--查看資料庫的描述信息和文件目錄位置路徑信息(加上資料庫鍵值對的屬性信息)
describe database extended sopdm;

㈤ 怎麼創建一個hive的parquet的數據文檔

怎麼創建一個hive的parquet的數據文檔
用access建立一個資料庫例子如下:
單擊「開始」→」所有程序「→」Microsoft Office「→」Microsoft Access 2010「,打開Microsoft Access 2010軟體
在打開的Microsoft Access 2010軟體中選中「空資料庫」雙擊即可創建。或者打擊「創建」命令按鈕創建,其中文件名處可以選擇指定具體的文件名和路徑。
創建空白資料庫後可以看到一個新建了一個名為「表1」的數據表,界面右側顯示了它的欄位。若要添加欄位,可以單擊「單擊以添加」旁的倒三角箭頭,選擇要添加的欄位類型。
此時游標會定位在欄位名稱上,可以對欄位名稱進行重命名,重命名欄位名稱後按下回車鍵,將繼續下一個欄位的添加操作。
通過以上的步驟就可以創建一個包含單個數據表的簡易的空白資料庫了。

㈥ hive中創建外部分區表使用location是指定數據存放位置還是指數據來源

指定數據存放位置,如果沒有指定,就會在hdfs的默認位置建立表文件。

Hive 沒有專門的數據存儲格式,也沒有為數據建立索引,用戶可以非常自由的組織 Hive 中的表,只需要在創建表的時候告訴 Hive 數據中的列分隔符和行分隔符,Hive 就可以解析數據。

Hive 中所有的數據都存儲在 HDFS 中,Hive 中包含以下數據模型:表(Table),外部表(External Table),分區(Partition),桶(Bucket)。

(6)hive創建資料庫表擴展閱讀:

Hive中的表和資料庫中的表在概念上相似。 每個表在Hive中都有一個對應的目錄來存儲數據。

例如,一個表pvs,其在HDFS中的路徑為:/ wh / pvs,其中wh是在 hive-site.xml 中由 ${hive.metastore.warehouse.dir} 指定的數據倉庫的目錄,所有表數據( 不包括外部表)存儲在此目錄中。

Partition對應於資料庫中的 Partition 列的密集索引,但是Hive中的Partition的組織方式與資料庫中的完全不同。 在Hive中,表中的Partition與表下的目錄相對應,所有Partition的數據都存儲在相應的目錄中。

㈦ hive創建資料庫表 報錯,如截圖,請大神賜教!

跟字元集沒有關系,這個表並沒有創建成功。

參考:

㈧ 如何使用RDS創建Hive元資料庫

用戶可以使用不同的資料庫客戶端或命令行語句訪問RDS資料庫。下面分別介紹MySQL和SQL Server的訪問方法。

一、提供3種訪問MySQL資料庫方法

點擊了解如何提升RDS響應速度
方法1:客戶端:Mysql-Front

首先,啟動Mysql-Front後會有一個添加對話的對話框彈出,在名稱處可輸入任意名稱。

其次,點擊「連接」選項卡。
在伺服器處:填寫RDS的數據實例鏈接名(如example201108.mysql.alibabalabs.com)。

在埠處:3306。

然後,點擊注冊選項卡,在用戶和密碼處輸入申請資料庫時填寫的資料庫用戶名和密碼後,點擊下圖箭頭所示的小方框,就可以選取要連接的資料庫
最後,彈出資料庫登錄的對話框時,請繼續點擊確定按鈕。便可鏈接並使用RDS資料庫。

方法2:Navicat_mysql

在連接輸入框中輸入數據實例鏈接地址,埠(默認3306),資料庫用戶名和資料庫密碼後,點擊確定即可。

方法3:Mysql命令登錄

用戶安裝MySQL客戶端後,可進入命令行方式鏈接資料庫。
命令格式:mysql -u user_name -h example.mysql.alibabalabs.com -P3306 -pxxxx
其中,-u 指定的是用戶名, -h指定的是主機名, -P指定的是埠, -p指定的是密碼。

二、訪問SQL Server資料庫方法

使用SQL Server Management Studio訪問RDS SQL Server數據,輸入RDS實例連接地址,埠號,資料庫用戶名和密碼。鏈接埠號請輸入3433

㈨ 怎樣查看hive建的外部表的資料庫

1
進入HIVE之前要把HADOOP給啟動起來,因為HIVE是基於HADOOP的。所有的MR計算都是在HADOOP上面進行的。
2
在命令行中輸入:hive。這個時候就可以順利的進入HIVE了。當然了,如果你想直接執行HQL腳本文件可以這樣:hive
-f
xxxxx.hql。
3
進入hive之後一一般默認的資料庫都是default。如果你切換資料庫的話所建的表都會是在default資料庫裡面。
4
創建資料庫的語法是:create
database
database_name;非常簡單的,其實hive跟mysql的語法還是比較相似的。為什麼呢?請繼續往下
5
切換資料庫的時候可以輸入:use
database_name;
查看所有資料庫的時候可以輸入:show
databases;
查看所有表的時候可以輸入:show
tables
6
看錶結構的時候可以輸入:describe
tab_name;

㈩ hive資料庫怎麼建表和數據裝載

樓主說的是Hive,不是HBase。從Oracle裡面頭導出數據為平面文件後,導入HDFS裡面。Hive裡面的表結構是要自己手工定的。

建表可以自己寫個小程序實現,根據oracle字典表和hive的建表規則,每個地方使用hive的情景不同,建表也不同。數據裝載可以用sqoop來實現。

你可以安裝下SQOOP,注意這個跟HADOOP的版本要對應的,不然會出現一些問題。以下是我項目用到的例子,不過我有個更高級的方法,只需配到表就行了,就是寫個JAVA程序,然後自動生成對應的腳本,再執行就可以了。轉載,僅供參考。