当前位置:首页 » 数据仓库 » hive创建数据库表
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

hive创建数据库表

发布时间: 2022-07-08 07:16:31

㈠ mysql和hive建表的区别

当然不是,hive支持jdbc和odbc数据源连接,可以连接很多种数据库,mysql、oracle等等等等,它自己的metastore用的就是derbyDB。 具体的连接方法在官网上有说明,使用odbc需要重新编译相关组件。hive通过jdbc连接其他数据库的教程在google上一搜
应该是Hadoop在hbase和Hive中的作用吧。 hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储。而hbase是作为分布式数据库,而hive是作为分布式数据仓库。当然hive还是借用hadoop的MapRece来完成一些hive中的命令的执行。

㈡ hive cmd 开启

1、下载Hive软件。如果下载hive-211,可直接进行下一步。如果下载hive-235,需要将缺失的cmd文件放入bin目录下。
2、配置Hive系统变量和环境变量。
3、下载MySQL驱动(mysql-connector-java-5145),放置到目录下。
4、在Hadoop上创建HDFS目录。调出CMD终端,输入以下命令。
5、创建相关目录。
6、将模板文件另存为hive-sitexml,并修改文件hive-sitexml内容。Hive相关目录设置,数据库相关设置。
7、在MySQL下创建数据库。
8、启动Hadoop,即在hadoop的sbin目录下调出CMD输入命令start-dfscmd。
9、启动Hivemetastore服务,即调出CMD输入命令hive-servicemetastore。输入命令后会自动在MySQL的hive数据库下创建许多相关表。
10、启动Hive,即调出CMD输入命令hivecmd。

㈢ 如何基于hive建立数据仓库

构建一个真正的数据仓库可能是一个庞大的工程。有许多不同的设备、方法和理论。最大的共同价值是什么?事实是什么,哪些主题与这些事实相关?以及您如何混合、匹配、合并和集成可能已存在数十年的系统与仅在几个月前实现的系统?这还是在大数据和 Hadoop 之前。将非结构化、数据、NoSQL 和 Hadoop 添加到组合中,您很快就会得到一个庞大的数据集成项目。
描述一个数据仓库的最简单方式是,认识到可以将它归结为星形模式、事实和维度。您如何创建这些元素,决定权在您手上 — 通过暂存数据库;动态提取、转换、加载流程;或者集成辅助索引。当然,您可以构建一个包含星形模式、事实和维度的数据仓库,使用 Hive 作为核心技术,但这并不容易。在 Hadoop 世界外部,这会成为一个更大的挑战。与其说 Hive 是一种合法的数据仓库,倒不如说它是一个集成、转换、快速查找工具。该模式可能像是数据仓库,但适用性表明它不是 RDBMS

㈣ 为什么我的hive 不能创建数据库和表 create database userdb

-创建数据库
create database if not exists sopdm
comment ‘this is test database’
with dbproperties(‘creator’=’gxw’,’date’=’2014-11-12’) --数据库键值对属性信息
location ‘/my/preferred/directory’;

--查看数据库的描述信息和文件目录位置路径信息
describe database sopdm;
--查看数据库的描述信息和文件目录位置路径信息(加上数据库键值对的属性信息)
describe database extended sopdm;

㈤ 怎么创建一个hive的parquet的数据文档

怎么创建一个hive的parquet的数据文档
用access建立一个数据库例子如下:
单击“开始”→”所有程序“→”Microsoft Office“→”Microsoft Access 2010“,打开Microsoft Access 2010软件
在打开的Microsoft Access 2010软件中选中“空数据库”双击即可创建。或者打击“创建”命令按钮创建,其中文件名处可以选择指定具体的文件名和路径。
创建空白数据库后可以看到一个新建了一个名为“表1”的数据表,界面右侧显示了它的字段。若要添加字段,可以单击“单击以添加”旁的倒三角箭头,选择要添加的字段类型。
此时光标会定位在字段名称上,可以对字段名称进行重命名,重命名字段名称后按下回车键,将继续下一个字段的添加操作。
通过以上的步骤就可以创建一个包含单个数据表的简易的空白数据库了。

㈥ hive中创建外部分区表使用location是指定数据存放位置还是指数据来源

指定数据存放位置,如果没有指定,就会在hdfs的默认位置建立表文件。

Hive 没有专门的数据存储格式,也没有为数据建立索引,用户可以非常自由的组织 Hive 中的表,只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符,Hive 就可以解析数据。

Hive 中所有的数据都存储在 HDFS 中,Hive 中包含以下数据模型:表(Table),外部表(External Table),分区(Partition),桶(Bucket)。

(6)hive创建数据库表扩展阅读:

Hive中的表和数据库中的表在概念上相似。 每个表在Hive中都有一个对应的目录来存储数据。

例如,一个表pvs,其在HDFS中的路径为:/ wh / pvs,其中wh是在 hive-site.xml 中由 ${hive.metastore.warehouse.dir} 指定的数据仓库的目录,所有表数据( 不包括外部表)存储在此目录中。

Partition对应于数据库中的 Partition 列的密集索引,但是Hive中的Partition的组织方式与数据库中的完全不同。 在Hive中,表中的Partition与表下的目录相对应,所有Partition的数据都存储在相应的目录中。

㈦ hive创建数据库表 报错,如截图,请大神赐教!

跟字符集没有关系,这个表并没有创建成功。

参考:

㈧ 如何使用RDS创建Hive元数据库

用户可以使用不同的数据库客户端或命令行语句访问RDS数据库。下面分别介绍MySQL和SQL Server的访问方法。

一、提供3种访问MySQL数据库方法

点击了解如何提升RDS响应速度
方法1:客户端:Mysql-Front

首先,启动Mysql-Front后会有一个添加对话的对话框弹出,在名称处可输入任意名称。

其次,点击“连接”选项卡。
在服务器处:填写RDS的数据实例链接名(如example201108.mysql.alibabalabs.com)。

在端口处:3306。

然后,点击注册选项卡,在用户和密码处输入申请数据库时填写的数据库用户名和密码后,点击下图箭头所示的小方框,就可以选取要连接的数据库
最后,弹出数据库登录的对话框时,请继续点击确定按钮。便可链接并使用RDS数据库。

方法2:Navicat_mysql

在连接输入框中输入数据实例链接地址,端口(默认3306),数据库用户名和数据库密码后,点击确定即可。

方法3:Mysql命令登录

用户安装MySQL客户端后,可进入命令行方式链接数据库。
命令格式:mysql -u user_name -h example.mysql.alibabalabs.com -P3306 -pxxxx
其中,-u 指定的是用户名, -h指定的是主机名, -P指定的是端口, -p指定的是密码。

二、访问SQL Server数据库方法

使用SQL Server Management Studio访问RDS SQL Server数据,输入RDS实例连接地址,端口号,数据库用户名和密码。链接端口号请输入3433

㈨ 怎样查看hive建的外部表的数据库

1
进入HIVE之前要把HADOOP给启动起来,因为HIVE是基于HADOOP的。所有的MR计算都是在HADOOP上面进行的。
2
在命令行中输入:hive。这个时候就可以顺利的进入HIVE了。当然了,如果你想直接执行HQL脚本文件可以这样:hive
-f
xxxxx.hql。
3
进入hive之后一一般默认的数据库都是default。如果你切换数据库的话所建的表都会是在default数据库里面。
4
创建数据库的语法是:create
database
database_name;非常简单的,其实hive跟mysql的语法还是比较相似的。为什么呢?请继续往下
5
切换数据库的时候可以输入:use
database_name;
查看所有数据库的时候可以输入:show
databases;
查看所有表的时候可以输入:show
tables
6
看表结构的时候可以输入:describe
tab_name;

㈩ hive数据库怎么建表和数据装载

楼主说的是Hive,不是HBase。从Oracle里面头导出数据为平面文件后,导入HDFS里面。Hive里面的表结构是要自己手工定的。

建表可以自己写个小程序实现,根据oracle字典表和hive的建表规则,每个地方使用hive的情景不同,建表也不同。数据装载可以用sqoop来实现。

你可以安装下SQOOP,注意这个跟HADOOP的版本要对应的,不然会出现一些问题。以下是我项目用到的例子,不过我有个更高级的方法,只需配到表就行了,就是写个JAVA程序,然后自动生成对应的脚本,再执行就可以了。转载,仅供参考。