hive如何设置元数据库为mysql

朴灿烈づ我的快乐病毒、 2024-04-03 10:55 60阅读 0赞

hive默认的[元数据][Link 1]库为derby,除了derby外,hive也可以设置元数据库为mysql

系统环境

操作平台macOS X 10.13.2 64位

[hadoop][]版本3.1.2

hive版本3.1.1

mysql版本5.6.30

mysql所在平台centOS 6.5

jdk版本1.8.0

jdbc版本mysql-connector-java-8.0.16.jar

软件安装

hadoop与hive采用 brewhome安装

brew install hadoopbrew install hive

mysql很早前通过源码编译安装的,网上有绿色版可以直接下载使用.

jdk傻瓜式安装过程.

环境变量配置

\# java configexport MAVEN\_HOME=/usr/local/mvn/export JAVA\_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0\_151.jdk/Contents/Homeexport CLASSPATH=$JAVA\_HOME/libexport PATH=$PATH:$JAVA\_HOME/bin\# hadoop configexport HADOOP\_HOME=/usr/local/Cellar/hadoop/3.1.2/libexecexport HADOOP\_ROOT\_LOGGER=ALL,Consoleexport HADOOP\_COMMON\_HOME=$HADOOP\_HOMEexport PATH=$PATH:HADOOP\_HOME/bin\# hive configexport HIVE\_HOME=/usr/local/Cellar/hive/3.1.1/libexecexport PATH=$PATH:$HIVE\_HOME/bin

配置

创建一个hive用的数据库与数据库账号(可以直接用root),如果是远程数据库的话,需要修改mysql.user表,修改Host字段为hive机器所在ip,简单点直接改为\*即可

下载jdbc包,放置到$HIVE\_HOME/lib下

配置hive,相关配置点在后端

初始化数据库,启动hive服务

创建hive\_sit.xml

cd $HIVE\_HOME/confcp hive-default.xml.template hive\_site.xmlvim hive\_sit.xml

输入如下结构,具体信息请自行修改

<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://数据库:端口/数据库名称</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>用户名</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>密码</value> </property></configuration>

修改hive\_env.sh,设置HADOOP\_HOME,HIVE\_CONF\_DIR,HIVE\_AUX\_JARS\_PATH三项

HADOOP\_HOME=/usr/local/Cellar/hadoop/3.1.2/libexecexport HIVE\_CONF\_DIR=/usr/local/Cellar/hive/3.1.1/libexec/confexport HIVE\_AUX\_JARS\_PATH=/usr/local/Cellar/hive/3.1.1/libexec/lib

初始化hive的元数据库

schematool -dbType mysql -initSchema

初始化后数据库中会有如下表:

屏幕快照 2019-05-10 下午3.27.29.png

启动hive

hive --service metastore &

测试,输入hive并回撤进入hive命令行状态

hive> show databases;OKdefaultTime taken: 0.123 seconds, Fetched: 1 row(s)

如果返回以上结果,表示配置完毕

来源：[微点阅读][Link 2] [https://www.weidianyuedu.com][Link 2]

[Link 1]: https://so.csdn.net/so/search?q=%E5%85%83%E6%95%B0%E6%8D%AE&spm=1001.2101.3001.7020
[hadoop]: https://so.csdn.net/so/search?q=hadoop&spm=1001.2101.3001.7020
[Link 2]: https://www.weidianyuedu.com