Hive安装与使用

客官°小女子只卖身不卖艺 2022-09-24 12:20 143阅读 0赞

> 环境：Ubuntu 14.04
> 
> **一、安装mysql创建hive数据库**
> 
>     sudo apt-get install mysql-server mysql-client
>     
>     mysql -u root -p
>     #创建hive用户
>     insert into mysql.user(Host,User,Password) values("localhost","hive",password("hive"));
>     #创建hive数据库
>     create database hive;
>     #分配权限
>     grant all on hive.* to hive@'%'  identified by 'hive';
>     grant all on hive.* to hive@'localhost'  identified by 'hive';
>     flush privileges;
> 
>   
> 
> 
> **二、安装hive**
> 
> 1. 下载并解压[hive][]
> 
>     sudo wget http://mirror.bit.edu.cn/apache/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
>     sudo tar -zxvf apache-hive-2.1.0-bin.tar.gz
>     sudo mv apache-hive-2.1.0 hive
> 
> 2 . 配置环境变量
> 
>     sudo vim /etc/profile
>     export HIVE_HOME=/usr/local/hive
>     export PATH=$PATH:$HIVE_HOME/bin
>     source /etc/profile
> 
> 3 . 修改配置文件
> 
> hive中的配置文件在conf目录下
> 
>     cp hive/conf/hive-default.xml.template hive/conf/hive-site.xml  
>     sudo vim hive/conf/hive-site.xml  
>     #添加以下配置  
>     <property>  
>       <name>javax.jdo.option.ConnectionURL</name>  
>       <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>  
>     </property>  
>     <property>  
>       <name>javax.jdo.option.ConnectionDriverName</name>  
>       <value>com.mysql.jdbc.Driver</value>  
>     </property>  
>     <property>  
>       <name>javax.jdo.option.ConnectionUserName</name>  
>       <value>hive</value>  
>     </property>  
>     <property>  
>       <name>javax.jdo.option.ConnectionPassword</name>  
>       <value>hive</value>  
>     </property>
>     <property>  
>       <name>hive.metastore.warehouse.dir</name>  
>       <value>/user/hive/warehouse</value>  
>     </property>
> 
> 拷贝mysql-connector-java-5.1.6-bin.jar 到hive 的lib目录中。  
> 
> 
> 注：把jline-2.12.jar拷贝到hadoop的share/hadoop/yarn/lib/目录下，替代jline-0.9.94.jar，否则启动可能会报错。  
> 
> 
> 4 . 在HDFS上创建hive所需目录
> 
>     hadoop fs -mkdir /tmp
>     hadoop fs -mkdir /user/hive/warehouse
>     #修改上述路径的访问权限，使用户组具有写入权限
>     hadoop fs -chmod g+w /tmp
>     hadoop fs -chmod g+w /user/hive/warehouse
> 
> 5 . 启动hive
> 
>     #启动hive
>     hive
>     #退出hive的交互式shell
>     hive>quit;
> 
> 报错解决：  
> Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql)  
> 
> 
> 执行：schematool -dbType mysql -initSchema
> 
>   
> 
> 
> **三、数据导入**
> 
> 1 . 下载UFO数据
> 
>     sudo wget http://7xjg29.com1.z0.glb.clouddn.com/ufo.tsv
> 
> 2 . 上传数据到HDFS
> 
>     hadoop fs -put ufo.tsv /tmp/ufo.tsv
> 
> 3 . 创建数据表
> 
>     #创建表
>     CREATE TABLE ufodata(sighted STRING,
>     reported STRING,sighting_location STRING,
>     shape STRING,duration STRING,description STRING) 
>     ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
>     #查看所有的表
>     show tables;
>     #使用正则匹配表名
>     show tables '.*data'
>     #查看表中各字段
>     describe ufodata;
>     #查看详细表描述
>     describe extended ufodata;
> 
> 这里需要解释ROW FORMAT与FIELDS TERMINATED BY，前者告诉hive每行数据包含多个有界字段，后者则指定了分隔符为‘\\t’。
> 
> 4 . 将数据导入到表中  
> 
> 
>     #将hdfs上的文件插入ufodata表中
>     LOAD DATA INPATH '/tmp/ufo.tsv' OVERWRITE INTO TABLE ufodata;
>     #统计记录数
>     select count(*) from ufodata;
>     #或在终端直接执行如下语句查询
>     hive -e "select count(*) from ufodata;"
>     #查看sighted字段前5列
> 
> 更多查询可参考附录的记录组成。
> 
> **四、Hive常用命令**
> 
>     #执行sql语句
>     hive -e "select count(*) from tablename;"
>     
>     #执行hql脚本
>     hive -f command.hql
>     
>     #建表语句
>     create table ufodata(sighted string,reported string,sighting_location string,
>     shape string,duration string,description string)
>     row format delimited
>     fields terminated by '\t';
>     
>     #从hdfs导入文件
>     load data inpath '/tmp/ufo.tsv' overwrite into table ufodata;
>     
>     #基于现有文件创建表
>     create external table states(abbreviation string,full_name string)
>     row format delimited
>     fields terminated by '\t';
>     location '/tmp/states';
>     
>     #创建表并从其他表导入数据
>     create table tablename as select * from tablename2 ;
>     
>     #仅复制表结构不导入数据
>     create table tablename3 like tablename;
>     
>     #增加一个字段
>     alter table tablename add columns(new_col String);
>     
>     #修改表名
>     alter table oldname rename to newname;
>     
>     #从其他表导入数据
>     insert overwrite table tablename2 select * from tablename1 ;
>     
>     #查看所有函数
>     show functions;
>     
>     #查看函数用法
>     describe function substr;
> 
>   
> 
> 
> 附录：
> 
> UFO目击事件记录组成

> > Sighting date ：目击发生时间
> 
> > Recorded date ：报告目击事件的日期
> 
> > Location ：目击事件发生的地点
> 
> > Shape：UFO的形状
> 
> > Duration：目击事件的持续时间
> 
> > Description：目击事件的大致描述

[hive]: http://hive.apache.org/downloads.html