hive常用命令

深藏阁楼爱情的钟 2022-06-15 11:19 459阅读 0赞

# [hive常用命令][hive] #

在命令行中输入：hive。这个时候就可以顺利的进入HIVE了。当然了，如果你想直接执行HQL脚本文件可以这样：hive -f xxxxx.hql。

\#创建新表

hive> CREATE TABLE t\_hive (a int, b int, c int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\\t';

\#导入数据t\_hive.txt到t\_hive表

hive> LOAD DATA LOCAL INPATH '/home/cos/demo/t\_hive.txt' OVERWRITE INTO TABLE t\_hive ;

\#正则匹配表名

hive>show tables '\*t\*';

\#增加一个字段

hive> ALTER TABLE t\_hive ADD COLUMNS (new\_col String);

\#重命令表名

hive> ALTER TABLE t\_hive RENAME TO t\_hadoop;

\#从HDFS加载数据

hive> LOAD DATA INPATH '/user/hive/warehouse/t\_hive/t\_hive.txt' OVERWRITE INTO TABLE t\_hive2;

\#从其他表导入数据

hive> INSERT OVERWRITE TABLE t\_hive2 SELECT \* FROM t\_hive ;

\#创建表并从其他表导入数据

hive> CREATE TABLE t\_hive AS SELECT \* FROM t\_hive2 ;

\#仅复制表结构不导数据

hive> CREATE TABLE t\_hive3 LIKE t\_hive;

\#通过Hive导出到本地文件系统

hive> INSERT OVERWRITE LOCAL DIRECTORY '/tmp/t\_hive' SELECT \* FROM t\_hive;

\#Hive查询HiveQL

from ( select b,c as c2 from t\_hive) t select t.b, t.c2 limit 2;

select b,c from t\_hive limit 2;

\#创建视图

hive> CREATE VIEW v\_hive AS SELECT a,b FROM t\_hive;

\#删表

drop table if exists t\_hft;

\#创建分区表

DROP TABLE IF EXISTS t\_hft;  
CREATE TABLE t\_hft(  
SecurityID STRING,  
tradeTime STRING,  
PreClosePx DOUBLE  
) PARTITIONED BY (tradeDate INT)  
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

\#导入分区数据

hive> load data local inpath '/home/BlueBreeze/data/t\_hft\_1.csv' overwrite into table t\_hft partition(tradeDate=20130627);

\#查看分区表

hive> SHOW PARTITIONS t\_hft;

## \#创建分区，插入hive表数据 ##

INSERT OVERWRITE TABLE s\_fore\_resultpartition (key='FD\_BULY\_AND\_TD')

分区名：key ,分区名值 FD\_BULY\_AND\_TD

查看表结构

describe tab\_name;

切换数据库的时候可以输入：use database\_name；

查看所有数据库的时候可以输入：show databases;

查看所有表的时候可以输入：show tables

创建数据库的语法是：create database database\_name;

执行show create table M\_BD\_T\_GAS\_ORDER\_INFO\_H;则可以查看table在hdfs上的存储路径

如下：

hive (origin\_ennenergy\_onecard)> show create table M\_BD\_T\_GAS\_ORDER\_INFO\_H;

OK  
CREATE TABLE \`M\_BD\_T\_GAS\_ORDER\_INFO\_H\`(  
  \`fguid\` string,   
  \`fstationno\` string,   
  \`fstationname\` string,   
  \`fgunno\` int,   
  \`fserialno\` int,   
  \`fgas\` double,   
  \`fprice\` double,   
  \`fmoney\` double,   
  \`fsumgas\` double,   
  \`ftradedatetime\` date,   
  \`fstopdatetime\` date,   
  \`fsavedatetime\` date,   
  \`ffueltype\` string,   
  \`recorddate\` date)  
ROW FORMAT DELIMITED   
  FIELDS TERMINATED BY '\\t'   
STORED AS INPUTFORMAT   
  'org.apache.hadoop.mapred.TextInputFormat'   
OUTPUTFORMAT   
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'  
LOCATION  
  'hdfs://mycluster/user/hive/warehouse/origin\_ennenergy\_onecard.db/m\_bd\_t\_gas\_order\_info\_h'      -----标红部分为hdfs的路径  
TBLPROPERTIES (  
  'COLUMN\_STATS\_ACCURATE'='true',   
  'numFiles'='6',   
  'numRows'='3546198',   
  'rawDataSize'='435279808',   
  'totalSize'='438826006',   
  'transient\_lastDdlTime'='1468831756')  
Time taken: 0.279 seconds, Fetched: 30 row(s)

hive其他命令：

show functions      ----->查看所有的hive函数

desc tablesname ------>查看table的表结构

1.hive模糊搜索表

show tables like '\*name\*';  
  
2.查看表结构信息  
  desc formatted table\_name;  
  desc table\_name;  
  
3.查看分区信息  
  show partitions table\_name;  
  
4.根据分区查询数据  
  select table\_coulm from table\_name where partition\_name = '2014-02-25';  
  
5.查看hdfs文件信息  
  dfs -ls /user/hive/warehouse/table02;  
  
6.从文件加载数据进表(OVERWRITE覆盖,追加不需要OVERWRITE关键字)  
  LOAD DATA LOCAL INPATH 'dim\_csl\_rule\_config.txt' OVERWRITE into table dim.dim\_csl\_rule\_config;  
  --从查询语句给table插入数据  
  INSERT OVERWRITE TABLE test\_h02\_click\_log PARTITION(dt) select \*   
  from stage.s\_h02\_click\_log where dt='2014-01-22' limit 100;  
  
7.导出数据到文件  
  insert overwrite directory '/tmp/csl\_rule\_cfg' select a.\* from dim.dim\_csl\_rule\_config a;  
  hive -e "select day\_id,pv,uv,ip\_count,click\_next\_count,second\_bounce\_rate,return\_visit,pg\_type from tmp.tmp\_h02\_click\_log\_baitiao\_ag\_sum where day\_id in ('2014-03-06','2014-03-07','2014-03-08','2014-03-09','2014-03-10');"> /home/jrjt/testan/baitiao.dat;  
  
8.自定义udf函数  
  1.继承UDF类  
  2.重写evaluate方法  
  3.把项目打成jar包  
  4.hive中执行命令add jar /home/jrjt/dwetl/PUB/UDF/udf/GetProperty.jar;  
  5.创建函数create temporary function get\_pro as 'jd.Get\_Property'//jd.jd.Get\_Property为类路径;  
  
9.查询显示列名 及 行转列显示   
  set hive.cli.print.header=true; // 打印列名  
  set hive.cli.print.row.to.vertical=true; // 开启行转列功能, 前提必须开启打印列名功能  
  set hive.cli.print.row.to.vertical.num=1; // 设置每行显示的列数  
  
10.查看表文件大小,下载文件到某个目录,显示多少行到某个文件  
   dfs -du hdfs://BJYZH3-HD-JRJT-4137.jd.com:54310/user/jrjt/warehouse/stage.db/s\_h02\_click\_log;  
   dfs -get /user/jrjt/warehouse/ods.db/o\_h02\_click\_log\_i\_new/dt=2014-01-21/000212\_0 /home/jrjt/testan/;  
   head -n 1000 文件名 > 文件名  
  
11.杀死某个任务  不在hive shell中执行  
   [Hadoop][] job -kill job\_201403041453\_58315  
  
12.hive-wui路径  
   [http://172.17.41.38/jobtracker.jsp][http_172.17.41.38_jobtracker.jsp]  
  
13.删除分区  
   alter table tmp\_h02\_click\_log\_baitiao drop partition(dt='2014-03-01');  
   alter table d\_h02\_click\_log\_basic\_d\_fact drop partition(dt='2014-01-17');  
  
  
14.hive命令行操作  
   执行一个查询,在终端上显示mapreduce的进度，执行完毕后，最后把查询结果输出到终端上，接着hive进程退出，不会进入交互模式。  
   hive -e 'select table\_cloum from table'  
   -S，终端上的输出不会有mapreduce的进度，执行完毕，只会把查询结果输出到终端上。这个静音模式很实用，,通过第三方程序调用，第三方程序通过hive的标准输出获取结果集。  
   hive -S -e 'select table\_cloum from table'  
   执行sql文件  
   hive -f hive\_sql.sql  
  
15.hive上操作hadoop文件基本命令  
    查看文件大小  
    dfs -du /user/jrjt/warehouse/tmp.db/tmp\_h02\_click\_log/dt=2014-02-15;  
    删除文件  
    dfs -rm /user/jrjt/warehouse/tmp.db/tmp\_h02\_click\_log/dt=2014-02-15;  
  
16.插入数据sql、导出数据sql  
    1.insert 语法格式为：  
    基本的插入语法：  
    INSERT OVERWRITE TABLE tablename \[PARTITON(partcol1=val1,partclo2=val2)\]select\_statement FROM from\_statement  
    insert overwrite table test\_insert select \* from test\_table;  
  
    对多个表进行插入操作：  
    FROM fromstatte  
    INSERT OVERWRITE TABLE tablename1 \[PARTITON(partcol1=val1,partclo2=val2)\]select\_statement1  
    INSERT OVERWRITE TABLE tablename2 \[PARTITON(partcol1=val1,partclo2=val2)\]select\_statement2  
  
    from test\_table                       
    insert overwrite table test\_insert1   
    select key  
    insert overwrite table test\_insert2  
    select value;  
  
    insert的时候，from子句即可以放在select 子句后面，也可以放在 insert子句前面。  
    hive不支持用insert语句一条一条的进行插入操作，也不支持update操作。数据是以load的方式加载到建立好的表中。数据一旦导入就不可以修改。  
  
    2.通过查询将数据保存到filesystem  
    INSERT OVERWRITE \[LOCAL\] DIRECTORY directory SELECT.... FROM .....  
  
    导入数据到本地目录：  
    insert overwrite local directory '/home/zhangxin/hive' select \* from test\_insert1;  
    产生的文件会覆盖指定目录中的其他文件，即将目录中已经存在的文件进行删除。  
  
    导出数据到HDFS中：  
    insert overwrite directory '/user/zhangxin/export\_test' select value from test\_table;  
  
    同一个查询结果可以同时插入到多个表或者多个目录中：  
    from test\_insert1  
    insert overwrite local directory '/home/zhangxin/hive' select \*   
    insert overwrite directory '/user/zhangxin/export\_test' select value;  
  
17.mapjoin的使用 应用场景：1.关联操作中有一张表非常小 2.不等值的链接操作  
    select /\*+ mapjoin(A)\*/ f.a,f.b from A t join B f  on ( f.a=t.a and f.ftime=20110802)   
  
18.perl启动任务  
   perl /home/jrjt/dwetl/APP/APP/A\_H02\_CLICK\_LOG\_CREDIT\_USER/bin/a\_h02\_click\_log\_credit\_user.pl   
   APP\_A\_H02\_CLICK\_LOG\_CREDIT\_USER\_20140215.dir >& /home/jrjt/dwetl/LOG/APP/20140306/a\_h02\_click\_log\_credit\_user.pl.4.log  
  
19.查看perl进程  
   ps -ef|grep perl  
  
20.hive命令移动表数据到另外一张表目录下并添加分区  
   dfs -cp /user/jrjt/warehouse/tmp.db/tmp\_h02\_click\_log/dt=2014-02-18 /user/jrjt/warehouse/ods.db/o\_h02\_click\_log/;  
   dfs -cp /user/jrjt/warehouse/tmp.db/tmp\_h02\_click\_log\_baitiao/\* /user/jrjt/warehouse/dw.db/d\_h02\_click\_log\_baitiao\_basic\_d\_fact/;--复制所有分区数据  
   alter table d\_h02\_click\_log\_baitiao\_basic\_d\_fact add partition(dt='2014-03-11') location '/user/jrjt/warehouse/dw.db/d\_h02\_click\_log\_baitiao\_basic\_d\_fact/dt=2014-03-11';  
  
21.导出白条数据  
    hive -e "select day\_id,pv,uv,ip\_count,click\_next\_count,second\_bounce\_rate,return\_visit,pg\_type from tmp.tmp\_h02\_click\_log\_baitiao\_ag\_sum where day\_id like '2014-03%';"> /home/jrjt/testan/baitiao.xlsx;  
  
22.hive修改表名  
    ALTER TABLE o\_h02\_click\_log\_i RENAME TO o\_h02\_click\_log\_i\_bk;  
  
23.hive复制表结构  
   CREATE TABLE d\_h02\_click\_log\_baitiao\_ag\_sum LIKE tmp.tmp\_h02\_click\_log\_baitiao\_ag\_sum;  
  
  
24.hive官网网址  
   [https://cwiki.apache.org/conflue ... ionandConfiguration][https_cwiki.apache.org_conflue ... ionandConfiguration]  
   [http://www.360doc.com/content/12/0111/11/7362\_178698714.shtml][http_www.360doc.com_content_12_0111_11_7362_178698714.shtml]  
  
25.hive添加字段  
   alter table tmp\_h02\_click\_log\_baitiao\_ag\_sum add columns(current\_session\_timelenth\_count bigint comment '页面停留总时长');  
   ALTER TABLE tmp\_h02\_click\_log\_baitiao CHANGE current\_session\_timelenth current\_session\_timelenth bigint comment '当前会话停留时间';  
  
26.hive开启简单模式不启用mr  
   set hive.fetch.task.conversion=more;  
  
27.以json格式输出执行语句会读取的input table和input partition信息  
   Explain dependency query

28.查看创建表语句

show create table app\_eclp\_effective\_inventory

[hive]: http://www.cnblogs.com/BlueBreeze/p/4232421.html
[Hadoop]: http://lib.csdn.net/base/hadoop
[http_172.17.41.38_jobtracker.jsp]: http://172.17.41.38/jobtracker.jsp
[https_cwiki.apache.org_conflue ... ionandConfiguration]: https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallationandConfiguration
[http_www.360doc.com_content_12_0111_11_7362_178698714.shtml]: http://www.360doc.com/content/12/0111/11/7362_178698714.shtml