[Hive基本概念之--hive分区]

r囧r小猫 2023-10-12 16:13 12阅读 0赞

**目录**

前言:

添加MyBatis和Hive依赖

配置MyBatis和Hive连接信息

在Spring Boot应用中定义MyBatis Mapper，例如：

定义实体类

MyBatis Mapper接口

Batis Mapper接口，insert方法对应Mapper中的insert方法，selectByPartition方法对应Mapper中的selectByPartition方法。

测试分区代码:

--------------------

## 前言: ##

> 记录笔记

## 添加MyBatis和Hive依赖 ##

<dependency>
        <groupId>org.mybatis.spring.boot</groupId>
        <artifactId>mybatis-spring-boot-starter</artifactId>
        <version>2.2.0</version>
    </dependency>
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>druid</artifactId>
        <version>1.2.8</version>
    </dependency>
    
    
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-jdbc</artifactId>
        <version>3.1.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>3.2.1</version>
    </dependency>

mybatis-spring-boot-starter是MyBatis的Spring Boot启动器，druid是连接池库。

## 配置MyBatis和Hive连接信息 ##

在application.properties文件中配置MyBatis和Hive的连接信息

spring.datasource.url=jdbc:mysql://localhost:3306/mydb?useUnicode=true&characterEncoding=UTF-8
    spring.datasource.username=root
    spring.datasource.password=root
    
    mybatis.mapper-locations=classpath:mapper/**/*.xml
    
    hive.jdbc.url=jdbc:hive2://localhost:10000/default
    hive.jdbc.username=hiveuser
    hive.jdbc.password=hivepassword

> 其中,spring.datasource.url、spring.datasource.username和spring.datasource.password分别指定MyBatis连接的数据库URL、用户名和密码；mybatis.mapper-locations指定MyBatis的Mapper文件所在位置；hive.jdbc.url、hive.jdbc.username和hive.jdbc.password分别指定连接Hive的用户名和密码。

创建Hive分区表:

CREATE TABLE mytable (
        col1 string,
        col2 int
    )
    PARTITIONED BY (dt string);

mytable是表名，col1和col2是表的普通列，dt是分区列。注意，创建表需要在Hive客户端中进行，不能在Spring Boot应用中执行。

### 在Spring Boot应用中定义MyBatis Mapper，例如： ###

<?xml version="1.0" encoding="UTF-8" ?>
    <!DOCTYPE mapper
      PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
      "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
    <mapper namespace="com.example.mapper.MyTableMapper">
        <resultMap id="BaseResultMap" type="com.example.entity.MyTable">
            <id column="id" property="id" jdbcType="BIGINT"/>
            <result column="col1" property="col1" jdbcType="VARCHAR"/>
            <result column="col2" property="col2" jdbcType="INTEGER"/>
            <result column="dt" property="dt" jdbcType="VARCHAR"/>
        </resultMap>
    
        <insert id="insert" parameterType="com.example.entity.MyTable">
            INSERT INTO mytable (col1, col2, dt) VALUES (#{col1}, #{col2}, #{dt})
        </insert>
    
        <select id="selectByPartition" resultMap="BaseResultMap">
            SELECT col1, col2, dt FROM mytable WHERE dt = #{dt}
        </select>
    </mapper>

其中，insert方法用于向Hive分区表中插入数据，selectByPartition方法用于查询指定分区的数据。

### 定义实体类 ###

>     public class MyTable { 2 private Long id; 3 private String col1; 4 private Integer col2; 5 private String dt; 6 // getter和setter省略 7}
> 
> 其中，id、col1和col2分别对应表中的列，dt对应分区列。

### MyBatis Mapper接口 ###

@Mapper
    public interface MyTableMapper {
        void insert(MyTable myTable);
    
        List<MyTable> selectByPartition(String partition);
    }

### Batis Mapper接口，insert方法对应Mapper中的insert方法，selectByPartition方法对应Mapper中的selectByPartition方法。 ###

在Spring Boot应用中实现向Hive分区表插入数据的代码，例如：
    
    
    @Service
    public class HivePartitionService {
    
        @Autowired
        private MyTableMapper myTableMapper;
    
        public void insertPartition(MyTable myTable) {
            myTableMapper.insert(myTable);
        }
    
    
        public List<MyTable> queryPartition(String partition) {
            return myTableMapper.selectByPartition(partition);
        }
    }

> 其中，partition参数代表要查询的分区。

## 测试分区代码: ##

@SpringBootTest
    class HivePartitionServiceTest {
    
        @Autowired
        private HivePartitionService hivePartitionService;
    
        @Test
        void insertPartition() {
            MyTable myTable = new MyTable();
            myTable.setCol1("test");
            myTable.setCol2(123);
            myTable.setDt("20210901");
            hivePartitionService.insertPartition(myTable);
        }
    
        @Test
        void queryPartition() {
            List<MyTable> myTables = hivePartitionService.queryPartition("20210901");
            for (MyTable myTable : myTables) {
                System.out.println(myTable.getCol1() + "," + myTable.getCol2() + "," + myTable.getDt());
            }
        }
    }

在测试代码中，insertPartition方法插入一条数据，queryPartition方法查询指定分区的数据，并打印出来。

发表评论取消回复

表情：

评论列表（有 0 条评论，12人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive基本概念

Hive基本概念 -------------------- 目录 1. 什么是Hive 2. Hive的优缺点 3. Hive架构原理 4. Hive...

女爷i/ 2024年04月19日 09:57/ 0 赞/ 33 阅读

相关 [Hive基本概念之--hive分区]

目录前言: 添加MyBatis和Hive依赖配置MyBatis和Hive连接信息在Spring Boot应用中定义MyBatis Mapper，例如：定义实

r囧r小猫/ 2023年10月12日 16:13/ 0 赞/ 13 阅读

相关 hive基本概念

1.hive是一个基于hadoop之上的一个数据仓库。可以处理的数据是关系型数据库（结构性）、本地数据、hdfs数据（非结构化的数据）； 2.hive是对处理数据的mapre

Dear 丶/ 2023年10月12日 12:49/ 0 赞/ 11 阅读

相关 Hive基本概念

文章目录什么是Hive? Hive的优缺点优点缺点 1．Hive的HQL表达能力有限

绝地灬酷狼/ 2023年06月17日 08:54/ 0 赞/ 16 阅读

相关大数据技术之Hive 第1章 Hive基本概念

第1章 Hive基本概念 1.1 什么是Hive 1.2 Hive的优缺点 1.2.1 优点 1.2.2 缺点 1.3 Hiv

快来打我*/ 2022年12月29日 14:11/ 0 赞/ 186 阅读

相关 hive分区表

分区表 1 为什么出现分区表？假设有海量的数据保存在hdfs的某一个hive表明对应的目录下，使用hive进行操作的时候，往往会搜索这个目录下的所有文件，这有时会

朱雀/ 2022年06月12日 05:28/ 0 赞/ 287 阅读

相关 Hive系列(一)Hive基本概念

一、Hive基本概念 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，

旧城等待，/ 2022年05月22日 22:44/ 0 赞/ 198 阅读

相关 Hive基本概念、Hive的架构 02

1. 什么是Hive ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9

雨点打透心脏的1/2处/ 2022年03月01日 06:10/ 0 赞/ 246 阅读

相关 [Hive_1] Hive 基本概念

Hive 系列01 Hive 简介 & Hive 应用场景 & Hive 与 Hadoop 的关系 & Hive 与传统数据库对比 --------------------

桃扇骨/ 2021年12月24日 02:15/ 0 赞/ 333 阅读

相关 hive 分区表

hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际

缺乏、安全感/ 2021年06月24日 14:37/ 0 赞/ 531 阅读