【小笔记】2020-11月月度总结

系统管理员 2022-12-23 06:17 175阅读 0赞

#### 1、oracle间歇性的丢失数据 ####

##### 场景 #####

oracle sql执行完成，程序未见异常，但是数据库中没有数据，即间歇性的丢失数据。mysql不存在这个问题。

##### 原因 #####

由于程序中直接使用了jdbc，并且禁止自动提交，而在多处创建了连接，在ccommit时，实际上提交的并不是预期的connection，最后导致事务超时。由于，mysql与oracle对事务超时后的处理方式不同，mysql超时后自动提交，而oracle事务超时后自动撤销，所以丢失数据只会在oracle数据库时出现。

###### 解决 ######

使用局部单例模式创建连接，即在一个处理过程中只创建一次连接并复用，避免多次建立连接。

##### 总结 #####

尽量减少在程序中的jdbc直连数据库，如果要使用，则需要注意连接和事务的管理。

#### 2、Spark读取hive分区表报错 ####

##### 场景 #####

spark读取hive某个hive表的分区错误

Input path does not exist: hdfs://hdp6.tydic.com:8020/apps/hive/warehouse/hi_tydic_lable.db/contact_result/contact_date=20200527

##### 原因： #####

删除hdfs上的hive分区目录时，未删除hive元数据里的分区信息，导致读取时仍然会读取不存在的分区。

##### 解决： #####

删除hive分区：

alter table CONTACT_RESULT drop partition (contact_date='20200527');

##### 总结： #####

删除分区命令：

alter table CONTACT_RESULT drop partition (分区字段='xxx');

#### 3、对象属性名第二个字母大写问题 ####

##### 场景： #####

前端向后端传一个验证码参数时，参数名定义为vCode，导致该参数值一直为空，其他参数正常。

##### 分析： #####

*  检查前端参数值，的确有值
 *  传到后端接收时丢失
 *  猜测是参数名导致的
 *  修改参数名为verifyCode后，传值正常

##### 解决办法： #####

*  更换参数名
 *  手动生成getter/setter
 *  使用@JsonProperty注解@JsonProperty(value = “vCode”)

##### 总结： #####

javabean规范中声明：

> 如果属性名的第二个字母大写，那么该属性名直接用作 getter/setter 方法中 get/set 的后部分，就是说大小写不变。例如属性名为uName，方法是getuName/setuName。

然而当使用lombok生成getter/setter时，生成的为getVCode/setVCode，导致Spring解析失败，正确的应该为getvCode和setvCode。

#### 4、spark提交任务后，切换hive库，提示库不存在 ####

###### 场景： ######

spark提交任务到集群运行，需要从hive读取数据，在切换hive库时，提示database不存在，而事实上该数据库是存在的。

###### 分析： ######

*  检查各个配置，均正常
 *  检查组件版本，不一致，差异较大，可能是组件版本不同导致的

###### 解决： ######

更换hive、spark客户端版本

###### 总结： ######

在不同环境时，需要注意组件版本是否兼容。

发表评论取消回复

表情：

评论列表（有 0 条评论，175人围观）

还没有评论，来说两句吧...

相关阅读

相关【月度总结】 2021年4月份工作总结

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

た入场券/ 2023年01月18日 02:20/ 0 赞/ 196 阅读

相关 202011学习笔记

size\_t是[https://www.zhihu.com/question/24773728/answer/66535663][https_www.zhihu.com_qu

喜欢ヅ旅行/ 2022年12月31日 01:11/ 0 赞/ 119 阅读

相关【小笔记】2020-11月月度总结

1、oracle间歇性的丢失数据场景 oracle sql执行完成，程序未见异常，但是数据库中没有数据，即间歇性的丢失数据。mysql不存在这个问题。原因

系统管理员/ 2022年12月23日 06:17/ 0 赞/ 176 阅读

相关【小笔记】2020-10月月度总结

1、hbase启动失败解决场景测试环境ambari上的hbase无法启动，主节点启动后立即切换到备份节点，查看日志发现hbase启动时会读取version文件，

「爱情、让人受尽委屈。」/ 2022年11月20日 11:57/ 0 赞/ 180 阅读

相关 2021年5月份的月度总结

事务都有"道” ，“术” “法”“器” 四个层面：道是一种深度学习探索之后的领悟，从任何一个门类深入都可能是得道，比如花道，剑道，茶道，甚至我们做技术也有道。所有的这

绝地灬酷狼/ 2022年10月16日 09:40/ 0 赞/ 148 阅读

相关 ❤️ 21 届校招 8 月前端月度工作汇报｜总结

大家好呀，今天又到了月末了，周二又到了校招入职月度成长汇报的时间了，本次还是继续在这里进行一个大纲编写。 8 月月度成长汇报由于部分内容涉及公司信息，所以就不做详细说

落日映苍穹つ/ 2022年09月09日 06:16/ 0 赞/ 140 阅读

相关月度总结

1.二叉树二叉树的遍历排序实现 public class HeapSort { int a[]={ 49,38,65,97,76,13

小鱼儿/ 2022年05月29日 01:49/ 0 赞/ 209 阅读

相关 11月学习笔记总结

2012年11月17日星期六曾军提供的代码，主要作用是将数字组成的字符串，分解成一个一维数组。 <table> <tbody> <tr> <td> <p

缺乏、安全感/ 2022年05月14日 03:47/ 0 赞/ 203 阅读

相关猪年月度总结-「1」

-------------------- 阅读文本大概需要 2 分钟。 -------------------- ![在这里插入图片描述][watermark_type_

雨点打透心脏的1/2处/ 2022年03月21日 09:07/ 0 赞/ 183 阅读

相关月度小总结：Thymeleaf 常用点

Thymeleaf 笔记项目中随手记得笔记，后面会不定时完善 1 使用标准 < html xmlns:th=“[http://www.thymeleaf.org]

素颜马尾好姑娘i/ 2022年02月25日 03:52/ 0 赞/ 226 阅读