基于数据库和WEB的数据导入与导出

短命女 2023-10-04 20:31 32阅读 0赞

## **Part****1****基于数据库的数据导入与导出** ##

### **实验目的：** ###

“数据库连接”实际是数据库连接的描述：也就是建立实际连接所需要的参数。尽管都是关系型的数据库，但是，各个数据库的连接行为都不是完全相同的。

Kettle是供了一些默认的连接参数和值。各个数据库详细的参数列表，请参考数据库JDBC驱动手册。

最后,还可以选择Apache的通用数据库“连接池”和“集群”的选项。如果你需要在集群中运行很多转换或作业，那么，就必须使用到这些配置了。

考虑到关系数据库的共通性，在下面的章节中，我们选择MySQL作为样例介绍参数化的查询。

### **实验步骤：** ###

1.  转换的输入输出需求

（1）读入student表格数据，输出满足身高大于等于185，成绩大于等于85的学生数据。输出的数据存储在StuOut表中。

![1d88eba7a74b4d40a1f860975fcb3fd5.png][]

（2）转换的设计图

![a59ad9bb52da4680aa73985ca00aa5c3.png][]

（3）步骤的配置

![2a99deb993e34ab1ad2541f67e3c75ee.png][]

![3a72952fc2d1464f9ab90987edb78691.png][]

![6daf4741ddb04ea7bcb44e3ab919ca9a.png][]

![426b8178f9bd43f9a5118895ae6a23db.png][]

![78fbc25452ea493c9614fdfbb98c72fe.png][] ![79b2b6b21be04af79c3b9ea84d9aa46e.png][]

![77b8812ce6cd46c1b874b789414869d0.png][]

（4）转换结果

![3837ed3c610143cbb13ed4305ff31138.png][]

![7784aa5cc5e24148b3fed3059230f0ff.png][]

![005e2aaed4014e9aa41ba0f1fb53c528.png][]

## **Part 2 基于WEB的数据导入与导出** ##

### **实验目的：** ###

HTTP Client”步骤直接访问HTML页面时，返回的数据为HTML。HTML的全称是超文本标记语言。HTML和XML有相同的语法结构，除此之外没有其他相似点。HTML主要目的是通过浏览器供用户阅读，因此，HTML定义了一组固定的节点和属性，用来定义文本的结构或者样式。

### **实验步骤：** ###

#### **HTML导入与导出案例** ####

（1）转换的输入输出需求

读入网页http://www.biqukan.com/1\_1094/5403177.html的数据，输出HTML源码存在E:\\教材案例\\第3章\\ webout.html文件中

![983c1fe966c44fb3833eefde5d5a4c29.png][]

（2）转换的设计图

![eb74b7765ee649cd8e36aee43c09fd94.png][]

（3）步骤的配置

![844e2a9b8c4c4c69b8e8c47d1ff5d360.png][]

![be4150cb091547c5a0be7f4e646dac54.png][] ![4cabb8675a2d4dd7a214cb8c67b9507b.png][]

（4）转换结果

![fb9de119d1264ae690dadeccb7b080c3.png][]

![09a1e50ad27e4a0cafb1ade4b686ff54.png][]

![4d7073cee9d242dba2502e451b0a7768.png][]

## **Part 3 基于HTTP GET请求的导入与导出案例** ##

（1）转换的输入输出需求

https://api.douban.com/v2/movie/in\_theaters 是豆瓣电影提供的API接口，该接口返回的是当前热映电影的JSON格式。JSON各部分的含义参考https://developers.douban.com/wiki/?title=movie\_v2\#top250。

发送HTTP GET请求到该地址，获取当前热映电影，并将电影名称，分类，分数，主演数据存储

（2）转换的设计图

![9ff0cc79291e4a7a94a0d3d623913434.png][]

（3）步骤的配置

![1c0ceaa9e4d14c3ebee16a64688d4277.png][]

![169b63112a8d4a5c8775ade3c2122c56.png][]

![474c6412dadf4e6cb7ac177e8138da68.png][]

![b7b4fd691962435497fa996eb4b27f6a.png][]

（4）转换结果

![5509c24a265a47bcbcc6b56379d8e79e.png][]

![b5c74e8d7153493da1bbc114934e41f4.png][]

### **实验****总结：** ###

本次实验主要实践了基于数据库和web的数据导入与导出，基于数据库的转换案例在第一个kettle实验里就有涉及，首先要在数据库中导入相关数据，再用spoon连接到数据库进行指定的转换。基于web的数据导入与导出实验有两个，一个是http client发出一个HTTP GET请求或者直接访问HTML页面，调用此步骤里的URL从Web获取数据；一个是HTTP GET请求返回的结构化数据主要有XML和JSON，本案例使用的API返回的是JSON格式的数据。通过对返回数据的后续处理，可以获取我们需要的数据。

[1d88eba7a74b4d40a1f860975fcb3fd5.png]: https://img-blog.csdnimg.cn/1d88eba7a74b4d40a1f860975fcb3fd5.png
[a59ad9bb52da4680aa73985ca00aa5c3.png]: https://img-blog.csdnimg.cn/a59ad9bb52da4680aa73985ca00aa5c3.png
[2a99deb993e34ab1ad2541f67e3c75ee.png]: https://img-blog.csdnimg.cn/2a99deb993e34ab1ad2541f67e3c75ee.png
[3a72952fc2d1464f9ab90987edb78691.png]: https://img-blog.csdnimg.cn/3a72952fc2d1464f9ab90987edb78691.png
[6daf4741ddb04ea7bcb44e3ab919ca9a.png]: https://img-blog.csdnimg.cn/6daf4741ddb04ea7bcb44e3ab919ca9a.png
[426b8178f9bd43f9a5118895ae6a23db.png]: https://img-blog.csdnimg.cn/426b8178f9bd43f9a5118895ae6a23db.png
[78fbc25452ea493c9614fdfbb98c72fe.png]: https://img-blog.csdnimg.cn/78fbc25452ea493c9614fdfbb98c72fe.png
[79b2b6b21be04af79c3b9ea84d9aa46e.png]: https://img-blog.csdnimg.cn/79b2b6b21be04af79c3b9ea84d9aa46e.png
[77b8812ce6cd46c1b874b789414869d0.png]: https://img-blog.csdnimg.cn/77b8812ce6cd46c1b874b789414869d0.png
[3837ed3c610143cbb13ed4305ff31138.png]: https://img-blog.csdnimg.cn/3837ed3c610143cbb13ed4305ff31138.png
[7784aa5cc5e24148b3fed3059230f0ff.png]: https://img-blog.csdnimg.cn/7784aa5cc5e24148b3fed3059230f0ff.png
[005e2aaed4014e9aa41ba0f1fb53c528.png]: https://img-blog.csdnimg.cn/005e2aaed4014e9aa41ba0f1fb53c528.png
[983c1fe966c44fb3833eefde5d5a4c29.png]: https://img-blog.csdnimg.cn/983c1fe966c44fb3833eefde5d5a4c29.png
[eb74b7765ee649cd8e36aee43c09fd94.png]: https://img-blog.csdnimg.cn/eb74b7765ee649cd8e36aee43c09fd94.png
[844e2a9b8c4c4c69b8e8c47d1ff5d360.png]: https://img-blog.csdnimg.cn/844e2a9b8c4c4c69b8e8c47d1ff5d360.png
[be4150cb091547c5a0be7f4e646dac54.png]: https://img-blog.csdnimg.cn/be4150cb091547c5a0be7f4e646dac54.png
[4cabb8675a2d4dd7a214cb8c67b9507b.png]: https://img-blog.csdnimg.cn/4cabb8675a2d4dd7a214cb8c67b9507b.png
[fb9de119d1264ae690dadeccb7b080c3.png]: https://img-blog.csdnimg.cn/fb9de119d1264ae690dadeccb7b080c3.png
[09a1e50ad27e4a0cafb1ade4b686ff54.png]: https://img-blog.csdnimg.cn/09a1e50ad27e4a0cafb1ade4b686ff54.png
[4d7073cee9d242dba2502e451b0a7768.png]: https://img-blog.csdnimg.cn/4d7073cee9d242dba2502e451b0a7768.png
[9ff0cc79291e4a7a94a0d3d623913434.png]: https://img-blog.csdnimg.cn/9ff0cc79291e4a7a94a0d3d623913434.png
[1c0ceaa9e4d14c3ebee16a64688d4277.png]: https://img-blog.csdnimg.cn/1c0ceaa9e4d14c3ebee16a64688d4277.png
[169b63112a8d4a5c8775ade3c2122c56.png]: https://img-blog.csdnimg.cn/169b63112a8d4a5c8775ade3c2122c56.png
[474c6412dadf4e6cb7ac177e8138da68.png]: https://img-blog.csdnimg.cn/474c6412dadf4e6cb7ac177e8138da68.png
[b7b4fd691962435497fa996eb4b27f6a.png]: https://img-blog.csdnimg.cn/b7b4fd691962435497fa996eb4b27f6a.png
[5509c24a265a47bcbcc6b56379d8e79e.png]: https://img-blog.csdnimg.cn/5509c24a265a47bcbcc6b56379d8e79e.png
[b5c74e8d7153493da1bbc114934e41f4.png]: https://img-blog.csdnimg.cn/b5c74e8d7153493da1bbc114934e41f4.png