上市公司公开数据的采集和分析系统的设计与实现

深碍√TFBOYSˉ_ 2024-04-03 12:22 55阅读 0赞

目 录  
摘 要 I  
ABSTRACT II  
1 绪 论 1  
1.1 数据挖掘的发展历史 1  
1.2 本课题的研究意义 1  
1.3 国内外的现状 1  
2 系统相关理论基础 4  
2.1 体系结构 4  
2.2 Freemarker简介 4  
2.3 Jpa的简介 4  
2.4 Mongodb简介 5  
3 数据采集scrapy 6  
3.1 什么是scrapy 6  
3.2 scrapy的优点 6  
3.3 中间件的运用 7  
3.4 验证码的处理 8  
3.5 采集的方式 9  
3.6 数据的存储 9  
4 系统的可行性 11  
5 系统的设计与实现 12  
5.1 系统的构建 12  
5.1.1 系统管理 12  
5.1.2 公司信息管理 12  
5.1.3 公司采集管理 12  
5.2 系统的设计 13  
5.2.1 系统管理设计 13  
5.2.2 公司信息管理设计 13  
5.2.3 系统的业务需求及流程 14  
5.3 系统的实现 15  
5.3.1 登录注册 15  
5.3.2 界面管理 16  
5.3.3 菜单权限管理 18  
5.3.4 数据采集 19  
5.3.5 数据展示 23  
5.3.6 数据分析 26  
5.3.7 定时器的实现 33  
6 系统测试 35  
6.1 测试的意义 35  
6.2 测试用例 35  
7 结 论 38  
4 系统的可行性  
可行性研究也被称为身体研究，但基于系统的调查，从技术、经济、社会方面分析和调查新系统的开发，避免投资失误，确保新系统的开发成功。可行性研究的目的是确定能否以最小成本在最短时间内解决问题。为了确定开发的可能性，系统主要在三个方面进行分析。一种经济可能性主要是评估项目的经济利益。这个系统对于系统开发者来说不需要削减成本，但是系统管理员为了管理报酬而饿着，开发周期不需要太长时间来节约人类、物质和金融资源，所以这个系统在经济上是可能的。  
技术可能性技术可能性分析主要是分析硬件和软件是否能够满足开发者的需要，以及技术条件能否正常完成开发工作。关于软件，系统由Java来执行，系统由Springboot、Mybatis Plus、JPA和Freemarker来制作。弹簧启动是系统的基础。选择Spring启动的理由是删除了大量的XML文件，其构成比较简单，其结构一目了然。  
操作可能性用户的习惯完全用简单操作的界面设计来考虑。

5 系统的设计与实现  
5.1 系统的构建  
该系统需要一个权限管理系统来管理菜单，于是我把系统分为了系统管理、公司信息管理、信息采集管理、还有主页展示。  
5.1.1 系统管理  
系统管理里分为三个层次：用户管理、角色管理、菜单管理  
用户管理的实现能够方便管理员对用户的管理和统计，用户可以自行注册和登录，而管理员能分配用户的角色和封禁用户等。  
角色管理是为了方便不同的角色来实现用户对菜单的使用：例如我分配了游客、用户、管理员三个角色，游客只能看到主页的行业的分布情况和地区分布情况，而用户就能看到公司的详细数据和行业的数据。管理员就能够操作所有菜单。  
菜单管理这一操作就是给管理员使用的，管理员可以新增、修改、删除菜单。以此，分配的角色只能依靠用管理员增加的已有的菜单来实现自己的行动。  
5.1.2 公司信息管理  
该功能分为公司列表和行业集中度分析。  
公司列表是为了能了解公司的所有详细信息可以大致了解该公司的所有情况，这部分数据来自于之前scrapy爬取的数据到mongodb里获取出来。  
行业集中度分析则是通过算法计算出来的，可通过Cr4，Cr8,由于根据行业我统计出来的数据，看到有很多行业甚至没有8家公司，于是我决定只通过Cr4来计算行业的集中度。  
5.1.3 公司采集管理  
该功能只是通过调用scrapy来实时存入mongodb的过程作为网页展示，把数据库的数据通过列表的方式来看你是否正在采集哪些数据。本文转载自http://www.biyezuopin.vip/onews.asp?id=13773需要通过java来调用cmd，然后cmd调用scrapy来实现数据的采集。  
5.2 系统的设计  
5.2.1 系统管理设计  
该部分数据库是用的mysql。于是有了以下数据库设计。如图5.1所示  
![在这里插入图片描述][b31b5c09eea64cb48b4178157d6f53e4.png]

图 5.1 系统数据库设计  
5.2.2 公司信息管理设计  
公司系统设计是用的mongodb实现的，分别用了三张表:companylist, industryconcentration, test。这三张表的关联就是test为采集表，companylist为存取表，industryconcentration为分析结果表。

@GetMapping("/getRoleTreeData")
 @ResponseBody
 public List<Ztree> getRoleTreeData(String id)
 {
 
 List<Menu> menus = menuService.getAllMenuList(null);
 Map map=new HashMap();
 map.put("rid",id);
 List<Menu> rolemenus = menuService.getMenusByRid(map);
 List<String> rolemenulist =new ArrayList<>();
 for(Menu menu:rolemenus)
 {
 
 rolemenulist.add(String.valueOf(menu.getId()));
 }
 List<Ztree> ztrees =menuService.initZtree(menus,rolemenulist,false);
 return ztrees;
 }
 通过freemarker实现前端与后台的交互，如：
 <#list menus as menuslist>
 <li data-name="${menuslist.menuName}" class="layui-nav-item ">
 <a href="javascript:;" lay-tips="${menuslist.menuName}" lay-direction="2">
 <#if menuslist.icon??>
 
 </#if>
 <cite> ${
 menuslist.menuName}</cite>
 </a>
 <#if menuslist.childMenus?? && ( menuslist.childMenus?size > 0)>
 <dl class="layui-nav-child">
 <#list menuslist.childMenus as childlist>
 <dd data-name="${childlist.menuName}">
 <#if childlist.target=="menuItem">
 <a lay-href="<#if childlist.url??>../${childlist.url}</#if>" >
 <#if childlist.icon??>
 
 </#if>${
 childlist.menuName}
 </a>
 </#if>
 <#if childlist.target=="menuBlank">
 <a target="_blank" href="../${childlist.url!'#'}" >
 <#if childlist.icon??>
 
 </#if>${
 childlist.menuName}
 </a>
 </#if>
 </dd>
 </#list>
 </dl>
 </#if>
 </li>
 </#list>

![在这里插入图片描述][1627aad61cf54cdc92e2443ca77f9d25.png_pic_center]  
![在这里插入图片描述][5dd08dc355684598b89ed5ddbe3641ff.png_pic_center]  
![在这里插入图片描述][9f3db88373f840f7bd5d1c197b2172eb.png_pic_center]  
![在这里插入图片描述][8c6c2e2407f540ff97e159e2b9ef0277.png_pic_center]  
![在这里插入图片描述][b9001da14e06454dacb7e0b086f3c71c.png_pic_center]  
![在这里插入图片描述][6d6ddd74db0d441e82305a2a03961ff0.png_pic_center]  
![在这里插入图片描述][42ed90e8318e42f891e153e9bbbbe0af.png_pic_center]  
![在这里插入图片描述][ed599fa78e0e4479a7dbfa3c62954bc5.png_pic_center]  
![在这里插入图片描述][e6a949514b73428abc585035dad630cf.png_pic_center]

[b31b5c09eea64cb48b4178157d6f53e4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/f984698569a24e9db3063034ab76a67e.png
[1627aad61cf54cdc92e2443ca77f9d25.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/702155b1de7445779d5b54474a08c11d.png
[5dd08dc355684598b89ed5ddbe3641ff.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/af9addd265fc48679188839ac7c2cd85.png
[9f3db88373f840f7bd5d1c197b2172eb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/e105c1bf838f47d689a40534101307f8.png
[8c6c2e2407f540ff97e159e2b9ef0277.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/d12a41e4879343a1864b97a26c451542.png
[b9001da14e06454dacb7e0b086f3c71c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/929eeb88b75a495abe453321a2debd2c.png
[6d6ddd74db0d441e82305a2a03961ff0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/c4e57eb0ef344b46a86aa007111551b7.png
[42ed90e8318e42f891e153e9bbbbe0af.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/4066b8f0a5cb4bb5a884e9b48ad675ca.png
[ed599fa78e0e4479a7dbfa3c62954bc5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/dddee9ac269a4993b604b5b17cae7889.png
[e6a949514b73428abc585035dad630cf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/785e128dbc844cec9a337de7a9621705.png