基于Vue.js前端+JavaSSM+Scrapy爬虫实现的新闻APP系统

红太狼 2024-03-04 07:10 10阅读 0赞

目 录  
摘　要 I  
Abstract II  
1 绪论 1  
1.1 研究背景 1  
1.2 研究目的及意义 1  
1.3 研究内容 2  
1.4 论文的结构 2  
1.5 本章小结 2  
2 开发技术方案研究 3  
2.1 Spring及SpringMVC框架概述 3  
2.2 Scrapy框架概述 4  
2.3 Mybatis框架概述 4  
2.5 本章小结 5  
3 系统分析与设计 6  
3.1 系统的可行性分析 6  
3.2 系统开发环境 6  
3.3 系统需求分析 6  
3.4 系统功能设计 14  
3.5 数据库的分析与设计 19  
3.6 类的设计 26  
3.7 本章小结 26  
4 系统的实现 27  
4.1 资讯阅读功能的实现 27  
4.2 收藏点赞功能的实现 31  
4.3 评论回复功能的实现 32  
4.4 资讯分享功能的实现 33  
4.5 浏览历史和系统通知功能的实现 33  
4.6 读者个人信息的查看和修改功能的实现 34  
4.7 资讯管理功能 34  
4.8 评论公告管理功能实现 37  
4.9 读者管理功能实现 38  
4.10 推荐功能实现 39  
4.11 本章小结 40  
5 结论与展望 41  
5.1 本课题的主要工作及结论 41  
5.2 有待进一步研究的问题 41  
参考文献 42  
致 谢 43  
1.3 研究内容  
本课题分为资讯新闻阅读APP后台管理系统及资讯新闻阅读APP两个部分。  
资讯新闻阅读APP的开发基于H5平台，前端采用MUI框架，资讯新闻阅读后台管理系统采用Layui框架作为前端框架。后端采用了SSM框架进行开发。  
本课题结合新闻阅读爱好者对新闻等资讯主体的需求以及实际情况进行分析，使用UML语言对系统需求进行建模。本系统在角色上可以分为游客、读者、后台管理员。本系统涉及到的主要实体包括读者实体、管理员实体、新闻实体、视频实体、图册实体、评论实体、频道实体、公告实体等。游客可以阅读新闻，查看视频，浏览图册。读者的核心功能是阅读新闻，查看视频，浏览图册，此外读者还可以对阅读内容评论，收藏，点赞，分享，接收系统通知，查看和修改个人信息。后台管理原理员负责视频管理、新闻管理管理、图册管理，用户管理、评论管理、频道管理、发布通知等基本功能。  
1.4 论文的结构  
本论文具体内容结构如下：  
第1章：绪论。叙述了本课题的研究背景、研究目的、研究意义以及研究内容，明确论文的组织结构。  
第2章：开发技术方案研究。主要概述系统开发过程中涉及到的相关框架。  
第3章：系统分析与设计。系统的可行性分析、系统开发环境选择、系统需求分析、系统功能设计、数据库的分析与设计和类的设计。  
第4章：系统的实现。这里主要通过截图方式来展示本课题所实现的功能。  
第5章：结论与展望。本章主要是对本课题深入分析并总结，提出系统存在的问题与不足，及有待进一步研究的方向。

# -*- coding: utf-8 -*-
    
    # Define your item pipelines here
    #
    # Don't forget to add your pipeline to the ITEM_PIPELINES setting
    # See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
    from scrapy.pipelines.files import FilesPipeline
    from twisted.enterprise import adbapi
    from Newscontent.data.bldbhelper import BLDBHelper
    #
    from Newscontent.data.dbhelper import DBHelper
    from scrapy.http import Request
    
    class VideoPipeline(FilesPipeline):
        def get_media_requests(self, item, info):
            # 处理对象:每组item中的每张图片
            for video_url in item['file_urls']:
                yield Request(video_url, meta={
        'item': item})
    
        def file_path(self, request, response=None, info=None):
            image_name = request.meta['item']['name']
            videooriginurl =request.url
            self.db = BLDBHelper()
            videoidt = self.db.selectVideobyurl(videooriginurl)
            videoidI=videoidt[0][0]
            videoid= str(videoidI)
            print(videoidI)
            print(type(videoidI))
            mp4='.mp4'
            print(type(mp4))
            videoname=videoid+mp4
            print(videoname)
            path = image_name + '/'+videoname
            print(path)
            print("!!!!!!!!!!!!!!!!!!!!!!!!")
            return path
    
    
    class MysqlTwistedPipeline(object):
    
        def __init__(self):
            self.db = DBHelper()
    
        def process_item(self, item, spider):
            # 插入数据库
            self.db.insert(item,spider)
            return item
    
    class MysqlupdatecontentPipeline(object):
    
        def __init__(self):
            self.db = DBHelper()
        def process_item(self, item, spider):
            # 插入数据库
            self.db.update(item,spider)
            return item

![在这里插入图片描述][37234bceff2d42b6a4c36732dc2e47ce.png_pic_center]  
![在这里插入图片描述][f5ef034af7ea403dbca2384e7d65f001.png_pic_center]  
![在这里插入图片描述][d8e792674e014e4eb0a6b58c86b5c8fe.png_pic_center]  
![在这里插入图片描述][022c37865701454d9761a977120b424c.png_pic_center]  
![在这里插入图片描述][4ebafe02390541f080cdcc17d9602787.png_pic_center]  
![在这里插入图片描述][48ec6d115b2640bdb504c911432651ae.png_pic_center]  
![在这里插入图片描述][489e9fea12dc49ac90d6ca9fa1e08d6b.png_pic_center]  
![在这里插入图片描述][d8a6007520014c47bd5661f9da268709.png_pic_center]  
![在这里插入图片描述][6749d3ced78946f4bdf8ee999ec28c34.png_pic_center]  
![在这里插入图片描述][8a67aadd3ef14cf8a05c9924fa46a948.png_pic_center]  
![在这里插入图片描述][bb7302500c284e338c1f1b7d1ae630b2.png_pic_center]  
![在这里插入图片描述][5e8d7a0a34bf4a1387dc3a28acadb6ed.png_pic_center]  
![在这里插入图片描述][28906aaa7c8c4b38b7460de5e36c0da5.png_pic_center]  
![在这里插入图片描述][3393b6f21c6d4da1bd15c7a334b08e79.png_pic_center]  
![在这里插入图片描述][b874934f306b47c9b6b4bda20017b045.png_pic_center]  
![在这里插入图片描述][0d0daa1d1ac243d9b9500635c753470d.png_pic_center]  
![在这里插入图片描述][08c390d6366141f0b1fa6bba7fd514e3.png_pic_center]  
![在这里插入图片描述][1a8b0bd769c84f639af4cadb56c0d6bf.png_pic_center]  
![在这里插入图片描述][1b110a6d63164c3f99b500242491461c.png_pic_center]  
![在这里插入图片描述][f72a87f0ac0f4ee5a803d614afc75de3.png_pic_center]  
![在这里插入图片描述][766d12ba54474012ba195ed9630c4fdd.png_pic_center]  
![在这里插入图片描述][71e2ec8b137a402bbecf3962097bc370.png_pic_center]  
![在这里插入图片描述][b010ddac6e82442da557c12f819354f0.png_pic_center]  
![在这里插入图片描述][eb6e1bca101447b7ba888c9c69215fed.png_pic_center]  
![在这里插入图片描述][ef0e99edb25e4214b4265c58b215bd0d.png_pic_center]  
![在这里插入图片描述][68cbe4258b9c46f791338b57f4137099.png_pic_center]  
![在这里插入图片描述][1ab821eea97246ea963c5b4a99ad70d9.png_pic_center]  
![在这里插入图片描述][ab6c029b7d9d4e30b4edff11d52a9d2d.png_pic_center]  
![在这里插入图片描述][20cd576e1ce84092bebde8a489334b7b.png_pic_center]  
![在这里插入图片描述][6ed0a100dd754e5d82d645789e773ca0.png_pic_center]  
![在这里插入图片描述][ca3d7702eb6e4924b237b667ddcbe533.png_pic_center]  
![在这里插入图片描述][568e9751f0ce4ac2b6c94b35e4ced499.png_pic_center]  
![在这里插入图片描述][f260abf784d34636bc48270529d2530b.png_pic_center]  
![在这里插入图片描述][e34bcee2ddd04185a4be0558aa42c826.png_pic_center]  
![在这里插入图片描述][a411600ab1754228ae3f96b22d430e1b.png_pic_center]  
![在这里插入图片描述][6ee79089840142878107ba0ac0d97252.png_pic_center]  
![在这里插入图片描述][ea496bbc0ff04eacbe436a7222906825.png_pic_center]  
![在这里插入图片描述][cc252037bff94d5c9fe1a927ab9380cd.png_pic_center]  
![在这里插入图片描述][b9eb328942424cd4afc094d022b7442f.png_pic_center]  
![在这里插入图片描述][5c36b8a3bf32447aa5e7508f69dd4156.png_pic_center]  
![在这里插入图片描述][93ef393629f447a0bf63b4d7fef41e4f.png_pic_center]  
![在这里插入图片描述][a50f7542fc6249c08d12aed3869193c5.png_pic_center]  
![在这里插入图片描述][e9ef8a222fc8445894fc9fa9a2c8ed63.png_pic_center]  
![在这里插入图片描述][32b4e7e0f846406ebe10e4c6c5fa0f68.png_pic_center]  
![在这里插入图片描述][59a2931fdf1d4a9f9c52c275dabda5ea.png_pic_center]  
![在这里插入图片描述][1850645d74a64a8c83692caf4abe4a5a.png_pic_center]  
![在这里插入图片描述][3e311732e5ae4bac897bfef0ce89da5a.png_pic_center]  
![在这里插入图片描述][184679c29e914f79880a988b840fe444.png_pic_center]  
![在这里插入图片描述][36ced73df7bd4588b2982d18436ace92.png_pic_center]  
![在这里插入图片描述][8571fd9511af4720917197d8881ac1be.png_pic_center]  
![在这里插入图片描述][0b8454b838a242dcaf05b970da9e3560.png_pic_center]  
![在这里插入图片描述][11a79650b0294027a1192cb3f27d3925.png_pic_center]

[37234bceff2d42b6a4c36732dc2e47ce.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/acd80c928a6b4c6494108bab191941ff.png
[f5ef034af7ea403dbca2384e7d65f001.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/d55098ef2f6c473cbe68c47e5a8e2057.png
[d8e792674e014e4eb0a6b58c86b5c8fe.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/dcdb8367a9734bd296e163ae53e5cb35.png
[022c37865701454d9761a977120b424c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/3c59f4f986b341ff9d79ca73d98203f3.png
[4ebafe02390541f080cdcc17d9602787.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/7795e06fa13646c2a48322cf33861662.png
[48ec6d115b2640bdb504c911432651ae.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/3c979360e6564cc2860cea06cf4ff544.png
[489e9fea12dc49ac90d6ca9fa1e08d6b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/7de99e2102df426aa37f9fdbc0ce6d65.png
[d8a6007520014c47bd5661f9da268709.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/fef4199db51845fbb487921e198d9f7d.png
[6749d3ced78946f4bdf8ee999ec28c34.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/06d5651810a74e5b8505021feeacb7b6.png
[8a67aadd3ef14cf8a05c9924fa46a948.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/27edd0ce54cc4abb85e0afce5a5f1359.png
[bb7302500c284e338c1f1b7d1ae630b2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/ffb3235097a74b1889e166fbfdc010b5.png
[5e8d7a0a34bf4a1387dc3a28acadb6ed.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/ffa084060a00483889c2b680ad0f0d6b.png
[28906aaa7c8c4b38b7460de5e36c0da5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/9a4f470af53e426eb04cedfb809061a4.png
[3393b6f21c6d4da1bd15c7a334b08e79.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/d800e7828f7a436fb9db8c6b457ea29d.png
[b874934f306b47c9b6b4bda20017b045.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/a60b81c7856443969265402829d81fa3.png
[0d0daa1d1ac243d9b9500635c753470d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/d9aec653b317449da34778898b9d0d22.png
[08c390d6366141f0b1fa6bba7fd514e3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/4a7855a6706d419792be2817a6f1b8fb.png
[1a8b0bd769c84f639af4cadb56c0d6bf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/1c0754e2969e493a94b59ec7ff3d5d31.png
[1b110a6d63164c3f99b500242491461c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/b8fb8e532d844b20b6b602f671b1629b.png
[f72a87f0ac0f4ee5a803d614afc75de3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/bcf9ef6422d742c8a089981150f50b2e.png
[766d12ba54474012ba195ed9630c4fdd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/505c326878434077a9b8bcac7f702140.png
[71e2ec8b137a402bbecf3962097bc370.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/df3103ed01d445a9a91ea2e96c9fb512.png
[b010ddac6e82442da557c12f819354f0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/712a87e1377d425eb1eb125c49b04b01.png
[eb6e1bca101447b7ba888c9c69215fed.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/db28565a506e4aac84a9f6f8ea1c885e.png
[ef0e99edb25e4214b4265c58b215bd0d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/553cb5cfa7c24c1cabe85ecab347c126.png
[68cbe4258b9c46f791338b57f4137099.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/17e639de1213431bae8ad3f2d16802a7.png
[1ab821eea97246ea963c5b4a99ad70d9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/0ff22e81d63d4d17be4acad43e3a1289.png
[ab6c029b7d9d4e30b4edff11d52a9d2d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/806b3496eca043fe8d3faf6afb28deb3.png
[20cd576e1ce84092bebde8a489334b7b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/3b8484c9aec44547a13387b13db9ff4f.png
[6ed0a100dd754e5d82d645789e773ca0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/ca108781af4d45fa96c0d4efe77c7182.png
[ca3d7702eb6e4924b237b667ddcbe533.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/b48f61c280b543029e71b68214071d28.png
[568e9751f0ce4ac2b6c94b35e4ced499.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/c35fecd0fdd14cbb81c999c62e604cfa.png
[f260abf784d34636bc48270529d2530b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/fd9240a62618420fad2b43ff4ab9c029.png
[e34bcee2ddd04185a4be0558aa42c826.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/bab60a09e6b04ad397caa605cc0cbc8e.png
[a411600ab1754228ae3f96b22d430e1b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/f451618ccdb949e9831b7de5aeb21bd7.png
[6ee79089840142878107ba0ac0d97252.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/b7db73feb4bd4c0f87661da46677c9e1.png
[ea496bbc0ff04eacbe436a7222906825.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/d7d8d1320be4436481aa45f8ea31ffa5.png
[cc252037bff94d5c9fe1a927ab9380cd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/adb2dd8bb6af44d89df8a9f91532d568.png
[b9eb328942424cd4afc094d022b7442f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/00dfa6c988f44517af299ade0a85c6ea.png
[5c36b8a3bf32447aa5e7508f69dd4156.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/a1c42010a05b4143b415976e51810e03.png
[93ef393629f447a0bf63b4d7fef41e4f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/e7c8702f33654f64a20433d91228cf4e.png
[a50f7542fc6249c08d12aed3869193c5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/1adf3df8978c43609a18877dbe9e2774.png
[e9ef8a222fc8445894fc9fa9a2c8ed63.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/8b55023f27144d90a9f59d265311af53.png
[32b4e7e0f846406ebe10e4c6c5fa0f68.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/53576a980a034b4990d74fd30b0a9c59.png
[59a2931fdf1d4a9f9c52c275dabda5ea.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/a1a2034b021f47beb9b73a1ed271858c.png
[1850645d74a64a8c83692caf4abe4a5a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/f2c1b71e16fd41d8beda714fa3be8bd5.png
[3e311732e5ae4bac897bfef0ce89da5a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/f806f2329c284fd88c34c413610c8902.png
[184679c29e914f79880a988b840fe444.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/e771f338133e4cdea30825741811a7ad.png
[36ced73df7bd4588b2982d18436ace92.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/eab1b58b10d9404eab86198697a1b0bc.png
[8571fd9511af4720917197d8881ac1be.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/5818d940a84c489c9a29a6b6a1428352.png
[0b8454b838a242dcaf05b970da9e3560.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/a2728e58f6794c7897a2ac670f599589.png
[11a79650b0294027a1192cb3f27d3925.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/0aa3cf268da24ace84484b7f8f39dacd.png