基于Lucene+Java+Python实现的校园搜索引擎系统

逃离我推掉我的手 2024-04-05 07:37 64阅读 0赞

校园搜索引擎实验报告

目录  
实验环境 1  
实验内容 1  
实现过程 2  
抓取校园网资源并处理 2  
分词处理 3  
词表建立 4  
结果排序 4  
查询提示 5  
查询纠错 5  
关键词高亮 5  
语音输入 5  
快速预览 5  
相关推荐 5  
使用说明 7  
主页 7  
查询推荐 7  
查询提示 8  
查询结果纠错 9  
页面预览 9  
性能评价 9  
概述 9  
查询样例 10  
构建相关性标注集合 10  
性能分析 11  
总结 11  
实验环境  
apache-tomcat-7.0.86 paoding-analysis-2.0.4-beta IDEA ULTIMATE  
win10  
实验内容  
综合运用搜索引擎体系结构和核心算法方面的知识，基于开源资源搭建搜索引擎，具体包括如下几点：  
1.抓取清华校园网内绝大部分资源，并且进行预处理；  
2.基于Lucene实现校园搜索引擎——太强搜索；  
3.加入关键词纠错、查询提示、语音搜索、相关推荐功能，以提高太强搜索的体验；  
4.美化Web界面，实现关键词高亮、快速预览等功能；  
5.完成对于太强搜索的性能评价。  
实现过程  
抓取校园网资源并处理  
使用 Heritrix 抓取工具，抓取 HTML，PDF，M.S.Word 格式的文件28万份，共计31GB。编写 Python 脚本处理抓取到的数据，解析成 json 文件: 首先遍历所有抓取到的 文件，为每一个文件分配一个 ID，文件与 ID 一一对应，ID 用于之后PageRank的计算。获取文件的标题、文本 (docContent)、标签(h1~h6)、加粗(strong)信息等。使用  
BeatifulSoup 库解 析 HTML 文件内容，本文转载自http://www.biyezuopin.vip/onews.asp?id=16729获取其中的超链接，为抓取到的整个数据包构建图结构， 根据图结构计算网页的 PageRank，使用pdfminer库解析pdf文件，使用docx2txt库解析word文件。我们发现实际抓到的html文件给出的charset有时是错误的，因此使用了chardet自动判断网页的编码，这样我们便可以处理几乎所有的编码。

<%@ page language="java" import="java.util.*" pageEncoding="utf-8"%>
    <%
        request.setCharacterEncoding("utf-8");
        response.setCharacterEncoding("utf-8");
        String path = request.getContextPath();
        String basePath = request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort()+path+"/";
    
    %>
    
    <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
    <html xmlns="http://www.w3.org/1999/xhtml">
    <head>
    
        <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
        <title>太强搜索</title>
        <link type="text/css" href="css/speech-input.css" rel="stylesheet"/>
        <link type="text/css" href="css/Campus-search.css" rel="stylesheet"/>
        <link type="text/css" href="css/extend.css" rel="stylesheet"/>
        <script type="text/javascript" src="js/speech.js"></script>
        <script type="text/javascript" src="js/jquery-1.4.3.min.js"></script>
    
    </head>
    <body>
    <div class="search-layer1">
        <a href="<%=basePath%>CampusSearch.jsp">
            <img src="<%=basePath%>image/logo.jpg" alt="logo" class="search-logo" />
        </a>
    
        <form id="form1" name="form1" method="get" action="servlet/CampusServer">
            <div class="si-wrapper">
                <input id="index_input" type="text" class="search-input" autocomplete="off" name="query" size="50" >
                <button style="display: none"></button>
                <button onclick="startDictation(this,event)">
                    <img class="search-speech" src="image/micro.png">
                </button>
            </div>
    
            <button class="search-button" type="submit" name="Submit">搜索</button>
    
            <div style="text-align: center">
                <div class="search_suggest" id="search_suggest">
                    <ul style="margin: 0px;padding: 0px;">
                    </ul>
                </div>
            </div>
            <%--<input class="search-input" name="query" type="text" size="50" />--%>
    
        </form>
    
    </div>
    
    <script type="text/javascript" src="js/extend.js"></script>
    
    </body>
    </html>

![在这里插入图片描述][ba3aa8978ffb4012b302b4388ad4bdad.png_pic_center]  
![在这里插入图片描述][06a5be0362ac4533bbad9ba97ee8ec22.png_pic_center]  
![在这里插入图片描述][6ce06b3831244b70b71728e5fe6620c9.png_pic_center]  
![在这里插入图片描述][52c461dc45724e218bd23a1e09d33bea.png_pic_center]  
![在这里插入图片描述][bfe7ebf342944f37b745625977159dcd.png_pic_center]  
![在这里插入图片描述][73d91dec90264f38b3ba65477fb8dd4c.png_pic_center]  
![在这里插入图片描述][4a5aa8286e3f4d2187eaf27447b2a0eb.png_pic_center]  
![在这里插入图片描述][542660d2056c4d01875dda77f36b00f0.png_pic_center]  
![在这里插入图片描述][bba1bafa96a5492aa5b0131a88a5cca7.png_pic_center]  
![在这里插入图片描述][a4cb934b874f4285958916f49407c579.png_pic_center]

[ba3aa8978ffb4012b302b4388ad4bdad.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/31170e2f055d445c97b14b73819f5d2c.png
[06a5be0362ac4533bbad9ba97ee8ec22.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/f840b7943f5148d58d4e76731d4294a4.png
[6ce06b3831244b70b71728e5fe6620c9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/c77154ed2a5a49b1ad1b3e13152e5af2.png
[52c461dc45724e218bd23a1e09d33bea.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/46491d94741c4bcf9f14d531e961eb89.png
[bfe7ebf342944f37b745625977159dcd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/84136daf776042b5bec352ca780f3d40.png
[73d91dec90264f38b3ba65477fb8dd4c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/ca14f9c7328b48de9a2e18c2d45656c8.png
[4a5aa8286e3f4d2187eaf27447b2a0eb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/41d826e456e04b9aad6b719c98897a6c.png
[542660d2056c4d01875dda77f36b00f0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/5df43e601e524823b17f1e5caed28a90.png
[bba1bafa96a5492aa5b0131a88a5cca7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/a01543f34604495b8faeb714558ceb62.png
[a4cb934b874f4285958916f49407c579.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/04/cef4997174c14fd7ad2345103dc3e011.png