基于J2EE的蛋白质磷酸化修饰的文本信息挖掘系统

╰半夏微凉° 2023-10-15 13:49 3阅读 0赞

目 录  
摘要 II  
Abstract III

第一章 引言 1  
1.1 概述 1  
1.2 选题的背景和意义 1  
第二章 入门概念 3  
2.1 蛋白质以及翻译后修饰概述 3  
2.2文本挖掘技术概述 3  
2.3 Pubmed生物医学文献检索系统 4  
第三章 需求分析和系统设计 5  
3.1需求 5  
3.2 需求分析 5  
3.3 用户用例分析 6  
3.4 系统设计 7  
3.4.1 系统工作流程和场景 7  
3.4.2 模块化设计 8  
3.4.3 软件开发架构 9  
3.4.4 开发环境 10  
第四章 程序设计和系统实现 11  
4.1 程序设计 11  
4.2 文本数据源获取 11  
4.3 文本预处理 12  
4.4 命名实体识别和实体关系提取 15  
4.4.1命名实体识别概述 15  
4.4.2 ABNER命名实体识别工具 16  
4.5 实体关系提取 20  
4.5.1 关系提取概念 20  
4.5.2 Rlims-p工具介绍及其工作原理 20  
4.5.3 嵌入使用Rlims-p工具 22  
4.6 多线程处理文档优化 22  
4.7 文档预处理和缓存机制 24  
第五章 数据库设计和数据可视化 26  
5.1数据库设计 26  
5.2 数据可视化 27  
第六章 总结及展望 30  
6.1 总结 30  
6.2 展望 30  
结束语 32  
参考文献 33  
由于需求提出者提出了主要针对蛋白质磷酸化修饰的信息挖掘，所以关键词即为’磷酸化’（phosphorylate）。Pubmed文献检索系统上收录的大部分是以英文为语言的生物医学文献，所以我们要把关键字’磷酸化’翻译成phosphorylate来作为Pubmed文献检索系统的关键词。Pubmed文献检索系统支持AND和OR来接连关键词，这样就可以限制和放宽检索的范围，因为此次研究的对象是整个和磷酸化有关的蛋白质文献，所以我们在输入关键词的时候把磷酸化的主动式（phosphorylate）和被动式（phosphorylated）两个词通过OR的方式来扩大检索的范围，通过检索后，最后我们从中得到了76604个文献文本结果。文献结果以XML的文件格式下载到本地文件系统上面，这样我们就得到了一个最原始的文本数据。  
通过以上方法得到了单一的文件，里面包含了76604篇有关磷酸化的文献，文件大小1.05GB，一共2000多万行，这么大的文件肯定不能同时加载到内存里去处理，所以我就把这么大的文件拆分成20个50多M的小文件，这样每个文件里包含了3000-4000篇的文献，用1-20来对每个拆分过的文件命名，这样下来，我们就得到了20个XML文件如图4-3所示，这20个文件就是我们文本数据源，也是文本数据获取模块的输出，文本预处理模块的输入。

package com.scut.zl;
    
    import java.io.File;
    import java.io.FileOutputStream;
    import java.io.OutputStream;
    import java.util.ArrayList;
    import java.util.Iterator;
    import java.util.List;
    
    import org.dom4j.Document;
    import org.dom4j.DocumentException;
    import org.dom4j.Element;
    import org.dom4j.io.SAXReader;
    
    public class XmlParser {
        
    	public static void parseXml(String fileName) throws Exception {
        
    		SAXReader reader = new SAXReader();
    
    		Document document = reader.read(new File(fileName));
    		Element root = document.getRootElement();
    		// 将解析出来的Data下的PubmedArticle放在list中
    		List list = root.elements();
    		int k = 0;
    		for (Iterator i = list.iterator(); i.hasNext();) {
        
    			k++;
    			//输入的文件名称
    			String outFileName = "";
    			//输入的文件内容
    			String fileContent = "";
    			//PubmedArticle标签
    			Element PubmedArticle = (Element) i.next();
    			//MedlineCitation标签
    			Element MedlineCitation = PubmedArticle.element("MedlineCitation");
    			//！！！最关键的文献标签
    			Element Article = MedlineCitation.element("Article");
    			//最关键的文献的标题
    			Element ArticleTitle = Article.element("ArticleTitle");
    			//文献主体内容
    			Element Abstract = Article.element("Abstract");
    			
    			//输入文件名称设置为序列号+文献的标题
    			outFileName = k + ". " + ArticleTitle.getText();
    			System.out.println(outFileName);
    			
    			//因为linux下面文件名字的最大的长度为256，所以超过了的话要进行裁剪
    			if (outFileName.length() > 250) {
        
    				outFileName = outFileName.substring(0, 250);
    			}
    			
    			//Abstract有可能为空
    			if( null == Abstract ){
        
    				continue;
    			}
    			
    			//Abstract里面有很多段落，段落的列表
    			List eList = Abstract.elements();
    
    			for (Iterator j = eList.iterator(); j.hasNext();) {
        
    				Element AbstractText = (Element) j.next();
    				fileContent += AbstractText.getText() + "\n";
    			}
    			addDocSet(outFileName, fileContent);
    		}
    	}
    
    	//增加到文档集里面去
    	private static void addDocSet(String fileName, String fileContent)
    			throws Exception {
        
    		if (fileName.equals("")) {
        
    			return;
    		}
    		//由于java会把"/"当成子目录处理，所以要替换成：进行区别
    		fileName = fileName.replace("/", ":");
    		File file = new File(
    				new File(Config.DOC_SET_PATH),
    				fileName + ".txt");
    
    		OutputStream os = new FileOutputStream(file);
    		os.write(fileContent.getBytes());
    		os.flush();
    		os.close();
    	}
    
    }

![在这里插入图片描述][54e2e84d63584e929a0d97162b868270.png_pic_center]  
![在这里插入图片描述][47d5e08965614f8997d55af42b38b8e3.png_pic_center]  
![在这里插入图片描述][6b6320dfd15c4fc3965571cfc86707cc.png_pic_center]  
![在这里插入图片描述][730f2e08552748c2b53ee2dc56d32bb9.png_pic_center]  
![在这里插入图片描述][d6c3e1f33adb4b008ada5cca442350a8.png_pic_center]  
![在这里插入图片描述][f236eb0ade554fbe93b0aedb683e28b0.png_pic_center]  
![在这里插入图片描述][410c9cce0af044e48431ce35122aa9e7.png_pic_center]  
![在这里插入图片描述][286e252f7f4b47e2a6f4717265245614.png_pic_center]  
![在这里插入图片描述][0f5c7f6709424f54ada059179edc05d9.png_pic_center]  
![在这里插入图片描述][858b2bfa34294b71a011a3bc008b91a9.png_pic_center]  
![在这里插入图片描述][2626a8b782a84375a95186d44a3e14d5.png_pic_center]  
![在这里插入图片描述][011de7b1216a426ca52b5ce860e44ca2.png_pic_center]  
![在这里插入图片描述][2cacdecb53fc4b2ba8c1ee79a6c3511a.png_pic_center]  
![在这里插入图片描述][87adb8d7467b4f7ebf7e0daa5e8278fb.png_pic_center]  
![在这里插入图片描述][d0d8f0d651dc45e8b2c7a3824a4bdc11.png_pic_center]  
![在这里插入图片描述][e2155e92f5ba487c951c0be30e923eff.png_pic_center]  
![在这里插入图片描述][80bcd8b638f545ec9b79341d171cd87d.png_pic_center]  
![在这里插入图片描述][fc16a336e8c7492db082db28ea96e88c.png_pic_center]  
![在这里插入图片描述][da410390bcbb49bab1568d7b9a57a103.png_pic_center]  
![在这里插入图片描述][c7f26e9c979543e58d3263d96de2a9c6.png_pic_center]  
![在这里插入图片描述][074184db03eb464cae9815585ba93c5f.png_pic_center]  
![在这里插入图片描述][4a86fc7a16b74fad93484fec4df12802.png_pic_center]  
![在这里插入图片描述][aeb289de59294a64803a7bfd996b5b4e.png_pic_center]  
![在这里插入图片描述][a000b318a2f74c8dac8caada50572555.png_pic_center]  
![在这里插入图片描述][21af137ccaf742668252d064073c2b80.png_pic_center]  
![在这里插入图片描述][5ecfcd80d35849bca7040c3a1a9abc86.png_pic_center]  
![在这里插入图片描述][c24e1ea4ba7749039654b1d7edffc445.png_pic_center]

[54e2e84d63584e929a0d97162b868270.png_pic_center]: https://img-blog.csdnimg.cn/54e2e84d63584e929a0d97162b868270.png#pic_center
[47d5e08965614f8997d55af42b38b8e3.png_pic_center]: https://img-blog.csdnimg.cn/47d5e08965614f8997d55af42b38b8e3.png#pic_center
[6b6320dfd15c4fc3965571cfc86707cc.png_pic_center]: https://img-blog.csdnimg.cn/6b6320dfd15c4fc3965571cfc86707cc.png#pic_center
[730f2e08552748c2b53ee2dc56d32bb9.png_pic_center]: https://img-blog.csdnimg.cn/730f2e08552748c2b53ee2dc56d32bb9.png#pic_center
[d6c3e1f33adb4b008ada5cca442350a8.png_pic_center]: https://img-blog.csdnimg.cn/d6c3e1f33adb4b008ada5cca442350a8.png#pic_center
[f236eb0ade554fbe93b0aedb683e28b0.png_pic_center]: https://img-blog.csdnimg.cn/f236eb0ade554fbe93b0aedb683e28b0.png#pic_center
[410c9cce0af044e48431ce35122aa9e7.png_pic_center]: https://img-blog.csdnimg.cn/410c9cce0af044e48431ce35122aa9e7.png#pic_center
[286e252f7f4b47e2a6f4717265245614.png_pic_center]: https://img-blog.csdnimg.cn/286e252f7f4b47e2a6f4717265245614.png#pic_center
[0f5c7f6709424f54ada059179edc05d9.png_pic_center]: https://img-blog.csdnimg.cn/0f5c7f6709424f54ada059179edc05d9.png#pic_center
[858b2bfa34294b71a011a3bc008b91a9.png_pic_center]: https://img-blog.csdnimg.cn/858b2bfa34294b71a011a3bc008b91a9.png#pic_center
[2626a8b782a84375a95186d44a3e14d5.png_pic_center]: https://img-blog.csdnimg.cn/2626a8b782a84375a95186d44a3e14d5.png#pic_center
[011de7b1216a426ca52b5ce860e44ca2.png_pic_center]: https://img-blog.csdnimg.cn/011de7b1216a426ca52b5ce860e44ca2.png#pic_center
[2cacdecb53fc4b2ba8c1ee79a6c3511a.png_pic_center]: https://img-blog.csdnimg.cn/2cacdecb53fc4b2ba8c1ee79a6c3511a.png#pic_center
[87adb8d7467b4f7ebf7e0daa5e8278fb.png_pic_center]: https://img-blog.csdnimg.cn/87adb8d7467b4f7ebf7e0daa5e8278fb.png#pic_center
[d0d8f0d651dc45e8b2c7a3824a4bdc11.png_pic_center]: https://img-blog.csdnimg.cn/d0d8f0d651dc45e8b2c7a3824a4bdc11.png#pic_center
[e2155e92f5ba487c951c0be30e923eff.png_pic_center]: https://img-blog.csdnimg.cn/e2155e92f5ba487c951c0be30e923eff.png#pic_center
[80bcd8b638f545ec9b79341d171cd87d.png_pic_center]: https://img-blog.csdnimg.cn/80bcd8b638f545ec9b79341d171cd87d.png#pic_center
[fc16a336e8c7492db082db28ea96e88c.png_pic_center]: https://img-blog.csdnimg.cn/fc16a336e8c7492db082db28ea96e88c.png#pic_center
[da410390bcbb49bab1568d7b9a57a103.png_pic_center]: https://img-blog.csdnimg.cn/da410390bcbb49bab1568d7b9a57a103.png#pic_center
[c7f26e9c979543e58d3263d96de2a9c6.png_pic_center]: https://img-blog.csdnimg.cn/c7f26e9c979543e58d3263d96de2a9c6.png#pic_center
[074184db03eb464cae9815585ba93c5f.png_pic_center]: https://img-blog.csdnimg.cn/074184db03eb464cae9815585ba93c5f.png#pic_center
[4a86fc7a16b74fad93484fec4df12802.png_pic_center]: https://img-blog.csdnimg.cn/4a86fc7a16b74fad93484fec4df12802.png#pic_center
[aeb289de59294a64803a7bfd996b5b4e.png_pic_center]: https://img-blog.csdnimg.cn/aeb289de59294a64803a7bfd996b5b4e.png#pic_center
[a000b318a2f74c8dac8caada50572555.png_pic_center]: https://img-blog.csdnimg.cn/a000b318a2f74c8dac8caada50572555.png#pic_center
[21af137ccaf742668252d064073c2b80.png_pic_center]: https://img-blog.csdnimg.cn/21af137ccaf742668252d064073c2b80.png#pic_center
[5ecfcd80d35849bca7040c3a1a9abc86.png_pic_center]: https://img-blog.csdnimg.cn/5ecfcd80d35849bca7040c3a1a9abc86.png#pic_center
[c24e1ea4ba7749039654b1d7edffc445.png_pic_center]: https://img-blog.csdnimg.cn/c24e1ea4ba7749039654b1d7edffc445.png#pic_center