爬取项目中的中文

ゝ一世哀愁。 2022-11-01 05:54 105阅读 0赞

### 前沿 ###

爬取项目中的中文核心思想在于通过脚本对项目文件进行遍历，通过文件名对文件进行筛选，读取筛选出的文件内容，查看文件内容中是否有符合的片段。

其实重点在于正则表达式的使用，如何巧妙的使用正则表达式来获取文件中复杂的中文内容。

### Node ###

请安装node，下载项目后，执行node install安装相关依赖

项目源码地址：[https://github.com/zhuyuzhu/getHanzi][https_github.com_zhuyuzhu_getHanzi]

执行命令爬取内容并生成Excel文件：node 脚本

**查找HTML中的文字：**

var fs = require("fs");
    var path = require('path');
    var xlsx = require('node-xlsx');
    var regHtml = /\>((\s|\u3002|\uFF1F|\uFF01|\uFF0C|\u3001|\uFF1B|\uFF1A|\u300C|\u300D|\u300E|\u300F|\u2018|\u2019|\u201C|\u201D|\uFF08|\uFF09|\u3014|\u3015|\u3010|\u3011|\u2014|\u2026|\u2013|\uFF0E|\u300A|\u300B|\u3008|\u3009)*[\u4E00-\u9FA5]+(\s|\u3002|\uFF1F|\uFF01|\uFF0C|\u3001|\uFF1B|\uFF1A|\u300C|\u300D|\u300E|\u300F|\u2018|\u2019|\u201C|\u201D|\uFF08|\uFF09|\u3014|\u3015|\u3010|\u3011|\u2014|\u2026|\u2013|\uFF0E|\u300A|\u300B|\u3008|\u3009)*)+\</g; //匹配HTML中的中文片段
    
    //中文符号的Unicode码
    var ChineseSymbols = /(\s|\u3002|\uFF1F|\uFF01|\uFF0C|\u3001|\uFF1B|\uFF1A|\u300C|\u300D|\u300E|\u300F|\u2018|\u2019|\u201C|\u201D|\uFF08|\uFF09|\u3014|\u3015|\u3010|\u3011|\u2014|\u2026|\u2013|\uFF0E|\u300A|\u300B|\u3008|\u3009)/g
    
    var hanziarr = [];
    var filesHtmlNum = 0;
    
    // 查找指定目录中的Html文件
    function findDirHtmlSync(dirpath) {
        var filesNameArr = fs.readdirSync(dirpath);
        filesNameArr.forEach(fileName => {
            var fileordirpath = path.join(dirpath, fileName);
            var stats = fs.statSync(fileordirpath); //获取文件状态
            if (stats.isDirectory()) {
                findDirHtmlSync(fileordirpath)
            }
            if (stats.isFile() && fileordirpath.match(/\.html$/)) {
                filesHtmlNum++
                console.log(fileordirpath); //执行程序，控制台打印正在操作的文件
                readFileToArrSync(fileordirpath, "html")
            }
        })
    }
    
    /**
     * 读取文件内容，根据正则表达式，将需要的内容存入缓存数组中
     * @param {*} fReadName 文件名字（包含后缀）
     * @param {*} fileType 文件类型Html或js
     */
    function readFileToArrSync(fReadName, fileType) {
        var filedata = fs.readFileSync(fReadName, "utf-8");
        var filehanziArr = null; //match方法匹配文件后的结果
        if(fileType === "html"){
            filehanziArr = filedata.match(regHtml);
        }
        if (filehanziArr) {
            hanziarr.push([null, null, null], [fReadName, null, null])
            filehanziArr.forEach(item => {
                hanziarr.push([null, null, item])
                
            })
        }
    }
    
    // 获取该地址文件夹中的所有html文件的中文
    findDirHtmlSync('./project_demo');
    
    console.log("The number of Html is "+ filesHtmlNum);
    
    console.log(hanziarr);
    
    var buffer = xlsx.build([{ name: "mySheetName", data: hanziarr }]); // Returns a buffer
    fs.writeFileSync('./projecthtml.xlsx', buffer, "binary");

**查找JS和JSP中的文字：**

var fs = require("fs");
    var path = require('path');
    var xlsx = require('node-xlsx');
    
    var reg = /[\u4E00-\u9FA5]+/g; //匹配中文片段
    
    var regJsp = /\'\s*[\u4E00-\u9FA5]+\s*\'|\"\s*[\u4E00-\u9FA5]+\s*\"|\'.*[\u4E00-\u9FA5]+.*\'|\".*[\u4E00-\u9FA5]+.*\"|\/\/.+|\<\!\-\-.+\-\-\>|[\u4E00-\u9FA5]+/g; //也匹配注释部分
    
    var regJs = /\'.*[\u4E00-\u9FA5]+.*\'|\".*[\u4E00-\u9FA5]+.*\"/g; //匹配引号内包含中文的片段
    
    /**
     * 匹配js中的汉字，通过引号内包含汉字的方式去匹配
     * 还需要过滤min.js文件
     */
    
    var hanziarr = [];
    var filesJspNum = 0;
    var filesJsNum = 0;
    
    // 同步写法
    
    
    // 查找指定目录中的jsp文件
    function findDirJspSync(dirpath) {
        var filesNameArr = fs.readdirSync(dirpath);
        filesNameArr.forEach(fileName => {
            var fileordirpath = path.join(dirpath, fileName);
            var stats = fs.statSync(fileordirpath); //获取文件状态
            if (stats.isDirectory()) {
                findDirJspSync(fileordirpath)
            }
            if (stats.isFile() && fileordirpath.match(/\.jsp$/)) {
                filesJspNum++
                console.log(fileordirpath); //执行程序，控制台打印正在操作的文件
                readFileToArrSync(fileordirpath, "jsp")
            }
        })
    }
    
    /**
     * 读取文件内容，根据正则表达式，将需要的内容存入缓存数组中
     * @param {*} fReadName 文件名字（包含后缀）
     * @param {*} fileType 文件类型jsp或js
     */
    function readFileToArrSync(fReadName, fileType) {
        var filedata = fs.readFileSync(fReadName, "utf-8");
        var filehanziArr = null; //match方法匹配文件后的结果
        if(fileType === "jsp"){
            filehanziArr = filedata.match(regJsp);
        }else if(fileType === "js"){
            filehanziArr = filedata.match(regJs);
        }
        if (filehanziArr) {
            hanziarr.push([null, null, null], [fReadName, null, null])
            filehanziArr.forEach(item => {
                if(fileType === "jsp" && (item.startsWith('//') || item.startsWith('<!--'))) {
                    return;
                }
                hanziarr.push([null, null, item])
                
            })
        }
    }
    
    //查找指定目录中的js文件
    function findDirJsSync(dirpath) {
        var filesNameArr = fs.readdirSync(dirpath);
        filesNameArr.forEach(fileName => {
            var fileordirpath = path.join(dirpath, fileName);
            var stats = fs.statSync(fileordirpath); //获取文件状态
            if (stats.isDirectory()) {
                findDirJsSync(fileordirpath)
            }
            // 此处对项目中的文件进行过滤，请结合实际项目进行过滤
            if (stats.isFile() && fileordirpath.match(/\.js$/) && (fileordirpath.match(/zh\_CN\.min\.js$/) || !fileordirpath.match(/min\.js$|searchIndexs\.js$|echarts-all\.js$/))) {
                filesJsNum++
                console.log(fileordirpath); //执行程序，控制台打印正在操作的文件
                readFileToArrSync(fileordirpath, "js")
            }
        })
    }
    // 获取该地址文件夹中的所有的jsp文件的中文
    findDirJspSync('./movision-parent/movision-bmc-webapp/webapp');
    // 获取该地址文件夹中的所有的js文件的中文
    findDirJsSync('./movision-parent/movision-bmc-webapp/webapp');
    
    console.log("The number of JSP is "+ filesJspNum);
    console.log("The number of JS is "+ filesJsNum);
    
    console.log(hanziarr);
    
    var buffer = xlsx.build([{ name: "mySheetName", data: hanziarr }]); // Returns a buffer
    fs.writeFileSync('./projectJspJs.xlsx', buffer, "binary");

**特别注意正则表达式的使用**

[https_github.com_zhuyuzhu_getHanzi]: https://github.com/zhuyuzhu/getHanzi

发表评论取消回复

表情：

评论列表（有 0 条评论，105人围观）

还没有评论，来说两句吧...

相关阅读

相关【项目实战】爬取csdn指定专栏的文章

功能概述通过Python网络爬虫，爬取相关专栏文章，保存内容至本地文件夹，格式为html，PDF，makedown。效果展示 ![请添加图片描述][3467a

柔情只为你懂/ 2023年09月25日 19:53/ 0 赞/ 41 阅读

相关 Python爬取mc皮肤【爬虫项目】

首先，找到一个皮肤网站，其中一个著名的皮肤网站就是 https://littleskin.cn 。进入网站，我们就会见到一堆皮肤，这就是今天我们要爬的皮肤。给各位分享一下代码。

末蓝、/ 2023年07月05日 13:18/ 0 赞/ 62 阅读

相关 4k图片爬取+中文乱码

4k图片爬取+中文乱码此案例有三种乱码解决方法，推荐第一种 4k图片爬取其实和普通图片爬取的过程是没有本质区别的 import requests i

墨蓝/ 2023年06月02日 10:44/ 0 赞/ 15 阅读

相关爬取项目中的中文

前沿爬取项目中的中文核心思想在于通过脚本对项目文件进行遍历，通过文件名对文件进行筛选，读取筛选出的文件内容，查看文件内容中是否有符合的片段。其实重点在于正则表达式的

ゝ一世哀愁。/ 2022年11月01日 05:54/ 0 赞/ 106 阅读

相关 python中文爬取网页_使用Python爬虫爬取简单网页（Python爬虫入门）-Go语言中文社区...

今天我们来看一看使用Python爬取一些简单的网页。所用工具：IDLE (Python 3.6 64-bit) 一. 爬取京东商品页面 ![8d0a127b918867

我会带着你远行/ 2022年10月27日 13:50/ 0 赞/ 293 阅读

相关爬取图片

\----- 爬取百度贴吧的图片： \ coding=utf-8 import urllib import re def getHtml(url): pa

痛定思痛。/ 2022年06月07日 02:54/ 0 赞/ 290 阅读

相关 Scrapy爬取中文数据的问题

Scrapy爬取到的中文数据默认是Unicode编码，显示出来就是这样子： ![70][] 解决方案：在setting.py中，写入： FEED_EXPORT

心已赠人/ 2022年05月21日 13:27/ 0 赞/ 225 阅读

相关 js爬取

有时间看 [https://blog.csdn.net/qq523176585/article/details/78693900][https_blog.csdn.net_q

悠悠/ 2022年05月09日 01:38/ 0 赞/ 214 阅读

相关爬取过程中的登录问题

一.cookie模拟登录有些时候需要登录帐号之后才能看到一些数据，所以要想抓取这些数据，就必须先登录，而浏览器主要通过cookie的方式来检验用户的登录状态。有些时候，

小灰灰/ 2022年04月06日 15:26/ 0 赞/ 162 阅读

相关起点中文网月票等字体数据爬取Python

起点中文网收藏量等数据爬取 1.难点分析 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_

ゝ一纸荒年。/ 2022年03月01日 03:34/ 0 赞/ 215 阅读