python--半自动爬取Leetcode上面的所有题目并转成word打印

野性酷女 2022-05-14 10:49 85阅读 0赞

# python–半自动爬取Leetcode上面的所有题目并转成word打印 #

*  python–半自动爬取Leetcode上面的所有题目并转成word打印
    
     *  写在前面
     *  代码逻辑
        
         *  代码结构：
         *  代码流程
         *  具体代码
     *  运行结果
     *  扩展
     *  成品结果
     *  下载链接

## 写在前面 ##

最近想做下算法题目，补补基础，在手机上面或者电脑上面做的不是那么的爽，就想着打印下来，然后在每道题目下面写下草稿，后面再用电脑写代码。

但是找了半天都没有整理版的题目，要不然就是有答案的，要不然就是英文的，要不然就是按分类来的，要不然就是不全的。

所以就打算自己写一个，现在的版本是按照难度来划分的，然后后面的连接是整理好的文本。已经分栏分好了。纸张的利用率也是比较高。

话不多说，看下代码吧。

## 代码逻辑 ##

### 代码结构： ###

---leetcode 文件夹 ------leetcode.py 主要的代码 ------python-leetcode.html 题目的html ------python-leetcode-easy.html 所有的简单题目 ------python-leetcode-hard.html 所有的困难题目 ------python-leetcode-m.html 所有的中等题目 ------result1-200.txt 部分结果 
    <tbody class="reactable-data">

### 代码流程 ###

def run(self):
        self.get_urls()
        self.get_description_by_request()
        self.save_problem()

这个是main函数的主要流程  
\- self.get\_urls() 是根据python-leetcode.html读取所有的题目url，然后存到数组里面  
\- self.get\_description\_by\_request() 获取详细的题目信息  
\- self.save\_problem() 将题目信息存到文本里面

### 具体代码 ###

leetcode.py

# -*- coding: UTF-8 -*-
    
    from urllib import request
    # 导入BeautifulSoup模块和re模块，re是python中正则表达式的模块. 涓€浜�-涓夊垎-鍦帮紝鐙鍙戝竷
    # from BeautifulSoup import soup
    import bs4
    import re
    import datetime
    import aiohttp, asyncio
    import requests, os, time
    import random
    
    
    def get_html(url):  # 获取页面的源代码
        page = request.urlopen(url)
        html = page.read()
        html = html.decode('utf-8')
        return html
    
    
    USER_AGENTS = [
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
        "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
        "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
        "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
        "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
        "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
        "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
        "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
        "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    ]
    
    
    # 随机生成user-agent
    class RandomUAMiddleware(object):
        def process_request(self, request, spider):
            request.headers["User-Agent"]=random.choice(USER_AGENTS)
    
    
    def request_url(url):
        print("request_url")
        response = requests.get(url)
        response.encoding = 'utf-8'
        if response.status_code == 200:
            return response
        else:
            print("请求失败，errcode = %s" % response.status_code)
    
    
    def request_url_read(url):
        print("request_url_read")
        headers = {
       'User-Agent': random.choice(USER_AGENTS)}
        response = requests.get(url, headers=headers)
        response.encoding = 'utf-8'
        if response.status_code == 200:
            return response
        else:
            print("请求失败，errcode = %s" % response.status_code)
            return None
    
    
    async def __get_content(link):
        # print("__get_content")
        async with aiohttp.ClientSession() as session:
            response = await session.get(link)
            content = await response.read()
            return content
    
    
    class AttrDisplay:
        def gatherAttrs(self):
            return " , ".join("{}={}"
                              .format(k, getattr(self, k))
                              for k in self.__dict__.keys())
            # attrs = []
            # for k in self.__dict__.keys():
            # item = "{}={}".format(k, getattr(self, k))
            # attrs.append(item)
            # return attrs
            # for k in self.__dict__.keys():
            # attrs.append(str(k) + "=" + str(self.__dict__[k]))
            # return ",".join(attrs) if len(attrs) else 'no attr'
    
        def __str__(self):
            return "[{}:{}]".format(self.__class__.__name__, self.gatherAttrs())
    
    
    class Problem(AttrDisplay):
        def __init__(self):
            self.number = 0
            self.title = ""
            self.link = ""
            self.description = ""
    
        def format_to_file(self):
            result = str(self.number) + "、" + self.title
            result += "\n"
            description_str = self.description.replace("\n\n", "\n")
            description_str = description_str.replace(" ", " ")
            description_str = description_str.replace("−", "-")
            description_str = description_str.replace(""", "\"")
            description_str = description_str.replace("'", "\'")
            description_str = description_str.replace(">", ">")
            description_str = description_str.replace("<", "<")
            description_str = description_str.replace("≤", "<=")
            description_str = description_str.replace("‘", "\'")
            description_str = description_str.replace("’", "\'")
            description_str = description_str.replace("⌊", " ")
            description_str = description_str.replace("→", "→")
            result += description_str
            result += "\n"
            result += "\n"
            result += "\n"
            result += "\n"
            return result
    
    
    class MySpider(object):
    
        # 初始化
        def __init__(self):
            self.base_url = "https://leetcode-cn.com"
    
            self.headers = {
                'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) '
                              ' AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1'
            }
            self.num = 1
            print("MySpider init ")
            self.problem_list = []
    
        def get_urls(self):
            # 打开一个文件
            fo = open("python-leetcode.html", "r", encoding='UTF-8')
            html_contont = fo.read()
            soup = bs4.BeautifulSoup(html_contont, "html.parser")
            # div_main = soup.html.body.find('tbody', {'class': 'reactable-data'})
            tr_list = soup.html.body.find_all('tr')
            for tr in tr_list:
                problem = Problem()
                for index, td in enumerate(tr.children):
                    print(index)
                    print(td)
                    if index == 1:
                        # print(td.string)
                        problem.number = td.string
                    if index == 2:
                        problem.link = self.base_url + td.div.a.attrs["href"]
                        problem.title = td.div.a.string
    
                self.problem_list.append(problem)
    
        def get_description_by_request(self):
            for index, problem in enumerate(self.problem_list):
                if index > -1:
                    print(problem.link)
                    response = request_url_read(problem.link)
                    if response is None:
                        print("response is None " + str(index))
                        continue
    
                    rep_html = response.text
                    soup = bs4.BeautifulSoup(rep_html, "html.parser")
    
                    # 获取题目内容
                    meta_description = soup.html.head.find('meta', {
       'name': 'description'})
                    description = meta_description.attrs["content"]
                    problem.description = description
    
                    time.sleep(1)
    
                    if index % 10 == 0:
                        time.sleep(4)
    
        def save_problem(self):
            for problem in self.problem_list:
                fo = open("result.txt", "a", encoding='UTF-8')  # a 打开一个文件用于追加。
                fo.write(str(problem.format_to_file()))
                fo.close()
    
        def run(self):
            self.get_urls()
            self.get_description_by_request()
            self.save_problem()
    
    
    def main():
        mySpider = MySpider()
        # links = mySpider.get_page_links("http://m.sfv5.com/shaonv/2018/0425/5436.html")
        # mySpider.download_by_links(links,'好')
        mySpider.run()
    
    
    if __name__ == "__main__":
        main()

python-leetcode.html 部分

<!DOCTYPE html>
    <html>
    <head>
    </head>
    <body>
    <tbody class="reactable-data"><tr><td label="[object Object]"></td><td label="[object Object]">899</td><td value="Orderly Queue" label="[object Object]"><div><a href="/problems/orderly-queue">有序队列</a> <span class="fa fa-info-circle title-tooltip" data-toggle="tooltip" data-placement="top" data-original-title="Orderly Queue" aria-hidden="true" style="cursor: pointer;"></span>   <span class="badge badge-pill new-question-pill">新</span></div></td><td label="[object Object]"></td><td value="24.087591240875913" label="[object Object]">24.1%</td><td value="[object Object]" label="[object Object]"><span class="label label-danger round">困难</span></td></tr></tbody>
    </body>
    </html>

result1-200.txt

1、两数之和
    给定一个整数数组和一个目标值，找出数组中和为目标值的两个数。
    你可以假设每个输入只对应一种答案，且同样的元素不能被重复利用。
    示例:
    给定 nums = [2, 7, 11, 15], target = 9
    因为 nums[0] + nums[1] = 2 + 7 = 9
    所以返回 [0, 1]
    
    
    
    
    7、反转整数
    给定一个 32 位有符号整数，将整数中的数字进行反转。
    示例1:
    输入: 123
    输出: 321
    
    示例 2:
    输入: -123
    输出: -321
    
    示例 3:
    输入: 120
    输出: 21
    
    注意:
    假设我们的环境只能存储 32 位有符号整数，其数值范围是 [-231, 231- 1]。根据这个假设，如果反转后的整数溢出，则返回 0。
    
    
    
    
    9、回文数
    判断一个整数是否是回文数。回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。
    示例 1:
    输入: 121
    输出: true
    
    示例2:
    输入: -121
    输出: false
    解释: 从左向右读, 为 -121 。 从右向左读, 为 121- 。因此它不是一个回文数。
    
    示例 3:
    输入: 10
    输出: false
    解释: 从右向左读, 为 01 。因此它不是一个回文数。
    
    进阶:
    你能不将整数转为字符串来解决这个问题吗？
    
    
    
    
    13、罗马数字转整数

## 运行结果 ##

result1-200.txt 各个题目中间会有空格

1、两数之和 给定一个整数数组和一个目标值，找出数组中和为目标值的两个数。 你可以假设每个输入只对应一种答案，且同样的元素不能被重复利用。 示例: 给定 nums = [2, 7, 11, 15], target = 9 因为 nums[0] + nums[1] = 2 + 7 = 9 所以返回 [0, 1] 7、反转整数

## 扩展 ##

这个内容是半自动的，可以根据自己的需求，爬取不同的题目。  
可以看到代码中的题目链接是根据python-leetcode.html中的标签内容进行获取的，所以这里是可以定制化的。

这个里面的内容登录[https://leetcode-cn.com/problemset/all/][https_leetcode-cn.com_problemset_all]，筛选自己的内容找到标签，整个复制并替换。然后重新运行代码就好了  
![这里写图片描述][70]

## 成品结果 ##

有了文本，然后改到word里面，再排版下像这个样子：  
![这里写图片描述][70 1]

## 下载链接 ##

代码链接：[码云链接][Link 1]  
成品下载链接：[leetcode所有简单题目包括排版][leetcode]

[https_leetcode-cn.com_problemset_all]: https://leetcode-cn.com/problemset/all/
[70]: /images/20220514/c4ed7c72cddf4b21a7b3855804deb9fd.png
[70 1]: /images/20220514/8e2ebde7d0214172ada1de1d59320c74.png
[Link 1]: https://gitee.com/lizhaoandroid/py-test
[leetcode]: https://download.csdn.net/download/cmqwan/10650454