Spider文件，了解一下

╰半夏微凉° 2021-09-15 16:58 150阅读 0赞

import scrapy
    import os
    from lxml import etree
    # import tutorial.tutorial.items as myitem
    import re
    #scrapy.spider 爬虫的基类
    class QuotesSpider(scrapy.Spider):
        name = "start"
        #爬虫的名字
        #scrapy crawl quotes 运行这个爬虫
    
        #读取url生成一个一个request请求 返回一个可迭代对象
        def start_requests(self):
            urls = [' ']
            for url in urls:
                #生成器
                yield scrapy.Request(url=url, callback=self.parse)   #回调
        #默认的回调方法
        def parse(self, response):
            #返回的页面
            page = etree.HTML(response.body)
            #获取html中txttare标签中的文本内容
            textarea = page.xpath('//textarea[starts-with(@id,"txtare")]/text()')
    
            for i in textarea:
                str = i
                searchObj = re.search(r'(.*。)', str).group()
                # 题目|朝代|诗人|内容|连接
                print(str[str.find("《")+1 :str.find("》")],'|',
                      str[str.find("—") + 2:str.find("·")],'|',
                      str[str.find("·") + 1:str.find("《")],'|',
                      searchObj,'|',
                      str[str.find("》") + 1:str.__len__()]
                      )
    if __name__ == '__main__':
        os.system('scrapy crawl start')

发表评论取消回复

表情：

评论列表（有 0 条评论，150人围观）

还没有评论，来说两句吧...

相关阅读

相关了解一下sqlhc

看到很多大神，尤其是老虎刘老师在做SQL调优的时候，都提到了sqlhc，找了一些资料，借此机会，学习一下。 ![format_png][] sqlhc是SQL Tuning

小鱼儿/ 2023年01月01日 03:39/ 0 赞/ 38 阅读

相关了解一下websocket

Websocket 是什么？ WebSocket 是 HTML5 开始提供的一种在单个 TCP 连接上进行全双工通讯的协议。跟http一样是一种协议跟SOCKET、

一时失言乱红尘/ 2022年10月25日 12:56/ 0 赞/ 197 阅读

相关了解一下 cookie

会话技术程序中的会话: 打开浏览器---->访问特定的网站(访问服务器)----> 关闭浏览器将浏览器和服

r囧r小猫/ 2022年02月03日 05:17/ 0 赞/ 261 阅读

相关 SSE了解一下

说到 Web 消息推送，大家可能第一个想到的就是 Websocket。的确，作为 HTML5 中的一种持久化协议，Websocket 可以帮我们连接客户端和服务端，实时地进行双

忘是亡心i/ 2021年09月18日 02:38/ 0 赞/ 868 阅读

相关 import,了解一下

”’ import a from a imp.reload 不中止程序的情况下，一种重新载入模块文件代码的方法代码重用系统命名空间的划分实现共享服务和数据

古城微笑少年丶/ 2021年09月16日 02:46/ 0 赞/ 373 阅读

相关 Lock，了解一下

Lock public class Test2 { / 显示锁Lock ReentrantLocak java.util.concurrent.lo

ゝ一纸荒年。/ 2021年09月15日 22:40/ 0 赞/ 494 阅读

相关 synchronized，了解一下

public class Test1 { / java堆内存，存放程序中所有的类实例、静态数据等变量，是多个线程共享的，

比眉伴天荒/ 2021年09月15日 22:38/ 0 赞/ 452 阅读

相关 nmap，了解一下

介绍网络连接扫描说明中文手册 [http://www.nmap.com.cn/doc/manual.shtm][http_www.nmap.com.cn_d

Dear 丶/ 2021年09月15日 20:32/ 0 赞/ 487 阅读

相关 dnsenum,了解一下

介绍域名信息收集，能够通过google或者字典文件猜测可能存在的域名信息，并对网段进行反向查询，可以查询到主机信息、域名服务器、邮件交换记录还可以在域名服务

╰+攻爆jí腚メ/ 2021年09月15日 20:14/ 0 赞/ 451 阅读

相关 Spider文件，了解一下

import scrapy import os from lxml import etree import tutorial.tutorial

╰半夏微凉°/ 2021年09月15日 16:58/ 0 赞/ 151 阅读