Python scrapy框架教学（四）：保存到数据库

偏执的太偏执、 2022-11-10 05:38 190阅读 0赞

# 保存到Redis数据库 #

保存到数据库和保存到文件中格式类似的，只不过初始化的时候，将本来是打开文件的操作，转为连接数据库的操作。写入的时候将本来是写入到文件的操作转为写入到数据库中的操作。以 Redis 数据库为例：

# 这个是保存到redis 
    class RedisPipeline(object): 
      def __init__(self): 
        ## 初始化链接
        reids self.redis_cli = redis.StrictRedis( 
        host='127.0.0.1', 
        port=6379, db=1, 
      ) 
    
      def process_item(self, item, spider): 
        ## 保存到redis 
        self.redis_cli.lpush('quotes', json.dumps(dict(item))) 
        return item 
    
      def close_spider(self, spider): 
        self.redis_cli.close()

**Python爬虫、数据分析、网站开发等案例教程视频免费在线观看**

https://space.bilibili.com/523606542

# [Python学习交流群：1039649593][Python_1039649593] #

# 保存到MySQL数据库 #

# 这个是保存到mysql 
    class MySQLPipeline(object):
      """ create database quotes charset=utf8; 
      use quotes; create table quotes (txt text, author char(20), 
      tags char(200)); """ 
    
      def __init__(self): 
        self.connect = pymysql.connect( 
          host='192.168.159.128', 
          port=3306, 
          db='quotes', # 数据库名 
          user='windows', 
          passwd='123456', 
          charset='utf8', 
          use_unicode=True 
        )
        # 创建操作数据的游标 
        self.cursor = self.connect.cursor() 
    
      def process_item(self, item, spider): 
        # 保存到mysql 
        # 执行sql语句
        self.cursor.execute( 
          'insert into quotes (txt, author, tags) value(%s, %s, %s)', (item['text'], item['author'], item['tags'])
         )
        # 提交数据执行数据 
        self.connect.commit() 
        return item 
      # 关闭链接 
      def close_spider(self, spider): 
        self.cursor.close() 
        self.connect.close()

# 将数据存入MongoDB #

有时，我们想把爬取到的数据存入某种数据库中，可以实现Item Pipeline完成此类任务。下面实现一个能将数据存入MongoDB数据库的Item Pipeline，代码如下：

对上述代码解释如下。

在类属性中定义两个常量：

*  DB\_URI 数据库的URI地址。
 *  DB\_NAME 数据库的名字。

from scrapy.item import Item 
    import pymongo 
    
    class MongoDBPipeline(object): 
    
    DB_URI = 'mongodb://localhost:27017/' 
    DB_NAME = 'scrapy_data' 
    
    def open_spider(self, spider): 
    self.client = pymongo.MongoClient(self.DB_URI) 
    self.db = self.client[self.DB_NAME] 
    
    def close_spider(self, spider): 
    self.client.close() 
    
    def process_item(self, item, spider): 
    collection = self.db[spider.name] 
    post = dict(item) if isinstance(item, Item) 
    else item collection.insert_one(post) 
    return item

[Python_1039649593]: https://jq.qq.com/?_wv=1027&k=SBLaYU2c