实用知识点

悠悠 2022-04-24 06:48 157阅读 0赞

# scrapy篇 #

1.  提取标签中所有文本  
    `div.find('a').get_text()`  
    参考【A】1. 爬虫\\【微博】\\【bs4】微博抓取
2.  保存为.txt文件
    
        # 方法一
        with open('test.txt', 'a',encoding='utf-8') as f:
                f.write(text)
        # 方法二
        fileHandle = open ('test.txt', 'a',encoding='utf-8') 
        fileHandle.write (text) 
        fileHandle.close()

# 爬虫控制篇 #

1.  爬虫定时器  
    ① 创建test.txt；  
    ② txt中写入以下内容
    
        @echo off 
        cd  C:\Users\herop\Desktop  #跳转到py目录文件
        start python test.py  #执行文件
    
    ③将后缀改为test.bat  
    ④任务计划程序中添加任务  
    （ps：没有办法直接用任务计划程序启动python，只能通过.bat文件。6点回图书馆后盯着电脑弄了3小时才解决，头昏脑涨，百度出来的没一个能解决的，还是靠着谷歌搜到国外论坛才解决了，垃圾百度，毁我青春！）

# jieba分词 #

1.  [基于python中jieba包的中文分词中详细使用（一）][python_jieba]
2.  [基于python中jieba包的中文分词中详细使用（二）][python_jieba 1]

# 文件读取 #

1.  读取csv,txt 第一列需要加上`\ufeff`
    
        lst = []
        with open(r'评论数-时间.txt', encoding='utf-8') as f:
            reader = csv.DictReader(f)
            for row in reader:
                lst.append([row['\ufeff评论'],row['时间']])```
2.  读取txt词典
    
        with open(r'情感词典/积极.txt', 'r', encoding='utf-8') as f:
                for i in f.readlines():
                    try:
                        j = i.strip()
                        j = j.split('\t')
                        lst.append(j)
                    except:
                        continue
3.  保存为csv
    
        import pandas as pd
        df = pd.DataFrame({ '评论': lst})
        df.to_csv('数据.csv',index=False)
4.  保存为txt
    
        with open('test.txt','a') as f:
        	f.write(a)
5.  列表存入数据库
    
        def save_data(lst):
            db = pymysql.connect(host="", user="", password="", db="mysite", port=3306,charset='utf8')
            cursor = db.cursor()
            for i in lst:
                values=(
                        i[0],
                        i[1]
                    )
                sql = 'INSERT INTO weibo VALUES (%s,%s)'
                cursor.execute(sql, values)

[python_jieba]: https://blog.csdn.net/meiqi0538/article/details/80213431
[python_jieba 1]: https://blog.csdn.net/meiqi0538/article/details/80218870#_433