模拟登陆爬取知乎

朴灿烈づ我的快乐病毒、 2022-06-17 13:13 403阅读 0赞

2017.4.26更新

  • 实现功能为爬取指定关键字下所有问题及每个问题中的所有回答
  • 回答中文字和图片是分离的,因为从服务器返回的JSON数据中内容部分比较混乱,暂时只是粗暴的做了分离操作
  • 后续将加入多线程下载、爬取用户、爬取话题的功能

项目地址
GitHub : ZhihuCrawler

使用说明

  • 本程序实现爬取指定关键词下所有问题及所有回答,保存格式为csv格式
  • 采用模拟登陆,首次使用时需要输入账号和密码
  • 本程序基于Python3开发,使用包括requests、http、bs4、urllib和json等第三方库
  • 运行Main.py文件,无需做其他修改
  • 附带了Json.json文件,这是某个问题下从服务器返回的数据,可以根据需求手动修改GetContent.py文件中parserQuestion()方法中保存类别的信息

发表评论

表情:
评论列表 (有 0 条评论,403人围观)

还没有评论,来说两句吧...

相关阅读