Scrapy+MongoDB爬虫路线笔记(1)-环境配置

刺骨的言语ヽ痛彻心扉 2022-04-22 04:30 106阅读 0赞

# 1.环境配置 #

【1】Scrapy1.5版本的[官方文档][Link 1]：阅读官方文档是最简单、最直接、最准确的方法，可以绕过一些过时博客的坑。  
【2】Ubuntu16.04系统下Python版本切换的[博客][Link 2]：亲测该文档的教程可以将2.7版本升级到3.5  
【3】独立Python运行环境设置virtualenv，参考简单明了的[廖雪峰博客][Link 3]，也可以参考它的[官方文档][Link 4]，内容比较全。

--------------------

virtualenv是创建孤立的Python环境的工具[参考1][1]

安装：  
`pip install virtualenv`  
创建环境：  
`virtualenv env # 这样会创建一个env文件夹`

指定Python版本创建环境：（前提已经安装python3）  
`virtualenv -p /usr/bin/python3 virpy3`

进入文件夹开启虚拟环境：  
`source bin/activate`

退出虚拟环境：  
`deactivate`

--------------------

在virtualEnv中使用Scrapy[步骤][Link 5]：  
1.首先要完成virtualenv的安装，并在指定的文件夹中创建环境，环境创建之后，开启虚拟环境。  
此时，在ubuntu提示符之前会出现(env)的标识，表明此时进入了独立的python环境。

在该环境中可以进行任何安装，都是独立的。例如安装Scrapy官方文档中提到的一些依赖库  
`$sudo apt-get install python3 python3-dev`

`$ pip install scrapy`

--------------------

# 2.代码要点 #

【1】a bytes-like object is required,not ‘str’；该问题主要是由于python3和python2区别造成的  
[https://blog.csdn.net/csu\_vc/article/details/78372932][https_blog.csdn.net_csu_vc_article_details_78372932]

【2】Python3.6 报错AttributeError: module ‘urllib’ has no attribute ‘Request’；；该问题主要是由于python3和python2区别造成的  
[https://blog.csdn.net/supramolecular/article/details/79692918][https_blog.csdn.net_supramolecular_article_details_79692918]

【3】Python基础学习-‘module’ object has no attribute 'urlopen’解决方法  
[https://blog.csdn.net/dai\_fun/article/details/49887557][https_blog.csdn.net_dai_fun_article_details_49887557]

【4】URL中中文编码的问题  
[https://blog.csdn.net/qq\_39377696/article/details/80454950][https_blog.csdn.net_qq_39377696_article_details_80454950]

[Link 1]: https://docs.scrapy.org/en/latest/
[Link 2]: https://www.cnblogs.com/wmr95/p/7637077.html
[Link 3]: https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001432712108300322c61f256c74803b43bfd65c6f8d0d0000
[Link 4]: https://virtualenv.pypa.io/en/stable/installation/
[1]: https://blog.csdn.net/xuqi7/article/details/79008434
[Link 5]: https://blog.csdn.net/qq_24683561/article/details/54139501
[https_blog.csdn.net_csu_vc_article_details_78372932]: https://blog.csdn.net/csu_vc/article/details/78372932
[https_blog.csdn.net_supramolecular_article_details_79692918]: https://blog.csdn.net/supramolecular/article/details/79692918
[https_blog.csdn.net_dai_fun_article_details_49887557]: https://blog.csdn.net/dai_fun/article/details/49887557
[https_blog.csdn.net_qq_39377696_article_details_80454950]: https://blog.csdn.net/qq_39377696/article/details/80454950