【D】前言：linux安装mysql/scrapy/splash环境

「爱情、让人受尽委屈。」 2022-05-17 03:47 123阅读 0赞

linux入门教程：  
[史上最牛的Linux视频教程][Linux]

# 1 安装mysql #

--------------------

1.  安装mysql
    
    > 参考：[CentOS第一次安装MySQL的完整步骤][CentOS_MySQL]  
    > 修改密码：[解决MySQL8.0报错：Unknown system variable ‘validate\_password\_policy’][MySQL8.0_Unknown system variable _validate_password_policy]
2.  安装图形界面  
    下载：`wget http://dev.mysql.com/get/mysql-workbench-community-8.0.12-1.el7.x86_64.rpm`  
    安装：`sudo yum localinstall mysql-workbench-community-8.0.12-1.el7.x86_64.rpm`  
    报错：`缺少 proj` 参考：[在CentOS7上安装MySQL Workbench][CentOS7_MySQL Workbench]
    
    > 参考：[Linux下使用图形化工具][Linux 1]
3.  workbeach使用方法：
    
    > 参考：  
    > [利用MySQL Workbench创建数据库和表][MySQL Workbench]  
    > [workbench PK.NN等的意思][workbench PK.NN]  
    > [MySQL 日期类型及默认设置][MySQL]

# 2 数据库远程连接 #

--------------------

1.  创建远程连接用户  
    CREATE USER ‘test’@’%’ IDENTIFIED BY ‘123’;  
    GRANT ALL ON con\_test.\* TO ‘test’@’%’;
    
    > 参考：[MySQL workbench创建用户与授权][MySQL workbench]
    
    1.  局域网访问 [mysql如何修改开启允许远程连接][mysql]

# 3 安装scrapy环境 #

--------------------

1.  下载anaconda安装包  
    下载——配置路径（`$sudo gedit /etc/profile`）——重启
    
    > 参考：[anaconda在Linux下的安装][anaconda_Linux]
2.  安装 scrapy `conda install scrapy`

# 4 安装splash环境 #

--------------------

由于splash依赖于docker，需要先安装docker

1.  安装docker `sudo yum install docker`  
    安装docker —— docker加速 —— docker启动 ——输入指令
    
    > 参考：  
    > [yum安装Docker及入门使用][yum_Docker]  
    > [Docker 命令大全][Docker]  
    > [docker更换为国内镜像][docker]
2.  安装splash `sudo docker pull scrapinghub/splash`
3.  运行docker`sudo service docker start`
4.  运行splash `sudo docker run -p 8050:8050 scrapinghub/splash`
5.  验证splash运行情况，浏览器输入`http://localhost:8050`，成功
6.  安装python库的 scrapy-splash `pip install scrapy-splash`

# 5 安装scrapyd环境 #

--------------------

功能：在网页上控制、监测爬虫

## 5.1 安装scrapyd ##

1.  linux安装 `pip install scrapyd`
2.  添加配置文件
    
    > 参见：[芝麻HTTP：Scrapyd的安装][HTTP_Scrapyd]  
    > linux vi用法参见： [linux系统中如何进入退出vim编辑器，方法及区别][linux_vim]
3.  后台运行 `(scrapyd > /dev/null &)`
4.  访问认证 `conda install nginx`

http {
        server {
            listen 6801;
            location / {
                proxy_pass    http://127.0.0.1:6800/;
                auth_basic    "Restricted";
                auth_basic_user_file    /etc/nginx/conf.d/.htpasswd;
            }
        }
    }

## 5.2 Scrapyd-Client安装 ##

1.  安装 `pip3 install scrapyd-client`

## 5.3 scrapyd API 安装 ##

1.  安装`pip install python-scrapyd-api`
2.  安装完后，可以使用python获取主机状态

from scrapyd_api import ScrapydAPI
    scrapyd = ScrapydAPI('http://localhost:6800')
    print(scrapyd.list_projects())

# 问题 #

--------------------

## 问题1： ##

*  描述：代码完全照书上来的，没报错，但也抓不下来数据

class BookspiderSpider(scrapy.Spider):
        name = 'bookspider'
        allowed_domains = ["search.jd.com"]
        base_url = 'https://search.jd.com/Search?keyword=湖南文艺出版社&enc=utf-8&wq=湖南文艺出版社'
    
        def star_requsts(self):
            yield Request(self.base_url, callback=self.parse_urls, dont_filter=True)
            ......

*  症结：base\_url的问题，后面self.base\_url没用，所以抓不到数据

# 改
    class BookspiderSpider(scrapy.Spider):
        name = 'bookspider'
        allowed_domains = ["search.jd.com"]
        start_urls = ['https://search.jd.com/Search?keyword=湖南文艺出版社&enc=utf-8&wq=湖南文艺出版社']
    
        def parse(self, response):
            ......

*  延伸：`看看python类中的全局变量`

## 问题2 ##

*  描述：利用splash 抓取JD，只能抓到30个数据（应该有60个），说明动态渲染出了问题
 *  怀疑：
    
     *  ① splash 出了问题。（利用requests + splash测试）可能性小
     *  ② scrapy-splash 出了问题。 （利用scrapy\_splash.SplashRequest测试）可能性小
     *  ③ setting、spider 代码出了问题？
 *  解决过程：抓了3页，发现只有30个Item，就算splash配置错了，也应该是90个Item呀，推测页面拼接出了问题。
 *  症结：spider网页拼接出错

# 修改后
    # -*- coding: utf-8 -*-
    import scrapy
    from scrapy_splash import SplashRequest
    
    lua_script = ''' function main(splash) splash:go(splash.args.url) splash:wait(2) splash:runjs("document.getElementsByClassName('page clearfix')[0].scrollIntoView(true)") splash:wait(2) return splash:html() end '''
    class JDBookSpider(scrapy.Spider):
        name = 'jd_book'
        allowed_domains = ["search.jd.com"]
        start_urls = ['https://search.jd.com/Search?keyword=湖南文艺出版社&enc=utf-8&wq=湖南文艺出版社']
    
        def start_requests(self):
            url0 ='https://search.jd.com/Search?keyword=湖南文艺出版社&enc=utf-8&wq=湖南文艺出版社&page='
            for i in range(1):
                url = url0 + str(2*i+1)
                yield SplashRequest(url, 
                    endpoint='execute',
                    args={
       'lua_source':lua_script},
                    cache_args=['lua_source'],
                    )
    
        def parse(self, response):
            for sel in response.css('ul.gl-warp.clearfix >li.gl-item'):
                yield {
                        'name':sel.css('div.p-name').xpath('string(.//em)').extract_first(),
                        'price':sel.css('div.p-price i::text').extract_first(),
                        }

# mysql数据库 #

# 其他 #

1.    
    
2.  centos安装工具不是apt-get，而是yum
3.  安装vim

> 参考：  
> [linux 下vim的使用（学习必看！！重要）][linux _vim]  
> [LINUX操作系统VIM的安装和配置][LINUX_VIM]

[Linux]: https://www.bilibili.com/video/av18156598/?p=10
[CentOS_MySQL]: https://www.cnblogs.com/silentdoer/articles/7258232.html
[MySQL8.0_Unknown system variable _validate_password_policy]: https://blog.csdn.net/HaHa_Sir/article/details/80552663
[CentOS7_MySQL Workbench]: https://blog.csdn.net/zzpzheng/article/details/48575963
[Linux 1]: https://www.linuxidc.com/Linux/2015-06/118366.htm
[MySQL Workbench]: https://jingyan.baidu.com/article/c843ea0b81786d77931e4a95.html
[workbench PK.NN]: https://blog.csdn.net/miehuo/article/details/7725370
[MySQL]: https://www.cnblogs.com/caicaizi/p/7813518.html
[MySQL workbench]: https://blog.csdn.net/nlznlz/article/details/54672997
[mysql]: https://www.cnblogs.com/gdsblog/p/7349551.html
[anaconda_Linux]: https://blog.csdn.net/u013069552/article/details/78349716
[yum_Docker]: https://www.cnblogs.com/twinhead/p/8290451.html
[Docker]: http://www.runoob.com/docker/docker-command-manual.html
[docker]: https://blog.csdn.net/s_lisheng/article/details/79871086
[HTTP_Scrapyd]: http://www.mamicode.com/info-detail-2192469.html
[linux_vim]: https://jingyan.baidu.com/article/495ba8410ff14d38b30ede01.html
[linux _vim]: https://blog.csdn.net/yangshuainan/article/details/78219604
[LINUX_VIM]: https://jingyan.baidu.com/article/046a7b3efd165bf9c27fa915.html