python 编写的DHT Crawler 网络爬虫

港控/mmm° 2022-05-14 03:27 172阅读 0赞

1、安装boost依赖和编译环境。

yum install -y boost boost-devel
    
    yum install -y make gcc gcc-c++ kernel-devel python-devel

2、装 libtorrent 的 python 绑定库

#下载到本地
    cd  /opt/software
    
    wget https://github.com/arvidn/libtorrent/releases/download/libtorrent-1_0_10/libtorrent-rasterbar-1.0.10.tar.gz
    
    
    #解压
    cd  /opt/software/libtorrent-rasterbar-1.0.10.tar.gz
    tar  -xf  libtorrent-rasterbar-1.0.10.tar.gz -C /opt
    
    
    #编译，安装，根据系统性能，虚拟机上时间有点长
    ./configure --disable-debug --with-boost-libdir=/usr/lib64 --disable-encryption --enable-python-binding
    make && make install
    
    
    #配置库文件环境变量
    export LD_LIBRARY_PATH=/usr/local/lib/
    
    #绑定
    cd bindings/python
    python setup.py build
    python setup.py install

3、安装 twisted 网络库

pip install twisted

4、开放防火墙的对应端口段，目前默认的是 32900--32920 (20是工作的p2p客户端数量)

这里我们的虚拟机的防火墙是关闭的状态。

5、运行方法

*  下载 collector.py collectord.py 文件到安装目录

git clone  https://github.com/blueskyz/DHTCrawler.git

*  脚本方式测试运行：

python collector.py result.json collector.state

*  服务方式运行：

twistd -y collectord.py

6、查看结果：

![70][]

![70 1][]

[70]: /images/20220514/dac54b2d341e46f3a34602df31107b2a.png
[70 1]: /images/20220514/8ca030b24ae84840b1fe18c6d9811cb1.png

发表评论取消回复

表情：

评论列表（有 0 条评论，172人围观）

还没有评论，来说两句吧...

相关阅读

相关爬虫Crawler - 学习笔记：selenium - FirefoxDriver

谷歌容易被反，用火狐能拿到 <dependency> <groupId>org.seleniumhq.selenium</groupId>

傷城~/ 2023年01月09日 15:32/ 0 赞/ 158 阅读

相关爬虫Crawler - 学习笔记：selenium

版本对应关系火狐 <table> <thead> <tr> <th>geckodriver</th> <th>firefox</th>

短命女/ 2023年01月02日 12:25/ 0 赞/ 147 阅读

相关 python网络爬虫入门小程序_python编写爬虫小程序的方法

\ coding:utf-8 import urllib domain = 'http://www.liaoxuefeng.com' \廖雪峰的域名 path = r'C

待我称王封你为后i/ 2022年10月28日 00:54/ 0 赞/ 195 阅读

相关数学之美系列 -- 图论和网络爬虫 (Web Crawlers)

数学之美系列 -- 图论和网络爬虫 (Web Crawlers) 发表者: 吴军，Google 研究员 \[[离散数学][Link 1]是当代数学的一个重要分支，

╰半橙微兮°/ 2022年09月18日 05:50/ 0 赞/ 148 阅读

相关 crawler4j爬虫入门

一、nutch和crawler4 nutch的人比较多，适合大规模海量数据的爬取。 crawler4j是一个短小精悍的爬虫。二、下载crawler4j源

电玩女神/ 2022年07月14日 12:09/ 0 赞/ 237 阅读

相关【Python】基于python的urllib库编写网络爬虫

1.前言基于python的urllib库编写爬虫爬取前程无忧招聘网站的招聘数据。 2.python代码 coding:utf-8 import

「爱情、让人受尽委屈。」/ 2022年06月12日 00:00/ 0 赞/ 238 阅读

相关 python 编写的DHT Crawler 网络爬虫

1、安装boost依赖和编译环境。 yum install -y boost boost-devel yum install -y make gcc

港控/mmm°/ 2022年05月14日 03:27/ 0 赞/ 173 阅读

相关 python3 编写原生爬虫 --爬虫入门

> 使用 python3 抓取,csdn [某篇文章][Link 1] 的标题,注释写的很全就不多废话了 coding=utf-8 from urllib i

「爱情、让人受尽委屈。」/ 2022年04月01日 03:40/ 0 赞/ 299 阅读

相关 Python网络爬虫

给大家分享一个网络爬虫的代码，可以作为我们学习Python的入门实例。代码： coding=utf-8 !/usr/bin/python

迷南。/ 2022年03月15日 15:40/ 0 赞/ 356 阅读

相关 Python网络爬虫

![u=2130802192,1597028528&fm=26&gp=0.jpg][u_2130802192_1597028528_fm_26_gp_0.jpg] Pytho

清疚/ 2022年01月11日 11:11/ 0 赞/ 370 阅读