Portia可视化爬虫部署

柔情只为你懂 2022-06-06 01:26 269阅读 0赞

## 安装 ##

如果是 ubuntu14.04 可以参考  
[可视化爬虫Portia安装和部署踩过的坑][Portia]

如果是 ubuntu16.04 ，尝试过本地安装，但是因为老是提示 apt-get 安装错误：

Err:15 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main amd64 Packages
      404  Not Found
    Ign:16 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main i386 Packages
    Ign:17 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main all Packages
    Ign:18 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main Translation-en_US
    Ign:19 http://ppa.launchpad.net/beineri/opt-qt551-trusty/ubuntu xenial/main Translation-en

没办法，只能 docker 安装

sudo apt-get install docker.io
    sudo apt-get install python-pip
    pip install docker-compose
    
    启动 docker
    docker run -d -v /data/workspace/portia/portia_projects:/app/slyd/data:rw -p 9001:9001 --name portia-2.0.5 scrapinghub/portia:portia-2.0.5
    
    注意：
    其中的 /data/workspace/portia/portia_projects 路径是在本地的创建项目的文件夹
    而 /app/slyd/data 是 docker 运行中镜像内的文件夹路径

如果一切顺利，那么可以在 9001 端口看到网页

lsof -i:9001 查看 9001 端口
    COMMAND    PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
    docker-pr 5277 root    4u  IPv6 163606      0t0  TCP *:9001 (LISTEN)

参考：  
[博客][Link 1]

[Portia]: http://www.cnblogs.com/ginponson/p/7102411.html
[Link 1]: http://www.cnblogs.com/kfpa/p/Portia.html

发表评论取消回复

表情：

评论列表（有 0 条评论，269人围观）

还没有评论，来说两句吧...

相关阅读

相关 python爬虫实战——数据可视化

当涉及到Python爬虫和数据可视化的实战时，我们通常会使用爬虫库（如Requests或Scrapy）来从网页上获取数据，然后使用数据可视化库（如Matplotlib、Seab

曾经终败给现在/ 2024年03月23日 21:48/ 0 赞/ 50 阅读

相关 Redis可视化

Redis可视化工具是哪个在Protege中应该是不能编辑OWL代码的，只能由所创建的概念模型生成或导出OWL、RDF代码。如果想直接编辑OWL代码，可以使用其他的编辑

亦凉/ 2023年09月25日 11:03/ 0 赞/ 73 阅读

相关可视化-svg

svg特点 SVG 指可伸缩矢量图形 (Scalable Vector Graphics) SVG 用来定义用于网络的基于矢量的图形 SVG 使用 XM

我会带着你远行/ 2022年12月25日 08:57/ 0 赞/ 245 阅读

相关网络可视化

[caffe中如何可视化cnn各层的输出][caffe_cnn] [faster rcnn修改demo.py保存网络中

「爱情、让人受尽委屈。」/ 2022年07月13日 05:28/ 0 赞/ 440 阅读

相关 Portia可视化爬虫部署

安装如果是 ubuntu14.04 可以参考 [可视化爬虫Portia安装和部署踩过的坑][Portia] 如果是 ubuntu16.04 ，尝试过本地安装，但是

柔情只为你懂/ 2022年06月06日 01:26/ 0 赞/ 270 阅读

相关 mongo 可视化

最近想自己搭建一个个人博客，所以学了下mongodb，mongodb是用命令行输入的，有些人可能不太习惯，我自己找了下mongodb的一些可视化工具，发现了一款adminmon

旧城等待，/ 2022年03月29日 16:20/ 0 赞/ 311 阅读

相关 scrapy爬虫项目的部署以及可视化管理

一、介绍在这里使用的是scrapyd部署，scrapyd-deploy进行打包，spiderkeeper进行项目可视化管理。spiderkeeper是开源的spider

素颜马尾好姑娘i/ 2022年02月18日 23:07/ 0 赞/ 251 阅读

相关 python 可视化监控爬虫状态

今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可

忘是亡心i/ 2021年12月04日 00:19/ 0 赞/ 439 阅读

相关 python可视化

1. matplotlib画图 import numpy as np import matplotlib.pyplot as plt x=np.ara

ゝ一世哀愁。/ 2021年11月04日 13:38/ 0 赞/ 554 阅读

相关 kubernetes部署dashboard可视化插件

： \[centos@k8s-master ~\]$ vim dashboard-adminuser.yaml apiVersion: v1 kind: Servic

àì夳堔傛蜴生んèń/ 2021年10月13日 02:57/ 0 赞/ 418 阅读