PHP使用CURL_MULTI实现多线程采集的例子

雨点打透心脏的1/2处 2022-07-12 09:45 195阅读 0赞

这两天有一客户定制了一个免登录发布模块，因为在模块中需要涉及到很多图片下载的问题，考虑到性能问题，所以特别写了一个CURL\_MULTI远程采集网页的函数，以方便以后使用，估计以后都不会使用原来的单线程curl函数去foreach了，其性能对比很明显的。同样获取我的博客的十个不同网页，curl\_multi:4.5246081352234，file\_get\_contents:33.001797914505，将近8倍的效率，可想而知，如果在附件更多的情况下，性能差异就越明显了，希望对您有所帮助！

<?php $text = remote(array('http://www.jb51.net/','http://www.baidu.com/')); print_r($text); function remote($urls) { if (!is_array($urls) or count($urls) == 0) { return false; } $curl = $text = array(); $handle = curl_multi_init(); foreach($urls as $k => $v) { $nurl[$k]= preg_replace('~([^:\/\.]+)~ei', "rawurlencode('\\1')", $v); $curl[$k] = curl_init($nurl[$k]); curl_setopt($curl[$k], CURLOPT_RETURNTRANSFER, 1); curl_setopt($curl[$k], CURLOPT_HEADER, 0); curl_multi_add_handle ($handle, $curl[$k]); } $active = null; do { $mrc = curl_multi_exec($handle, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); while ($active && $mrc == CURLM_OK) { if (curl_multi_select($handle) != -1) { do { $mrc = curl_multi_exec($handle, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); } } foreach ($curl as $k => $v) { if (curl_error($curl[$k]) == "") { $text[$k] = (string) curl_multi_getcontent($curl[$k]); } curl_multi_remove_handle($handle, $curl[$k]); curl_close($curl[$k]); } curl_multi_close($handle); return $text; }

发表评论取消回复

表情：

评论列表（有 0 条评论，195人围观）

还没有评论，来说两句吧...

相关阅读

相关 Pyhton多线程采集图片

前言需要大量图片做数据采集是，这个时候就需要用到python获取图片，本篇以python多线程获取图片为例。一、查看页面元素查看页面源代码。 ![在这里

小灰灰/ 2024年03月31日 11:35/ 0 赞/ 72 阅读

相关 PHP多线程的实现（PHP多线程类）

PHP多线程的实现（PHP多线程类）通过WEB服务器来实现PHP多线程功能。当然，对多线程有深入理解的人都知道通过WEB服务器实现的多线程只能模仿多线程的一些效果，

快来打我*/ 2022年09月19日 04:15/ 0 赞/ 196 阅读

相关多线程实现消费者生产者的例子

今天看书，看了一个例子，于是自己手动的自己敲了一下。。。但是，期望的结果和理论结果是不一样的，求解答啊。。。上源代ma \[cpp\] [view plain][]

不念不忘少年蓝@/ 2022年08月23日 08:29/ 0 赞/ 181 阅读

相关 java多线程例子

这里我们做一个完整的例子来说明线程产生的方式不同而生成的线程的区别： package debug; import java.io.; im

偏执的太偏执、/ 2022年08月10日 12:45/ 0 赞/ 163 阅读

相关多线程采集的核心代码

多线程采集的核心代码 /// <summary> /// 采集进程记录 /// </s

今天药忘吃喽~/ 2022年07月14日 07:25/ 0 赞/ 182 阅读

相关 PHP使用CURL_MULTI实现多线程采集的例子

这两天有一客户定制了一个免登录发布模块，因为在模块中需要涉及到很多图片下载的问题，考虑到性能问题，所以特别写了一个CURL\_MULTI远程采集网页的函数，以方便以后使用，估计

雨点打透心脏的1/2处/ 2022年07月12日 09:45/ 0 赞/ 196 阅读

相关 PHP实现多进程,多线程

菜鸟须知: 孤儿进程：一个父进程退出，而它的一个或多个子进程还在运行，那么那些子进程将成为孤儿进程。孤儿进程将被init进程(进程号为1)所收养，并由init进程对它们完成状

太过爱你忘了你带给我的痛/ 2022年05月26日 13:19/ 0 赞/ 201 阅读

相关 TensorFlow多线程例子

-- coding: utf-8 -- import numpy as np import tensorflow as tf import t

分手后的思念是犯贱/ 2022年05月14日 09:00/ 0 赞/ 190 阅读

相关多线程：守护线程———特殊的例子

ava分为两种线程：用户线程和守护线程所谓守护线程是指在程序运行的时候在后台提供一种通用服务的线程，比如垃圾回收线程就是一个很称职的守护者，并且这种线程并不属于程序中不可或

约定不等于承诺〃/ 2022年02月26日 04:06/ 0 赞/ 238 阅读

相关 PHP 实现-多线程编程

前些天帮同事查一个问题，第一次接触到了 PHP 的多线程，原以为 PHP 普遍都是单线程模型，并不适合多线程领域，花些时间翻了几个多线程的项目源码之后，发现 PHP 的多线程也

左手的ㄟ右手/ 2021年09月20日 08:22/ 0 赞/ 369 阅读