PHP使用CURL_MULTI实现多线程采集的例子

雨点打透心脏的1/2处 2022-07-12 09:45 178阅读 0赞

这两天有一客户定制了一个免登录发布模块，因为在模块中需要涉及到很多图片下载的问题，考虑到性能问题，所以特别写了一个CURL\_MULTI远程采集网页的函数，以方便以后使用，估计以后都不会使用原来的单线程curl函数去foreach了，其性能对比很明显的。同样获取我的博客的十个不同网页，curl\_multi:4.5246081352234，file\_get\_contents:33.001797914505，将近8倍的效率，可想而知，如果在附件更多的情况下，性能差异就越明显了，希望对您有所帮助！

<?php $text = remote(array('http://www.jb51.net/','http://www.baidu.com/')); print_r($text); function remote($urls) { if (!is_array($urls) or count($urls) == 0) { return false; } $curl = $text = array(); $handle = curl_multi_init(); foreach($urls as $k => $v) { $nurl[$k]= preg_replace('~([^:\/\.]+)~ei', "rawurlencode('\\1')", $v); $curl[$k] = curl_init($nurl[$k]); curl_setopt($curl[$k], CURLOPT_RETURNTRANSFER, 1); curl_setopt($curl[$k], CURLOPT_HEADER, 0); curl_multi_add_handle ($handle, $curl[$k]); } $active = null; do { $mrc = curl_multi_exec($handle, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); while ($active && $mrc == CURLM_OK) { if (curl_multi_select($handle) != -1) { do { $mrc = curl_multi_exec($handle, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); } } foreach ($curl as $k => $v) { if (curl_error($curl[$k]) == "") { $text[$k] = (string) curl_multi_getcontent($curl[$k]); } curl_multi_remove_handle($handle, $curl[$k]); curl_close($curl[$k]); } curl_multi_close($handle); return $text; }

发表评论取消回复

表情：

评论列表（有 0 条评论，178人围观）

还没有评论，来说两句吧...

相关阅读

相关多线程编程 - PHP 实现

前言前些天帮同事查一个问题，第一次接触到了 PHP 的多线程，原以为 PHP 普遍都是单线程模型，并不适合多线程领域，花些时间翻了几个多线程的项目源码之后，发现 P...

淡淡的烟草味﹌/ 2024年04月17日 05:43/ 0 赞/ 31 阅读

相关 PHP使用CURL MULTI实现并发采集的例子

在本文中，我们将介绍如何使用PHP的CURL MULTI功能来实现并发采集。CURL MULTI是一个强大的工具，可以让我们同时发起多个HTTP请求，并在它们完成时获取结果。这

傷城~/ 2024年02月27日 03:49/ 0 赞/ 13 阅读

相关使用PHP pthreads实现多线程

多线程在编程中起着重要的作用，能够充分利用多核处理器的优势，提高程序的并发性和性能。在PHP中，我们可以使用pthreads扩展来实现多线程编程。本文将介绍如何安装和使用pth

短命女/ 2024年02月26日 05:53/ 0 赞/ 21 阅读

相关 PHP多线程的实现（PHP多线程类）

PHP多线程的实现（PHP多线程类）通过WEB服务器来实现PHP多线程功能。当然，对多线程有深入理解的人都知道通过WEB服务器实现的多线程只能模仿多线程的一些效果，

快来打我*/ 2022年09月19日 04:15/ 0 赞/ 171 阅读

相关多线程实现消费者生产者的例子

今天看书，看了一个例子，于是自己手动的自己敲了一下。。。但是，期望的结果和理论结果是不一样的，求解答啊。。。上源代ma \[cpp\] [view plain][]

不念不忘少年蓝@/ 2022年08月23日 08:29/ 0 赞/ 161 阅读

相关多线程采集的核心代码

多线程采集的核心代码 /// <summary> /// 采集进程记录 /// </s

今天药忘吃喽~/ 2022年07月14日 07:25/ 0 赞/ 145 阅读

相关 PHP使用CURL_MULTI实现多线程采集的例子

这两天有一客户定制了一个免登录发布模块，因为在模块中需要涉及到很多图片下载的问题，考虑到性能问题，所以特别写了一个CURL\_MULTI远程采集网页的函数，以方便以后使用，估计

雨点打透心脏的1/2处/ 2022年07月12日 09:45/ 0 赞/ 179 阅读

相关 PHP实现多进程,多线程

菜鸟须知: 孤儿进程：一个父进程退出，而它的一个或多个子进程还在运行，那么那些子进程将成为孤儿进程。孤儿进程将被init进程(进程号为1)所收养，并由init进程对它们完成状

太过爱你忘了你带给我的痛/ 2022年05月26日 13:19/ 0 赞/ 176 阅读

相关多线程：守护线程———特殊的例子

ava分为两种线程：用户线程和守护线程所谓守护线程是指在程序运行的时候在后台提供一种通用服务的线程，比如垃圾回收线程就是一个很称职的守护者，并且这种线程并不属于程序中不可或

约定不等于承诺〃/ 2022年02月26日 04:06/ 0 赞/ 200 阅读

相关 PHP 实现-多线程编程

前些天帮同事查一个问题，第一次接触到了 PHP 的多线程，原以为 PHP 普遍都是单线程模型，并不适合多线程领域，花些时间翻了几个多线程的项目源码之后，发现 PHP 的多线程也

左手的ㄟ右手/ 2021年09月20日 08:22/ 0 赞/ 343 阅读