Python实现线程安全队列

川长思鸟来 2022-10-01 08:44 157阅读 0赞

最近学习spark，我主要使用pyspark api进行编程。

之前使用Python都是现学现用，用完就忘了也没有理解和记忆，因此这里把Python相关的知识也弥补和记录下来吧

多线程任务队列在实际项目中非常有用，关键的地方要实现队列的多线程同步问题，也即保证队列的多线程安全

例如：可以开多个消费者线程，每个线程上绑定一个队列，这样就实现了多个消费者同时处理不同队列上的任务

同时可以有多个生产者往队列发送消息，实现异步消息处理

先复习下**互斥量**和**条件变量**的概念：

互斥量(mutex)从本质上说是一把锁，在访问共享资源前对互斥量进行加锁，在访问完成后释放互斥量上的锁。对互斥量进行加锁以后，任何其他试图再次对互斥锁加锁的线程将会阻塞直到当前线程释放该互斥锁。如果释放互斥锁时有多个线程阻塞，所有在该互斥锁上的阻塞线程都会变成可运行状态，第一个变为运行状态的线程可以对互斥锁加锁，其他线程将会看到互斥锁依然被锁住，只能回去再次等待它重新变为可用。

条件变量(cond)是在多线程程序中用来实现”等待–》唤醒”逻辑常用的方法。条件变量利用线程间共享的全局变量进行同步的一种机制，主要包括两个动作：一个线程等待”条件变量的条件成立”而挂起；另一个线程使“条件成立”。为了防止竞争，条件变量的使用总是和一个互斥锁结合在一起。线程在改变条件状态前必须首先锁住互斥量，函数pthread\_cond\_wait把自己放到等待条件的线程列表上，然后对互斥锁解锁(这两个操作是原子操作)。在函数返回时，互斥量再次被锁住

**条件变量总是与互斥锁一起使用的**

Python的threading中定义了两种锁：threading.Lock和threading.RLock

两者的不同在于后者是可重入锁，也就是说在一个线程内重复LOCK同一个锁不会发生死锁，这与POSIX中的PTHREAD\_MUTEX\_RECURSIVE也就是可递归锁的概念是相同的, 互斥锁的API有三个函数，分别执行分配锁，上锁，解锁操作。

python的threading中的条件变量默认绑定了一个RLock，也可以在初始化条件变量的时候传进去一个自己定义的锁.

最后贴出我自己实现的简单线程安全任务队列

测试代码

转载于:https://juejin.im/post/5c7787def265da2ddb29785e

发表评论取消回复

表情：

评论列表（有 0 条评论，157人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java ConcurrentLinkedQueue队列线程安全操作

Java ConcurrentLinkedQueue队列线程安全操作代码示例： package async; import java.u

﹏ヽ暗。殇╰゛Y/ 2023年10月17日 11:58/ 0 赞/ 16 阅读

相关 Python-线程安全问题

Python-线程安全问题首先先看下面两个例子。 `用例1`（数据正确）： import threading from time import sl

Dear 丶/ 2023年06月30日 06:58/ 0 赞/ 45 阅读

相关大话线程安全与线程安全的实现方式

什么是线程安全 > 一个类可以被多个线程安全调用那么这个类就是线程安全的。根据线程共享数据的`安全程度`可以分为以下五类线程安全： 1. 不可变 2. 绝对线程

深藏阁楼爱情的钟/ 2023年01月16日 13:28/ 0 赞/ 154 阅读

相关 C++实现线程安全的队列

0.背景测试多线程共享操作同一个队列, 当使用\include<queue>原始的队列中queue<int>q时,没有发生问题,可以正常实现出入队. 当使用queue<

迈不过友情╰/ 2023年01月02日 02:28/ 0 赞/ 333 阅读

相关 python多线程队列爬虫流程图_Python+多线程+队列爬虫

Python+多线程+队列，爬虫例子 \ -\- coding: utf-8-\- import urllib2 import urllib import json

系统管理员/ 2022年10月27日 13:58/ 0 赞/ 250 阅读

相关 Python实现线程安全队列

最近学习spark，我主要使用pyspark api进行编程。之前使用Python都是现学现用，用完就忘了也没有理解和记忆，因此这里把Python相关的知识也弥补和记

川长思鸟来/ 2022年10月01日 08:44/ 0 赞/ 158 阅读

相关 C++实现线程安全的队列

C++标准库已经提供了std::queue这一队列容器，但不是线程安全的。std::queue这个容器已经提供了pop(),push(),empty()等这些读写操作容器的

一时失言乱红尘/ 2022年05月13日 12:46/ 0 赞/ 199 阅读

相关如何实现线程安全？

如何实现线程安全？ `1.对于线程不安全的对象我们可以通过如下方法来实现线程安全：` 1：加锁利用Synchronized或者ReenTrantLock来对不安

逃离我推掉我的手/ 2022年04月12日 07:58/ 0 赞/ 371 阅读

相关实现线程安全的队列Queue（Python）

关于队列用于存放多个元素，是存放各种元素的“池”。实现的基本功能获取当前队列元素数量-->往队列放入元素-->往队列取

忘是亡心i/ 2021年10月01日 05:46/ 0 赞/ 407 阅读

相关线程安全的并发队列

在并发编程中，我们可能经常需要用到线程安全的队列，java为此提供了两种模式的队列：阻塞队列和非阻塞队列。其中阻塞队列的典型例子是BlockingQueue，非阻塞队列的典型例

小鱼儿/ 2021年05月12日 11:55/ 0 赞/ 525 阅读