Python Queue模块怎么用？附多线程应用实例
在Python开发中，多线程任务的同步与数据传递一直是开发者关注的焦点。Queue模块作为Python标准库中专门解决线程间通信的工具，以其线程安全的特性，成为多线程编程的“必备神器”。
一、Queue模块的核心基础用法
Queue模块的核心是FIFO（先进先出）队列，适用于多线程间的数据传递，其线程安全的特性可避免手动加锁的繁琐。 使用前无需额外安装，直接导入即可：`from queue import Queue`。 基础操作包括：`put()`向队列添加元素、`get()`取出元素、`qsize()`获取队列大小、`empty()`判断队列是否为空、`full()`判断队列是否已满。需注意，若队列已满时调用`put(block=False)`或队列为空时调用`get(block=False)`，会触发`Full`或`Empty`异常，可通过异常捕获或`block`参数控制阻塞行为。
二、多线程应用实例：批量数据爬取
以热门的批量数据爬取场景为例，多线程爬取可大幅提升效率，而Queue可完美协调生产者（爬虫线程）与消费者（数据处理线程）的工作。 实现逻辑为：主线程先将待爬取的URL放入队列，同时创建多个爬虫线程（生产者）和数据处理线程（消费者）；爬虫线程从队列中取出URL爬取数据后，将结果存入结果队列；数据处理线程从结果队列取出数据并进行清洗、存储。 代码示例核心部分如下： python import threading from queue import Queue import requests
url_queue = Queue() # 待爬取URL队列 result_queue = Queue() # 结果队列
生产者：爬虫线程
def spider(): while True: url = url_queue.get() try: res = requests.get(url, timeout=5) result_queue.put(res.text) finally: url_queue.task_done() # 标记任务完成
消费者：数据处理线程
def process(): while True: data = result_queue.get()
此处添加数据清洗、存储逻辑
print("处理数据：", data[:20]) result_queue.task_done()
初始化任务
for url in ["https://example1.com", "https://example2.com"]: url_queue.put(url)
启动线程
for _ in range(2): threading.Thread(target=spider, daemon=True).start() for _ in range(2): threading.Thread(target=process, daemon=True).start()
等待所有任务完成
url_queue.join() result_queue.join() 该实例中，Queue既避免了线程间数据竞争，又实现了任务的有序调度，是多线程协作的经典应用。
三、常见问题解答
1. **Q：Queue模块是否支持其他队列类型？** A：支持，除了FIFO的Queue，还有LIFO（后进先出）的LifoQueue和优先级队列PriorityQueue，可根据场景选择。 2. **Q：多线程中使用Queue是否还需要加锁？** A：不需要，Queue内部已实现线程安全的同步机制，可直接在多线程环境中安全使用。 3. **Q：Queue的join()方法作用是什么？** A：join()会阻塞主线程，直到队列中所有元素都被取出并调用task_done()，确保所有任务完成后主线程才继续执行。
掌握Queue模块的用法，可轻松解决多线程开发中的通信与同步问题，让多线程应用更高效、更稳定。
