问题场景有一批数据要下载I/O 密集再处理CPU 密集。串行做耗时 总下载 总处理资源利用率低。我们希望下载和处理在时间上重叠处理第 N 份时第 N1 份提前下载好。核心方案双线程池 有界阻塞队列架构路径列表 → [下载线程池] → 有界阻塞队列 → [处理线程池] → 结果下载线程往队列尾部塞原始数据。处理线程从队列头部取数据并处理。队列容量固定如maxsize2满了则下载端自动阻塞。关键代码骨架PythonfromqueueimportQueuefromthreadingimportThreadfromconcurrent.futuresimportThreadPoolExecutor queueQueue(maxsize2)# 有界队列defdownloader(paths):forpinpaths:datafetch(p)# 模拟下载queue.put((p,data))# 队列满时自动阻塞背压defprocessor():whileTrue:p,dataqueue.get()ifdataisNone:breakprocess(data)# 模拟处理queue.task_done()# 启动处理线程 下载线程池Thread(targetprocessor,daemonTrue).start()withThreadPoolExecutor(max_workers3)asexec:exec.submit(downloader,paths)核心认知①背压Backpressure背压就是下游给上游的动态流控信号。队列满了put()阻塞下载被迫慢下来避免内存爆掉。它不同于静态限流如 QPS 阈值背压是消费者实时反馈驱动的自适应调速。核心认知②为什么要设容量上限无界队列看起来方便但下载远快于处理时内存会持续膨胀最终 OOM。有界队列 阻塞写入本质上是用“阻塞”换“内存安全”。核心认知③背压 ≠ 流控但它是流控的一种优雅实现流控是广义概念包括限流、熔断、超时等。背压是其中基于反馈的动态控制方式。实践中背压保护内存但还要加超时保护如put(timeout5)防止处理端挂掉导致下载端永久死等。避坑速查要点建议队列容量设 2~5不要无限线程配比下载多开I/O 等待处理按 CPU 核数顺序要求给数据打下标配合暂存字典按序输出错误处理下载失败放异常对象不要放空数据优雅退出用“毒丸”None通知处理线程结束总结用有界阻塞队列连接下载与处理利用背压自动控制流速实现了资源利用最大化与内存安全的平衡。这是生产者-消费者模型在 I/O CPU 混合任务中的标准实践代码简单效果显著。