人工智能大模型模型推理服务推理引擎本地部署模型量化【免费下载链接】lmdeployLMDeploy is a toolkit for compressing, deploying, and serving LLMs.项目地址https://gitcode.com/gh_mirrors/lm/lmdeploy点击查看免费下载自 LMDeploy 合并 PR2907 之后PyTorchEngine 正式废除了thread_safe模式转而要求用户通过**服务接口Restful API或协程coroutine**来获得高并发推理能力。本篇技术指南以官方文档 pytorch_multithread.md 为骨架结合仓库源码lmdeploy/pipeline.py、lmdeploy/messages.py、lmdeploy/pytorch/engine/engine_checker.py深入讲解为什么废除thread_safe、如何用asyncio协程实现高并发、以及当确实需要多线程时如何封装线程安全的推理服务并剖析其底层运行机制与性能代价。背景为何废除thread_safe模式在旧版本中PytorchEngineConfig提供过thread_safe参数允许引擎实例被多个线程同时调用。但从 PR2907 起这一模式被正式移除。废弃的核心原因在于线程安全需要引入加锁、队列同步等额外机制会拖慢引擎的主循环使推理性能变得不稳定而引擎内部本质上是单事件循环驱动的多线程直调并不能带来真正的并行收益反而徒增开销。这一点在源码中得到了直接印证。在 engine_checker.py 中引擎启动前的配置检查会显式拦截该参数if engine_config.thread_safe: self.log_and_exit( mod_nameEngine, messagethread safe mode is no longer supported.\n Read .../docs/en/advance/pytorch_multithread.md for more details., )而PytorchEngineConfig中的thread_safe字段见 messages.py默认False虽然为兼容性而保留但一旦置为True就会触发上述检查并直接退出从代码层面杜绝了该模式的使用。仓库中的基准测试脚本如 benchmark_guided.py、profile_pipeline_api.py也都以thread_safeFalse运行进一步印证了这一演进方向。因此官方给出的高并发路线是两条服务接口部署为 Restful Server 后由客户端并发请求与协程在单线程内用asyncio并发提交任务。推荐方案一用协程asyncio实现高并发协程方案的核心是Pipeline提供的异步推理能力。Pipeline内部维护了一个独立的事件循环线程_EventLoopThread并把推理任务以协程形式投递进去因此你可以在自己的asyncio事件循环中通过await并发调度多个推理请求由引擎统一批量处理。一个完整的协程并发示例模型可替换为任意本地或 HuggingFace 路径如Llama-3.2-1B-Instructimport asyncio from lmdeploy import pipeline, PytorchEngineConfig event_loop asyncio.new_event_loop() asyncio.set_event_loop(event_loop) model_path Llama-3.2-1B-Instruct pipe pipeline(model_path, backend_configPytorchEngineConfig()) async def _gather_output(): tasks [ pipe.async_batch_infer(Hakuna Matata), pipe.async_batch_infer(giraffes are heartless creatures), ] return await asyncio.gather(*tasks) output asyncio.run(_gather_output()) print(output[0].text) print(output[1].text)要点说明pipeline()创建的是Pipeline实例backend_configPytorchEngineConfig()指定使用 PyTorch 后端引擎pipe.async_batch_infer()是异步批量推理入口返回一个可await的协程asyncio.gather(*tasks)将多个请求并发投递到引擎由引擎内部完成动态批处理continuous batching吞吐与延迟都优于逐个串行调用在服务端场景如 FastAPI/uvicorn中直接把请求处理函数声明为async def并await推理即可天然获得高并发无需任何线程封装。从源码看Pipeline的推理请求会经过 pipeline.py 中的_infer逻辑它为每个请求创建asyncio任务并通过asyncio.Semaphore(self.backend_config.max_batch_size)见 pipeline.py对并发数做限流保证不会超出引擎的max_batch_size上限随后将协程经asyncio.run_coroutine_threadsafe投递到引擎专属事件循环执行。这意味着你无需关心并发上限与资源竞争框架已代为处理。推荐方案二多线程场景下的线程封装模式如果你确实需要以多线程而非协程的方式接入——例如上游业务本身就是多线程模型、无法轻易改造为异步——那么可以参照文档给出的封装范式线程内只做队列搬运真正的推理仍然通过协程在引擎事件循环中串行化执行。完整的可运行封装示例来自官方文档 pytorch_multithread.md此处补充注释说明import threading from queue import Queue import asyncio from lmdeploy import pipeline, PytorchEngineConfig model_path Llama-3.2-1B-Instruct async def _batch_infer(inque: Queue, outque: Queue, pipe): while True: if inque.empty(): await asyncio.sleep(0) # 让出事件循环避免忙等占用 CPU continue input inque.get_nowait() output await pipe.async_batch_infer(input) outque.put(output) def server(inques, outques): event_loop asyncio.new_event_loop() asyncio.set_event_loop(event_loop) pipe pipeline(model_path, backend_configPytorchEngineConfig()) for inque, outque in zip(inques, outques): event_loop.create_task(_batch_infer(inque, outque, pipe)) event_loop.run_forever() def client(inque, outque, message): inque.put(message) print(outque.get().text) inques [Queue(), Queue()] outques [Queue(), Queue()] t_server threading.Thread(targetserver, args(inques, outques)) t_client0 threading.Thread(targetclient, args(inques[0], outques[0], Hakuna Matata)) t_client1 threading.Thread(targetclient, args(inques[1], outques[1], giraffes are heartless creatures)) t_server.start() t_client0.start() t_client1.start() t_client0.join() t_client1.join()该模式的设计要点单线程推理 多线程 IOserver线程内只创建一个Pipeline实例和一个事件循环通过event_loop.create_task()为每个请求队列注册一个_batch_infer消费者任务再run_forever()常驻运行。所有推理请求都在这一条线程的事件循环中被调度执行天然避开了多线程同时触碰引擎的状态竞争问题队列作为线程间缓冲区client线程把消息放入inque异步消费者取出后await pipe.async_batch_infer(input)结果写入outque客户端再同步outque.get()取回。Queue自带线程安全语义无需额外加锁空队列让出控制权_batch_infer中通过inque.empty()await asyncio.sleep(0)实现非阻塞轮询避免占满事件循环导致其他任务饿死可水平扩展如果需要更多并发通道只需增加inques/outques中的队列数量并让server为每个队列创建对应的消费者任务即可。这种线程封装 协程内核的方案之所以可行从源码层面可以得到充分解释Pipeline本身依赖 pipeline.py 中的_EventLoopThread——一个持有独立asyncio事件循环的后台线程所有同步调用如pipeline.infer()都是通过asyncio.run_coroutine_threadsafe(coro, loop)把协程投递到该线程执行。也就是说Pipeline的设计天然把引擎事件循环与调用方线程解耦因此外部无论来自哪个线程最终推理都会收敛到引擎内部的事件循环上串行处理线程封装不会破坏引擎的状态一致性。重要警告多线程封装并不被鼓励官方文档明确给出了WARNING不鼓励这样实现多线程会带来额外的开销使得推理性能不稳定。原因在于每次线程间投递inque.put/outque.get与队列轮询都产生额外的调度与拷贝开销多线程间的 GIL 竞争、上下文切换会与推理计算争夺 CPU 资源引擎内部虽能保证串行调度但多线程模式无法获得比单线程协程并发更高的吞吐反而增加了延迟抖动。因此请把多线程封装当作兼容旧代码的过渡手段而不是首选方案。生产环境的推荐优先级始终是服务接口通过lmdeploy serve或lmdeploy.serve模块部署 Restful ServerOpenAI 兼容接口由 HTTP 客户端并发请求服务端天然支持高并发协程在单进程内使用asyncio.gather/async_batch_infer并发提交请求配合max_batch_size由引擎自动动态批处理多线程封装仅当上游必须使用多线程模型时才考虑且务必评估性能抖动带来的影响。实践建议与性能调优参考围绕上述方案结合实际使用场景给出几点可操作的调优建议并发上限控制PytorchEngineConfig.max_batch_size决定引擎单次处理的最大请求数协程并发量建议与其匹配。Pipeline内部已通过asyncio.Semaphore(max_batch_size)自动限流见 pipeline.py无需手工控制引擎参数按需配置创建PytorchEngineConfig()时可按需设置tp张量并行、cache_max_entry_countK/V cache 显存占比默认 0.8、session_len、dtype等参数完整参数说明见 messages.py 中PytorchEngineConfig的 docstring长连接服务场景若以 FastAPI 等异步框架提供推理服务直接在路由处理函数中await pipe.async_batch_infer(...)即可uvicorn的异步 worker 会自动把请求协程化避免开线程单实例多队列多线程封装时注意让所有消费者任务共享同一个pipe实例切勿在每个线程中各自创建Pipeline否则会重复加载模型并放大显存开销。总结LMDeploy 的 PyTorchEngine 通过废除thread_safe模式把高并发方案收敛为服务接口 / 协程 / 线程封装三档。官方强烈推荐前两者协程方案以Pipeline.async_batch_inferasyncio.gather为入口代码简洁、性能稳定且与引擎的动态批处理机制天然契合多线程封装方案则以队列搬运 单事件循环推理为范式能在不破坏引擎状态一致性的前提下兼容多线程业务但必须接受其额外开销与性能抖动。无论选择哪种方式理解Pipeline内部_EventLoopThread与事件循环投递机制pipeline.py都是正确设计并发推理架构的关键——引擎的事件循环模型正是以上所有并发方案能够成立的基础。赞分享人工智能大模型模型推理服务推理引擎本地部署模型量化【免费下载链接】lmdeployLMDeploy is a toolkit for compressing, deploying, and serving LLMs.项目地址https://gitcode.com/gh_mirrors/lm/lmdeploy点击查看免费下载相关推荐LMDeploy PyTorchEngine 并发推理指南thread_safe 移除后的协程与多线程实践LMDeploy PyTorchEngine 并发推理指南thread_safe 移除后的协程与多线程实践 导读 本文聚焦 LMDeploy 中 PyTorc人工智能大模型模型推理服务推理引擎本地部署模型量化easy-vibe 并发异步与多线程原理从进程、线程到协程的高并发实战指南easy vibe 并发异步与多线程原理从进程、线程到协程的高并发实战指南 本文是 Datawhale easy vibe 项目「服务端与后端」附录的核心章节教程文档DORA Python 节点内多线程并发读写实战reader 线程与 daemon 发布线程协同DORA Python 节点内多线程并发读写实战reader 线程与 daemon 发布线程协同 本篇文章围绕 examples/python concurr机器人人工智能ROS消息路由上一篇60fps动画加载革命Effeckt.css渐进式组件的性能优化实践下一篇Qlib 在 Windows 上多进程报 RuntimeErrorbootstrapping phase怎么解决创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考