MinerU:快速把 PDF 和 Office 文档转成 LLM 可用的 Markdown,4 条路径覆盖纯 CPU 到多卡环境

发布时间:2026/8/29 10:16:41
MinerU:快速把 PDF 和 Office 文档转成 LLM 可用的 Markdown,4 条路径覆盖纯 CPU 到多卡环境 MinerU快速把 PDF 和 Office 文档转成 LLM 可用的 Markdown4 条路径覆盖纯 CPU 到多卡环境【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerUMinerU 是一个开源文档解析工具把 PDF、图片、DOCX、PPTX、XLSX 转成结构化 Markdown 和 JSON公式还原成 LaTeX表格转 HTML自动去除页眉页脚和页码输出可直接喂给 LLM、RAG 管线。这篇文章按本机快速跑通、有显卡要加速、没显卡走远程、多机分摊任务四种环境分别给出最短路径并说明首次运行出错时该查哪里。一、本机第一次跑通装依赖、解析一个文件、核对输出用一行命令装好依赖先装 uv比 pip 更快的包管理器再装 core 依赖它包含 VLM 和 pipeline 两种解析后端不含 vllmuv pip install mineru[core]机器有 8G 以上显存的 NVIDIA 显卡时直接装全量更省事uv pip install mineru[all]解析第一个 PDF首次运行会自动下载模型并缓存所以第一遍会比较慢。默认后端是 hybrid-engine大模型 VLM 加小模型分工协作没有显卡就加-b pipeline走纯 CPU 路线mineru -p demo/pdfs/demo1.pdf -o output注mineru命令在不传--api-url时会先自动拉起一个本地临时的 mineru-api 服务再执行解析首次运行感觉慢是正常的属预期行为。输出目录里会生成 Markdown、按阅读顺序排列的 JSON 和图片裁剪文件。对照下图的版面框选结果可以确认文本块、表格、公式是否都识别到位整条链路是输入文档 → 版面识别 → 内容抽取文本 / 公式 / 表格→ Markdown 与 JSON 输出模型下载不下来怎么办模型默认从 HuggingFace 拉取国内网络不通时切换到 ModelScope 源export MINERU_MODEL_SOURCEmodelscope二、显存 8G 以上的显卡怎么用上显卡是 Volta 及以后架构例如 V100、20/30/40 系且显存 8G 起时VLM 引擎能给到最高解析精度。Linux 下安装 vllm 推理框架高吞吐大模型推理引擎uv pip install mineru[core,vllm]注vllm 和 lmdeploy 二选一不建议同时安装Windows 用户选 lmdeploy。装完直接跑解析命令即可无需额外配置mineru -p input.pdf -o output -b hybrid-engine精度不够时加--effort high切换高强度解析默认 medium 档更快但不支持图片/图表分析。自动检测显存不准时可用环境变量覆盖export MINERU_DEVICE_MODEcuda export MINERU_VIRTUAL_VRAM_SIZE16三、没有显卡轻量客户端连远程服务机器只有 CPU 和网络时装基础包即可不含 torch很轻重计算放到远端。在一台有显卡的机器上启动 OpenAI 兼容推理服务mineru-openai-server --port 30000CPU 机器上装轻量客户端并指定服务地址uv pip install mineru mineru -p input.pdf -o output -b vlm-http-client -u http://server-ip:30000如果远端跑的是通用 API 服务而非 VLM 端点用 mineru-api 配合--api-url直连mineru-api --host 0.0.0.0 --port 8000 mineru -p input.pdf -o output --api-url http://server-ip:8000四、多 GPU 或多台机器怎么分摊任务批量生产环境用mineru-router做统一入口它会自动按本地 GPU 拉起 worker或聚合多个已有 mineru-api 实例做负载均衡mineru-router --host 0.0.0.0 --port 8002 --local-gpus auto已有服务可以显式指定上游mineru-router --port 8002 \ --upstream-url http://gpu-1:8000 \ --upstream-url http://gpu-2:8000接口与 mineru-api 完全一致支持POST /tasks异步提交和POST /file_parse同步解析客户端只需要把入口地址换过来。五、首次运行常见的三个坑查哪里Linux 上结果缺字、中文显示异常多数不是解析问题而是系统缺 CJK 字体导致 PDF 渲染成图片时丢字。安装fonts-noto-cjk后执行fc-cache -fv即可详见 FAQdocs/zh/faq/index.md。⚠️显存不够或推理慢改-b pipeline回退到 CPU 可用方案精度略低4G 显存即可客户端模式想压显存调小MINERU_HYBRID_BATCH_RATIO8G 设 8、4G 设 4、2G 设 1。模型下载失败或超时先确认MINERU_MODEL_SOURCE设置正确第二次运行起直接走本地缓存。指定本地模型目录的方法在docs/zh/usage/model_source.md。更多参数跑mineru --help可看全量选项环境变量完整列表在docs/zh/usage/cli_tools.md。按自己的环境选定一条部署路径后就可以把解析产物接进自己的 RAG 或 Agent 流程了。【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerU创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考