把 PDF、网页、电子书喂给大模型,第一步往往是「先变成干净的 Markdown」。但扫描件、复杂表格、公式、多栏排版,常规工具一碰就乱,出来的文本错行错位,RAG 直接废。MinerU(OpenDataLab 团队)专门解决这个:它用深度学习做版面检测与 OCR,把各种文档高质量转成 Markdown/JSON,连公式和表格都尽量保真,是中文圈里把「文档入场」做扎实的开源工具。
对做知识库、智能问答、论文分析的团队来说,文档清洗往往是最大的隐性成本。MinerU 把这道工序标准化:上传一份 PDF,出来的就是结构清晰、可溯源的 Markdown 与坐标信息,能直接进 RAG 管线,省去大量人工校对。
项目基本信息
| 信息项 | 详情 |
|---|---|
| 项目名称 | MinerU |
| GitHub地址 | https://github.com/opendatalab/MinerU |
| 项目描述 | Transforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows. |
| 作者 | opendatalab |
| 开源协议 | Apache-2.0(含附加商业条款) |
| 开源状态 | 公开 |
| Languages | Python |
| Stars | 82,554 |
| Forks | 6,821 |
| 支持平台 | Windows / macOS / Linux |
| 最后更新 | 2026-10-26 |
一、项目介绍
MinerU 是 OpenDataLab 开源的文档提取工具,把 PDF、网页、电子书等高质量转换为 Markdown 与结构化 JSON。它基于深度学习做版面分析、公式识别与 OCR,并提供 Python SDK、命令行、批量转换服务与 Gradio WebUI,方便接入 RAG 与智能问答。
二、核心优势
- 深度文档理解:版面、表格、公式尽量保真。
- 多形态交付:Python SDK、CLI、API 服务、WebUI 一应俱全。
- 模型可配:小模型用 ONNX/Torch,VLM 用 llama.cpp/vLLM/LMDeploy。
- 长文档友好:分块续接,不必整篇塞进上下文。
- 生态接驳:直接对接 RAG 与本地问答场景。
三、适用场景
- 构建知识库与 RAG 前的文档清洗。
- 论文、合同、报告的结构化提取。
- 扫描件数字化与 OCR。
- 让 AI 读本地文档并问答。
四、安装教程
需要 Python 环境,安装完整版:
pip install -U "magic-pdf[full]"
mineru --install-deps--install-deps 会拉取模型权重。常见报错:依赖装不全——务必用 [full];模型缺失——执行 --install-deps;CUDA 报错——CPU 也能跑,按需装 GPU 版。
五、使用示例
转换一份本地 PDF:
mineru -p input.pdf -o ./output产物包含 Markdown 与 JSON,保留识别出的块与坐标,可直接喂给 RAG 管线,无需再人工校对版式。
六、常见问题
- 支持哪些格式?PDF、网页、电子书、图片等。
- 需要 GPU 吗?CPU 可跑,GPU 更快。
- 商用有限制吗?基于 Apache-2.0 但有附加商业条款,超高规模需单独授权。
- 和常规 PDF 解析比?复杂版式与公式还原度显著更高。
七、总结
MinerU 把「文档变成干净上下文」这件脏活累活做扎实了。它是中文场景下构建文档型 AI 应用最值得采用的开源提取工具之一。
评论 0
还没有评论,来说两句吧。