Marker 把 PDF 快速、准确地转成 Markdown 与 JSON,专为喂给大模型的文档预处理而设计。
RAG 和文档问答的效果,往往卡在「PDF 解析得干不干净」这一步——标题层级乱了、表格散了、公式丢了,再强的模型也救不回。Marker 是 datalab-to 出的 PDF 转换工具,主打高准确率与速度:把 PDF 转成保留结构的 Markdown/JSON,正确处理标题、段落、列表、表格、公式、图片与阅读顺序。仓库 datalab-to/marker 以 Python 为主、Apache-2.0 许可,2026 年仍在活跃更新,星标约 4 万(以 GitHub 为准),官网 https://www.datalab.to 。
信息卡
- 项目名称:Marker
- 编程语言:Python
- 开源许可证:Apache-2.0
- GitHub 地址:https://github.com/datalab-to/marker
- 官网或 Demo:https://www.datalab.to
核心能力
结构化 Markdown 输出。 不是简单的文字抽取,而是尽量还原文档结构:标题分级、段落分段、列表、加粗等格式都被保留。转出来的 Markdown 直接可读、可入库,喂给大模型时上下文清晰。对论文、手册、报告这类结构明显的文档尤其擅长。
表格、公式与图片处理。 表格转成 Markdown 或 HTML 表格,数学公式转 LaTeX,图片被提取并妥善引用。这三类是 PDF 解析最容易丢的内容,Marker 对它们有专门处理,减少「转完发现关键数据没了」的挫败。
正确的阅读顺序。 多栏排版、图文混排的 PDF,最怕解析出来文字上下乱序。Marker 在版面与顺序上做了优化,让输出贴合人的阅读顺序。顺序正确与否,直接决定后续检索与问答的质量。
速度批量与人机协作。 支持批量转换与多进程处理,适合成规模的文档入库。它还有配套的编辑与审阅流程,机器转完可人工校对。官方另有基于同一技术栈的 Surya(OCR/版面模型)作为底层支撑。Apache-2.0 许可便于集成到自有管线。
使用上手
- 准备 Python 环境;按官网文档
pip install marker-pdf(GPU 环境速度更快,CPU 也可运行)。 - 单文件转换:
marker_single 你的文件.pdf --output_format markdown。 - 批量转换:用
marker命令指向文件夹,配置工作进程数并行处理。 - 检查输出:重点看表格、公式与阅读顺序,必要时人工校对或调整参数。
- 集成:把输出接入你的知识库、RAG 管线或向量库,作为文档入库的标准化一步。
优点与不足
优势是转换结构与顺序准、表格公式图片处理到位、支持批量、Apache-2.0 许可宽松、与 RAG 管线契合。局限:极复杂或扫描质量差的 PDF 仍需人工校对;GPU 能显著提升速度但非必需;大批量处理对内存/显存有要求。星标与版本以 GitHub 为准。
适合谁
适合搭建 RAG/知识库、需要高质量文档预处理的开发者;要把大量 PDF 论文、报告、手册转成可检索文本的研究与内容团队;以及追求「转完就能用」、不愿自己调版面解析的人。
下载与访问
仓库 https://github.com/datalab-to/marker (Apache-2.0);官网 https://www.datalab.to 。
许可证与部署
| 项目 | 说明 |
|---|---|
| 源码部署 | git clone 后 pip install marker-pdf |
| 容器部署 | 参考官方 Docker 方案 |
| 许可证 | Apache-2.0,可商用、可修改 |
| 星标 | 约 4 万,以 GitHub 实时为准 |
本文属于「项目」分类的 AI 资源专栏,更多评测见分类页。
评论 0
还没有评论,来说两句吧。