
LlamaIndex • 2024-03-13
推出首个 GenAI 原生文档解析平台
LlamaIndex 的使命是将世界各地的数据与 LLM 的强大能力连接起来,今天我们很高兴宣布,我们朝着这个目标迈出了最新的一大步,推出了全球首个 GenAI 原生文档解析平台——LlamaParse。
我们在三周前发布了 LlamaParse 的第一个公开版本,反响巨大,有超过 2,000 名用户解析了超过 100 万页!从那时起,我们一直在努力修复数百个错误并发布新功能,今天我们发布了一个改变游戏规则的新功能:GenAI 驱动的解析指令。
使用 LLM 进行世界级解析
解析指令背后的关键洞察是,您知道您拥有哪种文档,因此您已经知道想要什么样的输出。当一个支持 LLM 的解析器可以接收您简单的自然语言指令并提供显著更优的解析结果时,为什么还要让解析器去猜测呢?
示例 1:丰富的表格支持
自 LlamaParse 首次发布以来,它就具备了行业领先的表格提取能力。从一开始,其底层就一直利用 LLM 智能。它与开源框架提供的高级索引/检索能力无缝集成,使用户能够构建最先进的文档 RAG。现在结合 JSON 模式(见下文)和解析指令,您可以将此能力推向更深。

示例 2:解析漫画书
解析翻译的漫画对解析器来说是一个特殊的挑战,因为常规解析器会将分格解释为表格中的单元格,并且阅读顺序是右到左,尽管书是英文的,如 Hiroyuki Kojima 所著的《漫画微积分》中的这段摘录所示

使用 LlamaParse,您可以向解析器提供简单的英文指令来告诉它做什么
The provided document is a manga comic book.
Most pages do NOT have title. It does not contain tables.
Try to reconstruct the dialogue happening in a cohesive way.
(您可以在我们的演示笔记本中查看完整代码,包括在没有指令的情况下解析它的样子)
结果是完美的解析!
# The Asagake Times
Sanda-Cho Distributor
A newspaper distributor?
Do I have the wrong map?
示例 3:数学方程
另一种对解析来说具有挑战性的格式是复杂的数学方程(巧合的是,我们选择作为示例的漫画正是关于如何进行数学运算的)

要解析这个,我们采用与之前相同的指令,并添加一句话:将任何数学方程以 LATEX markdown 格式输出(在 $$ 之间)
。解析的结果是清晰的 LaTeX 指令,它完美地渲染了方程

LLM 能做的任何事,我们的解析器都能做
您可以使用这种自然语言指令对您的文档进行各种高级预处理——简化语言、包含情感分析、将其翻译成另一种语言!我们迫不及待地想看到您利用 LlamaParse 的强大能力能做出什么。
JSON 模式
解析指令无疑是头条功能,但自发布以来,LlamaParse 还新增了几十个其他功能。其中一个亮点是 JSON 模式,这是一种丰富的编程格式,非常适合当您需要更精确地解析出您想要的内容时使用。JSON 模式的输出包括
- 被解析文档的完整结构
- 表格、文本和标题都被标记
- 表格可以以 CSV 和 JSON 格式提供
- 图像被标记并可供提取(见下文)
- 每个节点的丰富元数据
如果您正在构建自定义 RAG 策略,JSON 模式提供了您构建所需的一切。请查看我们的JSON 模式示例!
图像提取
JSON 模式的最佳功能之一是图像提取:每页包含图像的页面都带有一个图像列表,标记有元数据,包括图像的大小和在页面上的位置,您可以直接检索这些图像并将它们包含在您的索引中,以便从您复杂的、图像繁多的文档中提取更多信息。
扩展的文档类型
我们发布 LlamaParse 时提供了对 PDF 的出色支持,并且我们每天都在继续扩展其能力。我们还增加了对大量文档类型的支持
- Microsoft Word (.doc, .docx)
- Microsoft PowerPoint (.pptx)
- 富文本格式 (.rtf)
- Apple Pages (.pages)
- Apple Keynote (.key)
- ePub 图书 (.epub)
- 还有几十种!
所有这些文档类型都无需您做任何额外工作即可“正常工作”,并且我们正在不断扩展支持的文件类型列表。查看这个演示笔记本,我们演示了如何解析 PowerPoint 文件。
还有一件事……无限解析!
LlamaParse 的巨大需求包括许多人要求通过付费计划突破我们的免费每日限制,我们很高兴满足这些请求。我们的定价很简单
- 每周 7000 页免费
- 额外页面每页 0.003 美元,即每 1000 页 3 美元
- 单文档最大大小为 750 页
当然,我们保留了每日 1000 页的慷慨免费层级。
LlamaParse 的公共版本是一个托管服务。如果您想扩展 LlamaParse 的能力以构建高级文档 RAG,或者希望在私有云中部署 LlamaParse,请与我们联系。