LlamaIndex • 2024-11-19
LlamaIndex 新闻通讯 2024-11-19
你好，Llama 关注者们！ 🦙
欢迎阅读本周的 LlamaIndex 新闻通讯！我们很高兴分享关于动态章节检索的更新、一种用于连贯文档检索的新 RAG 技术，以及 ColPali 的集成以增强多模态 RAG 结果。本期还包含 create-llama 的发布，其中包含一个用于 Typescript 应用的“表单填充”智能体，以及一个构建结合文本和图像的多媒体研究报告生成器的指南。请勿错过这些更新以及社区提供的有趣的用例和教程。
如果您还没有探索过 LlamaCloud，请务必注册并与我们联系，讨论您的特定企业用例。
🤩 重点内容：
- 引入动态章节检索：一种新的 RAG 技术，通过元数据和两阶段检索过程，连贯地获取整个文档章节。手册, 推文。
- 集成 ColPali 用于多模态 RAG： ColPali 作为重排器，结合 Cohere 的多模态嵌入和 ColPali，实现精确的文本和图像结果。手册, 推文。
- Create-Llama v0.3.12 发布：新版本包含一个“表单填充”智能体，简化了 Typescript 应用的 LlamaIndex 工作流集成。推文。
- 多媒体研究报告指南：一份教程，介绍如何使用基于智能体的 RAG 工作流，从复杂文档中生成结合文本和图像的结构化报告。手册, 推文。
🗺️ LlamaCloud 和 LlamaParse
- 我们引入了动态章节检索，这是一种新的 RAG 技术，通过确保连贯地获取文档的整个章节来增强检索。这种方法从简单的页面级分块开始，添加章节元数据，并通过两阶段检索过程完成，以保持上下文的连续性。手册, 推文。
- 一份创建多媒体研究报告生成器的指南，该生成器将复杂文档中的洞察整合为结合文本和图像的结构化报告，利用结构化输出的潜力进行基于智能体的 RAG 和报告生成工作流。手册, 推文。
- 一份使用 LlamaCloud 和 OpenAI GPT-4o 创建多智能体工作流的指南，用于从 10K 文档生成结构化财务报告，展示了文本、表格和图表的高级检索，并详细介绍了生成最终结构化分析所需的研究员和撰写步骤。推文。
- 我们发布了一篇博客文章和视频，详细介绍了高级报告生成的构建模块，强调了结构化输出、高级文档处理、知识库集成、多智能体工作流和模板系统如何自动化复杂的文档创建，为团队节省每份报告 10-15 小时。视频, 博客文章, 推文。
✨ 框架
- 我们集成了 ColPali 作为重排器，用于构建多模态 RAG，确保在文本和图像模态中都获得高度相关的结果。我们使用 Cohere 的多模态嵌入进行初步检索，并分别使用 Cohere 和 ColPali 对文本和图像进行重排，然后再生成响应。手册, 推文。
- 我们发布了 create-llama v0.3.12，其中包含一个“表单填充”智能体，简化了 Typescript 应用的 LlamaIndex 工作流集成。推文。
- 我们在 Python 文档中推出了一个新的“问 AI”小部件，由 RunLLM 提供支持，该小部件具有一个基于智能体的 RAG 系统，可以直接响应用户查询，提供准确、最新的编码解决方案。推文。
- 我们与最新的 Mistral Pixtral 模型 - Pixtral-large 进行了迅速集成。文档, 推文。
💡 用例：
- PureML 利用 LlamaIndex 和 Reflex 的大型语言模型，通过自动化清洗、智能特征创建和数据整合来增强 ML 数据集管理。博客文章。
- PursuitGov 使用 LlamaParse 改造其 B2G 服务，在一个周末解析了 400 万页，提高了文档准确性，并使客户能够发现公共部门数据中的机会。博客文章。
- RAGformation，一个可以根据自然语言描述自动生成云配置的工具，包含可视化流程图、价格估算和可定制的建议。博客文章。
✍️ 社区
- Ravi Theja 关于使用 ColPali 作为重排器的多模态 RAG 视频教程。
- Lingzhen Chen 关于构建 Llamaindex 工作流交互式用户界面的教程。
- Fermin Blanco 关于使用 Llamaindex 从非结构化文档中提取结构化数据的教程。
- 关于使用 NVIDIA NIM 和 LlamaIndex 构建基于智能体的 RAG 查询引擎的教程。
- 关于为 RAG 系统构建上下文细化智能体的教程。