宣布 LlamaCloud 全面上市（以及我们的 1900 万美元 A 轮融资）！
LlamaIndex
立即开始
与我们联系

©2025LlamaIndex

LlamaIndex • 2023-12-05

LlamaIndex 时事通讯 2023–12–05

各位 Llama 社区成员 🦙，大家好，

我们很高兴与 DeepLearningAI 和 TruEraAI 合作推出关于高级检索增强生成 (RAG) 及其评估的深度课程。课程内容包括句窗检索 (Sentence Window Retrieval)、自动合并检索 (Auto-merging Retrieval) 以及使用 TruLensML 进行评估，提供增强学习和应用的实用工具。为了充分利用这次学习机会，我们邀请您参加课程。

感谢您的支持，我们总是很高兴看到您的项目和视频。请随时通过 news@llamaindex.ai 与我们分享。此外，请记得在我们的网站上订阅我们的时事通讯，以获取最新更新并与我们充满活力的社区建立联系。

🤩 首先，重点内容：

  1. 推出七个高级检索 LlamaPacks：将构建高级 RAG 系统简化到几乎一行代码，提供混合融合 (Hybrid Fusion) 和自动合并检索器 (Auto-merging Retriever) 等技术。推文。
  2. 引入 OpenAI Cookbook：使用 LlamaIndex 评估 RAG 系统的全面指南，涵盖系统理解、构建和性能评估。博客，Notebook
  3. 结构化元数据提取的速度提升：从文本中提取结构化元数据（如标题和摘要）的处理速度提高了 2 到 10 倍，提升了 RAG 性能。文档，推文。
  4. 我们发布了 RAGs v3 版本，这是我们的项目，它允许您使用自然语言生成符合您需求的定制 RAG 机器人。此版本包含了网络搜索功能，因此您的机器人可以整合来自网络的最新答案。推文。
  5. 全栈 LLM 应用开发的核心指南：使用 'create-llama' 构建全栈应用、使用 'SEC Insights' 处理多文档以及使用 'LlamaIndex Chat' 定制聊天机器人等工具，简化了复杂的应用开发。

✨ 功能发布和增强

  • 我们推出了七个高级检索 LlamaPacks，它们作为模板，可以轻松构建高级 RAG 系统。这些包将构建过程简化到几乎一行代码，告别了传统的 Notebook 方法。这些技术包括混合融合 (Hybrid Fusion)、查询重写 + 融合 (Query Rewriting + Fusion)、嵌入式表格检索 (Retrieval with Embedded Tables)、自动合并检索器 (Auto-merging Retriever)、句窗检索器 (Sentence Window Retriever)、节点引用检索器 (Node Reference Retriever) 和用于处理复杂查询的多文档代理 (Multi-Document Agents)。推文。
  • 我们引入了多模态设置中结构化输出提取的新抽象，能够将图像转换为结构化的 Pydantic 对象。此增强功能对于产品评论、餐厅列表和 OCR 等应用特别有用。Notebook，推文。
  • 我们推出了 OpenAI Cookbook，这是一个使用 LlamaIndex 评估 RAG 系统的指南。它涵盖了理解 RAG 系统、使用 LlamaIndex 构建它们以及评估其在检索和响应生成方面的性能。博客，Notebook，推文。
  • 我们推出了 RAGs v3——一个通过整合网络搜索功能超越传统限制的机器人。这个机器人设计为使用自然语言而非代码进行操作，与 ChatGPT 和 Bing 的结合相比，提供了增强的体验。利用我们与 Metaphor Systems（为大型语言模型 (LLM) 定制的搜索引擎）的集成，该机器人可以从互联网检索相关文本，提供超出其内部语料库的答案。此外，用户现在可以查看代理使用的工具，其中网络搜索功能仅对我们的 OpenAI 代理可用。仓库，推文。
  • 我们显著提高了提取结构化元数据（如标题和摘要）的速度，以增强 RAG 性能。我们的新实现提供了 2 到 10 倍的处理速度提升，克服了之前较慢方法的限制。文档，推文。
  • 现在使用我们的 StreamlitChatPack，只需一行代码即可轻松设置 RAG + Streamlit 应用。此 pack 提供了即用型 RAG pipeline 和 Streamlit 聊天界面，数据源和检索算法均可定制。文档，推文。

👀 演示

AInimal Go——一个受 Pokemon-Go 启发的创新多模态应用。这款互动应用由Harshad Suryawanshi开发，允许用户捕获或上传动物图像，使用 ResNet-18 模型对其进行分类，并与这些动物进行对话，对话内容由一个包含 200 多篇维基百科文章的知识库增强。值得注意的是，该应用使用针对性的 ResNet 模型进行分类，提供了更高的速度和成本效率，而不是使用 GPT-4V。

博客，仓库，HuggingFace Space，推文。

🗺️ 指南

  • 我们在 LlamaIndex 生态系统中引入了一个核心指南，旨在简化“全栈”应用开发，这比 Notebook 开发要复杂得多。这包括用于构建带有高级模板的全栈应用的 'create-llama'、用于处理超过 10,000 份文件的多文档处理工具 'SEC Insights' 以及用于提供可定制聊天机器人体验的 'LlamaIndex Chat'。所有工具都是开源的，并提供完整的指南和教程。
  • 指南：如何在高级 RAG 应用中使用 Table Transformer 模型和 GPT-4V 解析 PDF 中的表格。我们的方法包括使用 CLIP 进行页面检索，Table Transforms 提取表格图像，以及 GPT-4V 进行答案合成。我们将这种方法与另外三种多模态表格理解技术进行了比较，包括使用 CLIP 进行整页检索、使用 GPT-4V 进行文本提取和索引，以及对表格图像进行 OCR 作为上下文。
  • 指南：分析各种多模态模型从 Amazon 页面复杂产品图像中提取结构化数据的能力。比较的模型包括 GPT-4V、Fuyu-8B、MiniGPT4、CogVLM-4 和 LLaVa-13B。主要发现显示，所有模型都错误地识别了评论数量（正确答案：5685），只有 GPT-4V 和 Fuyu 准确确定了价格，每个模型的产品描述与原描述不同，并且 Mini-GPT4 错误评估了产品评分。

✍️ 教程

🎥 网络研讨会：

🏆 黑客松：

  • 提醒您，参加TruEra Challenge在线黑客松（12 月 1 日至 8 日）仍有时间，您可以探索 TruEra AI 和 Google Vertex AI 技术在 AI 可观测性方面的应用。使用 LlamaIndex 框架增强您的基于 LLM 的应用。参与者将获得 30 美元的 Google Cloud 积分，提交解决方案后额外获得 100 美元。获胜者将分享 9,000 美元现金奖金和 14,000 美元的 Google Cloud 积分。
  • 我们与 Zilliz Universe 合作参加了他们的 Advent of Code 活动。今年 12 月，探索 25 个开源项目，每天都有挑战要求您在 30 分钟或更短时间内构建一些东西。这是一个学习新技能和享受冬季乐趣的绝佳机会。每天请访问 Discord 中的 Advent of Code 频道获取技巧、教程和资源。

相关文章