宣布 LlamaCloud 全面上市(以及我们获得的 1900 万美元 A 轮融资)!
LlamaIndex

Ravi Theja 2023-08-01

LlamaIndex 更新 — 2023年8月1日

再次问候 LlamaIndex 社区!

欢迎阅读我们的 LlamaIndex 更新系列第三期。您的积极参与持续推动我们的开源社区向前发展。无论您是经验丰富的 LlamaIndex 贡献者还是新加入的成员,我们都非常感谢您的每一份贡献!

在最新一期中,我们为您准备了各种更新。从数据代理和 LlamaIndex TS 的进展、性能基准测试,到一系列精彩的活动、网络研讨会、博客文章和演示,内容丰富。

事不宜迟,让我们深入了解这些更新。

新功能

  1. 我们听到您的声音了!LlamaIndex 已全面更新我们的文档。更新内容包括关于高层概念的更清晰文档、详细的模块指南、全面的教程以及包罗万象的 API 参考。文档, 推文
  2. LlamaIndex 推出了数据代理 (Data Agents),这是一项将 AI 代理与数据结合的创新功能。此次发布引入了代理推理循环和工具抽象等组件。伴随 LlamaHub 的全面升级,新功能提供了 15 种以上的工具规范,便于集成。数据代理增强了查询能力,旨在处理各种数据应用。文档, 推文, 博客文章
  3. LlamaIndex 推出了 LlamaIndex.TS,这是一个精简的 Typescript 包,用于构建强大的检索增强生成 (RAG) 系统。它简化了文档解析和处理上下文窗口限制等任务。LlamaIndex.TS 非常适合使用 Next.JS 等框架快速构建应用程序,以便与您的数据进行聊天。文档, 推文, 博客文章
  4. LlamaIndex 与 Zapier 自然语言 API (NLA) 合作,减轻了数据代理处理多参数 API 时的认知负担。Zapier NLA 使用单一的自然语言参数(即“指令”)将复杂第三方 API 转换为更简单的接口。这有助于数据代理专注于工具选择和行动协调。推文, 博客文章
  5. LlamaIndex 的 ContextChatEngine通过确保每次用户交互都能检索到上下文来解决对话代理幻觉信息的问题。此功能与所有 ReAct 和 OpenAI Function 代理类型兼容,会将检索到的上下文作为系统消息前置。文档, 推文
  6. 本月推出了两个令人兴奋的新 LLM。首先是 Anthropic Claude 2.0。我们在该模型发布的第一天就提供了支持。文档, 推文。另一个是 Llama2,LlamaIndex 现在与 Replicate 上的 Llama2 模型提供了最佳集成。文档, 推文
  7. LlamaIndex 与 Chroma v0.4.0 兼容,增强了对内存数据库、持久化数据库和自托管数据库的支持。此次升级简化了在 LlamaIndex 中使用 Chroma 的过程,使数据库处理更加简单高效。推文
  8. LlamaIndex 新推出的数据代理可以自动与通过 OpenAPI 规范定义的任何 API 进行交互。它可以处理来自 API 规范的大数据索引/加载,并促进 OpenAPI Tool 的轻松集成,增强调用 Web 服务的能力。文档, 推文
  9. LlamaIndex 现在利用 rebel-large 模型进行高速关系提取。结合 CUDA,您可以从文本数据生成知识图谱。推文
  10. LlamaIndex 引入了代码解释器工具。此功能赋予任何 LLM 分析数据和生成可视化图表的能力,扩展了其功能,使其类似于 ChatGPT。推文
  11. LlamaIndex 现在与 Eduardo Reis 在 llama-api.com 提供的 Llama 2 functions API 集成。推文
  12. LlamaIndex TS 现在支持与 OpenAI Whisper 集成。文档, 推文
  13. LlamaIndex 现在与 Kùzudb 无缝集成,允许用户直接存储提取的知识图谱/三元组,用于高级处理、查询和可视化。文档, 推文
  14. LlamaIndex 将数据代理与文本到图像模型结合,通过知识库中的相关上下文增强用户提示。这种集成通过将 LLM RAG 系统与文本到图像工具相结合,实现了更高级的多模态推理。文档, 推文

基准测试

  1. LlamaIndex 现在支持信息检索基准测试 BEIR。用户可以在 LlamaIndex 中定义自定义检索器、应用向量索引或实现重新排名步骤,然后使用 BEIR 中的任何数据集轻松评估其方法。推文
  2. LlamaIndex 的 Llama2 代理在我们的代理任务基准测试中表现出色。尤其值得注意的是它们在 ReACT 循环中适当使用工具的能力。然而,任务难度各异,13B 和 70B 模型都明显避免拨打电话号码,突显了 AI 的局限性。推文
  3. LlamaIndex 现在集成了 HotpotQA 基准测试!通过向模型提供完整上下文,这使得能够严格测试 LLM 的多跳推理能力,帮助您更准确地评估其性能。非常适合对 ChatGPT、Claude 2、PaLM 等 LLM 进行压力测试。此外,探索如何通过上下文重新排序来简化 LLM 的任务。推文
  4. LlamaIndex 现在支持 20 多种向量数据库,每种数据库都有独特的功能和能力。为了帮助理解它们之间的区别,我们编制了一份全面的比较表,指导您为特定用例选择最佳数据库。推文

教程

本月看到如此多人为 LlamaIndex 制作教程,我们感到非常激动!

  1. Adam Hofmann 关于为 LLM 代理构建更好的工具的博客文章。
  2. Weaviate 关于如何将 Llama2 模型与 LlamaIndex 和 Weaviate 一起用于外部数据的教程
  3. Erika 关于向量存储索引 (VectorStore Index)、列表索引 (List Index) 和树索引 (Tree Index) 的教程
  4. James Maslek 关于突破障碍:使用 OpenBB 和 LlamaIndex 简化对 100 多个可信数据源访问的教程
  5. Ayush Thakur 关于使用 LlamaIndex 和 W&B 构建高级查询引擎和评估的教程。
  6. Trulens 关于使用 LlamaIndex Yelp 代理使用 Yelp 数据回答查询,并使用自定义反馈函数评估其确定性和准确性,将其性能与独立 LLM 进行比较的教程
  7. Airbyte 关于无需编写 SQL 即可与您的数据仓库聊天的教程。
  8. Anil Chandra Naidu 关于检索器 (Retrievers)查询引擎 (QueryEngines) 的教程。
  9. Wenqi Glantz 关于使用 LlamaIndex Text-to-SQL 探索 Snowflake 和 Streamlit 的教程。

以及来自 LlamaIndex 团队的教程

  1. Logan 关于全面理解嵌入模型、其基准测试及其在 LlamaIndex 中的实现的教程,重点介绍 OpenAI 和 Instructor 嵌入,通过数字文本表示实现语义搜索。
  2. Logan 关于使用 LlamaIndex 评估查询引擎的教程,学习如何处理不受控的输出和运行时成本,同时使用 GPT-4 衡量性能。
  3. Ravi Theja 关于构建问答系统关键组件的教程

网络研讨会

  1. 与 OpenBB 首席执行官/联合创始人 Didier Lopes 举办的关于投资研究中 LLM 的网络研讨会
  2. 关于使用 Weights and Biases 构建和评估您的数据之上的高级查询引擎的网络研讨会
  3. Jason Liu 举办的关于使用 Pydantic 从 Prompt 到 Schema Engineering 的网络研讨会

活动

  1. LlamaIndex 和 Arize 关于 LLM 搜索与检索系统(使用 Arize 和 LlamaIndex:在您的专有数据上驱动 LLM)的研讨会
  2. LlamaIndex 和 TruLens 关于构建 LLM 应用程序的研讨会
  3. TPF (The Product Folks) Ravi Theja 关于使用 LlamaIndex 构建问答系统的研讨会环节
  4. Ravi Theja 在钦奈的 Speciale VC GenAI 见面会上关于“超越基础:从概念到生产环境应用 LlamaIndex”的演讲
  5. Ravi Theja 在 TPF X Nexus VC Buildathon 上的数据代理环节。

演示

  1. Tali.AI 在 Augment 黑客马拉松中深入探索支持角色的未来,使用 LlamaIndex 开发了一个自主支持机器人。推文
  2. SuperAGI 与 LlamaIndex 集成,使 AI 代理能够处理来自结构化和非结构化源的各种数据,包括 Docx、PDF、CSV 文件、视频和图像。推文