LlamaIndex • 2024-01-02

LlamaIndex 新闻通讯 2024–01–02

各位 Llama 爱好者 🦙，你们好！

新年快乐！随着我们迈入 2024 年，我们非常激动地为您带来本期特别版新闻通讯，其中包含 2023 年最后两周的更新。本期内容丰富，包括我们为您精心策划的最新功能、社区演示、课程、深度教程、指南和网络研讨会。

您最近是否正在从事有趣的项目、撰写引人入胜的文章或创建视频？我们迫不及待地想听听！请通过 news@llamaindex.ai 与我们分享您的作品。别忘了通过我们的网站订阅我们的新闻通讯，以便直接在您的收件箱中收到所有这些令人兴奋的更新。

🤩 首先，重点内容：

LLMCompiler 实现： 一种 SOTA 代理实现，用于更快、更高效地处理复杂查询。笔记本，推文。
MultiDocAutoRetrieverPack： 用于结构化检索和对大型文档及元数据进行动态响应的 RAG 模板。推文，LlamaPack。
结构化分层 RAG： 用于优化多文档检索的新 RAG 技术，确保准确、相关的响应。文档，推文。
自定义代理： 用于自定义代理推理循环的简单抽象，便于与 RAG、SQL 和其他系统轻松集成，并增强对复杂查询的响应细化。文档，推文。
新的底层代理 API： 提升透明度、可调试性和控制力，支持分步执行和任务修改。文档，推文。

✨ 功能发布和增强

我们引入了一种构建自定义代理推理循环的简单抽象，超越了 ReAct 等预打包框架。该工具可以轻松与 RAG、SQL 或其他系统集成，我们还演示了如何构建带有路由器重试逻辑的代理，增强其处理复杂多部分问题和细化查询响应的能力。文档，推文。
我们实现了 LLMCompiler 项目，这是一个 SOTA 代理框架，支持基于 DAG 的规划和并行函数执行。与传统的顺序方法相比，这在速度上有显著提升，可以在任何 LLM 和数据管道中更快、更高效地处理复杂查询。笔记本，推文。
我们推出了 MultiDocAutoRetrieverPack，这是一款用于高效处理大型文档和元数据的 RAG 模板，提供结构化检索和针对特定查询的动态响应。推文，LlamaPack。
我们引入了结构化分层 RAG 技术，优化了对多个文档的 RAG 处理。该技术涉及将文档建模为结构化元数据，用于自动检索，并将其索引到向量数据库中。这种方法根据推断属性动态选择文档，并在每个文档内执行递归检索，从而在您的 RAG 管道中获得准确、相关的响应。文档，推文。
我们为高级 RAG 推出了一个新功能，允许对复杂查询执行进行分步反馈，提高可解释性和控制力。这对于难以处理多部分任务的弱模型特别有益。我们还引入了分步聊天界面，以增强用户交互和控制。笔记本，推文。
我们集成了 OpenRouterAI，提供统一的 API，便于 LLM 访问、成本效益和可靠的备选方案。OpenRouterAI 允许用户直接在其平台上比较各种模型（例如 mixtral-8x7b）的成本、延迟和吞吐量。笔记本，推文。
我们引入了一个新的底层代理 API，增强了透明度、可调试性和控制力。该 API 允许对代理进行精细控制，将任务创建与执行解耦，并支持分步执行。它还可以查看每个步骤、后续步骤，并很快支持通过人工反馈修改中间步骤。文档，推文。

👀 社区演示:

LeetCode 自动速成班： 该项目将高级机器学习与传统算法相结合，简化技术面试的 LeetCode 学习。它涉及使用 LLM 提取和总结 LeetCode 问题，将这些总结组织到向量存储中，并使用 scikit-learn 进行聚类。博客，代码。
RAG 辅助自动开发者： 这是 Ocean Li 的一个项目，用于构建一个能理解和编写代码的开发机器人。它集成了多种工具：LlamaIndex 用于代码库索引，Autogen / OpenAI 代码解释器用于代码编写和测试，以及 lionagi.ai 用于编排。笔记本。

📚 课程

我们与 ActiveLoop AI 合作提供了一门关于用于生产环境的检索增强生成技术的免费课程，包含 33 节课、7 个实践作业，完成后可获得证书。
来自 IBM Skills Network 的入门级课程，介绍如何使用 LlamaIndex 和 IBM Watsonx 创建有效的产品推荐。

🗺️ 指南

关于使用 Gemini 进行半结构化图像问答的指南：学习如何使用多模态模型和高级检索技术，从无标签图像中提取数据并进行查询，通过包含收据/发票图像的 SROIE v2 数据集进行演示。
高级 RAG 概念指南：Ivan Ilin 撰写的一份综合性综述，涵盖了分块、分层索引、查询重写等十二个核心概念。每个部分都提供了来自我们系统的资源和指南，以供深入理解和实际应用。
构建混合搜索指南：学习如何从零开始为 RAG 创建混合搜索。该过程涉及生成稀疏向量，融合稀疏和密集查询，并在 Qdrant 引擎数据库中实现，以便有效地集成 RAG。
使用 LLM 构建结构化检索指南：学习如何在 Pinecone 向量数据库中设置自动检索，使用 Arize AI Phoenix 监控提示，并针对特定查询调整提示，以增强您的文档处理和结构化数据分析。
关于评估 LLM 评估器的指南：我们新的评估方法和数据集捆绑包旨在将 LLM 作为评估器与人工标注进行基准测试。这涉及比较 LLM 裁判预测（1-5 分）与地面真实判断，使用相关性、汉明距离和一致率等指标。

✍️ 教程

Ryan Nguyen 关于使用 LlamaIndex 和 UnstructuredIO 处理 RAG 管道中的表格的教程。
Wenqi Glantz 关于保护 RAG 管道：实现 Llama Guard 与 LlamaIndex 的分步教程。
Wenqi Glantz 关于使用 LlamaIndex 运行开源模型的 10 多种方法的教程。
Jina AI 关于通过 Hugging Face 集成 Jina v2 嵌入与 LlamaIndex 和 Mixtral LLM 来增强 RAG 应用的教程。
Ankush Singal 关于在 Forward-Looking Active Retrieval Augmented Generation (FLARE) 中使用评估包对 RAG 管道进行基准测试的教程。
Laurie’s 关于轻松运行 Mistral AI 的 Mixtral 8x7b 的教程：学习如何将 OLLAMA 与 LlamaIndex 结合使用，以便一键设置本地开源检索增强生成应用并提供 API，其中包含 Qdrant 引擎集成用于向量存储。
Tomaz Bratanic 关于使用 LlamaIndex 和 Neo4j 构建多模态 RAG 管道的教程。
Sudarshan Koirala 关于使用 Mistral API 和 LlamaIndex 的视频教程。
Chia Jeng Yang 关于复杂 RAG 技术考量的教程。

🎥 网络研讨会：

与 Google Developers 合作举办的关于高级 RAG 应用以及 Google Gemini 多模态设置的网络研讨会。
Jerry Liu 与 Louis-François 合作举办的关于 AI 未来主题的网络研讨会：涵盖 LlamaIndex、LLMs、RAG、提示工程等更多内容。

🏢 呼叫所有企业

您正在使用 LlamaIndex 进行开发吗？我们正在努力使 LlamaIndex 更适合企业使用，并为合作伙伴提供即将推出的产品的抢先预览。感兴趣？请联系我们。

LlamaIndex 新闻通讯 2024–01–02

相关文章