LlamaIndex 更新 2023–10–10

以下是我们每周对 LLM 领域，特别是 RAG（检索增强生成）技术进展的观察，以及您最喜爱的开源库的最新消息和功能。如果您有认为值得分享的项目（或博客文章、视频），我们很乐意在此进行推荐！请发送邮件至 news@llamaindex.ai 联系我们。

此更新现在以方便的电子邮件形式提供！只需前往我们的主页并输入您的电子邮件进行注册。

🤩 首先，亮点：

1. 与 Arize AI Phoenix 的全面可观察性：我们与 Arize AI 推出了一行代码集成，可在所有 RAG/代理管道中实现全面的追踪和可观察性。享受本地数据存储、跟踪 LLM 输入/输出提示、监控 token 使用、时间、检索可视化和代理循环。此外，还可导出追踪进行评估和数据分析。同时确保您的数据保持本地存储。笔记本，推文。
2. RetrieverEvaluator：库中新增的“RetrieverEvaluator”模块，可增强检索评估，补充 LLM 生成测试。该模块支持基准测试、标准排名指标以及合成数据集创建，用于全面的检索评估。文档，推文。
3. HuggingFace 嵌入：我们增加了对另外三种 Hugging Face 嵌入模型的原生支持，包括基础嵌入包装器、instructor 嵌入和 ONNX 格式的 optimum 嵌入。文档，推文。
4. 多文档代理：我们为多文档代理引入了 v0 实验性支持，用于高级问答，超越了典型的 top-k RAG。它支持从单个文档到多个文档的各种查询。此基础版本为未来的增强功能（如并行查询规划和降低延迟）奠定了基础。文档，推文。

🏆 祝贺我们的 Streamlit 黑客马拉松获胜者！

我们很高兴看到大家使用 LlamaIndex 构建出色的项目！

1. Kang-Chi Ho 的 NewsGPT：https://buff.ly/46jkutx
2. Vishwas Gowda 的 FinSight：https://buff.ly/3PzOnyC

✨ 功能发布和增强：

1. 多文档代理：我们引入了多文档代理 (V0)，用于高级问答，超越了典型的 top-k RAG。它们支持从单个文档到多个文档的各种查询。此基础版本为未来的增强功能（如并行查询规划和降低延迟）奠定了基础。文档，推文。
2. 集成检索器：我们通过试验不同的文档分块和集成方法进行检索，来解决 RAG 中确定块大小的挑战。文档，推文。
3. HuggingFace 嵌入：我们增加了对另外三种 Hugging Face 嵌入模型的原生支持，包括基础嵌入包装器、instructor 嵌入和 ONNX 格式的 optimum 嵌入。文档，推文。
4. OpenAI 函数调用微调：我们正在使用 OpenAI 最新的函数调用微调功能，该功能增强了结构化数据提取能力，优化了 gpt-3.5-turbo，以改善 RAG 中的提取效果。文档，推文。
5. 元数据提取：我们通过仅调用一次 LLM 从文档中提取完整的 Pydantic 对象，从而提高了元数据提取效率。文档，推文。
6. 结构化 RAG 输出：我们现在可以高效地将所有查询的 RAG 管道输出结构化为原生 Pydantic 输出，无需额外的 LLM 解析调用。文档，推文。
7. 精简 secinsights.ai 部署：我们开源的 secinsights.ai 提供了 RAG 应用程序模板，现在通过 GitHub Codespaces 和 Docker 进行了增强，可实现快速云部署，无需设置麻烦。推文。
8. LongContextReorder：我们引入了 LongContextReorder，这是 Zeneto 提出的一种方法，用于在 RAG 系统中重新定位关键上下文，解决了过度检索可能模糊重要细节的挑战。文档，推文。
9. RA-DIT：我们受到 RA-DIT 论文的启发，该论文介绍了对检索增强输入提示进行 LLM 微调，以改进 RAG 系统。这种方法促进了上下文的更好利用和更有效的答案合成，即使在次优上下文存在的情况下也是如此。文档，推文。
10. 区块链：LlamaIndex 数据代理现在可用于使用自然语言查询分析任何区块链子图。推文。

🔎 RAG 评估增强：

1. RetrieverEvaluator：我们引入了“RetrieverEvaluator”模块，用于增强检索评估，补充 LLM 生成测试。该模块支持基准测试、标准排名指标以及合成数据集创建，用于全面的检索评估。文档，推文。
2. SemanticSimilarityEvaluator：我们引入了一个新的语义相似度评估器 — SemanticSimilarityEvaluator，用于 LLM/RAG 输出，比较参考答案和生成答案之间的嵌入相似度。文档，推文。

📚 教程：

1. 关于使用开源模块从零开始构建 RAG 的指南。
2. Dstack 关于使用 LlamaIndex 和 Weaviate 实现带有 OSS LLM 的 RAG 的教程。
3. Wenqi Glantz 关于在 RAG 管道中探索 ReAct Agent 以优化提示的教程。
4. Javier Torres 关于构建多文档聊天机器人的教程。
5. Erika Cardenas 关于 LlamaIndex 中 RAG 技术的教程，涵盖 SQL Router Query Engine、Sub Question Query Engine、Recursive Retriever Query Engine、Self-Correcting Query Engine。
6. Wenqi Glantz 关于使用 LlamaIndex 导航知识图谱的 7 种查询策略的教程。
7. Ravi Theja 关于使用 LlamaIndex 评估 RAG 理想块大小的教程。

⚙️ 集成与协作：

1. 与 Arize AI Phoenix 的集成：我们与 Arize AI 推出了一行代码集成，可在所有 RAG/代理管道中实现全面的追踪和可观察性。享受本地数据存储、跟踪 LLM 输入/输出提示、监控 token 使用、时间、检索可视化和代理循环。此外，还可导出追踪进行评估和数据分析。同时确保您的数据保持本地存储。笔记本，推文。
2. Neo4j：我们引入了 LLM 代理与 Neo4j 交互的 API 规范，提供超越“文本到 cypher”的完整代理推理能力。文档，推文。
3. TimescaleDB：我们与 TimescaleDB 集成，增强了 RAG 系统中的基于时间的检索能力，提供时间过滤器和经济高效的存储解决方案。博客文章，推文。
4. BraintrustData：我们与 BraintrustData 集成，实现了无缝的 RAG 管道构建、评估以及便捷的结果公共 URL 共享。笔记本，推文。
5. LocalAI：我们集成了 LocalAI_API LLM 支持，用于本地部署或作为 OpenAI LLM 的替代方案。推文。
6. HoneyHiveAI：我们与 HoneyHiveAI 集成，增强了多步 RAG/代理管道的监控能力。记录追踪、收集用户反馈，并利用这些信息进行精确微调和评估。文档，推文。
7. UnstructuredIO：我们与 UnstructuredIO 集成，解决了在 10-K 文件中查询内嵌表格的 RAG 挑战。现在，可以无缝查询 10-K 文档中的任何表格数据或文本。笔记本，推文。
8. Clarifai：我们与 Clarifai 集成，提供对 40 多个 LLM 和各种嵌入模型的访问。推文。

🎥 网络研讨会：

1. SingleStoreDB 关于如何使用 LlamaIndex 构建 GenAI 应用程序的网络研讨会。
2. 关于 SuperAGI 自治代理黑客马拉松期间构建的项目的网络研讨会，包括 evo.ninja、RicAI、Atlas 和 MunichAI。

🎈 活动：

1. Jerry Liu 和 Simon 在 RaySummit 举办了关于 RAG + 评估的讲习班。
2. 丁毅在 MLOps 社区活动中发表了关于“LLM 怪癖模式”的演讲。
3. Jerry Liu 在 AIConf 2023 发表了关于评估/基准测试和高级 RAG 技术的演讲。
4. Ravi Theja 在 2023 年印度 PyCon 大会上举办了关于使用 LlamaIndex 精通 RAG 的讲习班。
5. Ravi Theja 在 2023 年印度 PyCon 大会上展示了一份海报，内容是关于使用 LlamaIndex 在代码库上自动生成知识转移（KT）视频。