宣布 LlamaCloud 正式发布(以及我们价值 1900 万美元的 A 轮融资)!
LlamaIndex

LlamaIndex 2023-10-17

LlamaIndex 快讯 2023–10–17

各位 Llama 爱好者们 🦙 大家好!

又一个星期飞逝而过,我们带着一篇内容丰富的快讯回来啦!其中包含了关于黑客马拉松、指南、集成、新功能、网络研讨会、教程、博客和演示的最新消息。如果您有值得关注的项目、博文或视频,我们非常乐意推荐!请通过 news@llamaindex.ai 联系我们。

额外福利:您现在可以直接在收件箱中获取所有这些更新!只需访问我们的主页并订阅我们的电子邮件更新即可。

🤩 首先,重点介绍:

  1. AI.Engineer Summit:在 AI.Engineer Summit 大会上,Jerry Liu 讨论了 RAG 应用,Simon 主持了关于 RAG 应用优化的研讨会(Jerry 的幻灯片,Simon 的幻灯片
  2. Text to pgVector:我们推出了 PGVectorSQLQueryEngine,用于在 PostgreSQL 上进行 SQL 和向量联合查询。(文档推文
  3. Hugging Face 集成:集成了 HuggingFace 的文本嵌入推理服务器,用于高速、大规模的 BERT 模型服务。(文档推文
  4. 多文档代理:新的 V1 代理支持高级多文档检索和异步查询规划。(文档推文
  5. 非结构化解析:推出了 UnstructuredElementNodeParser,这是一个使用 UnstructuredIO 对嵌入式表格/文本进行分层解析的工具。(文档推文
  6. LLM 兼容性:我们对不同任务下的 LLM 性能进行了图表分析,发现 Zephyr-7b-alpha 模型在高级 RAG 任务中表现突出,是性能最佳的 7B 模型。(文档

🏆 恭喜我们的 AGI House 黑客马拉松获奖者!

我们乐于看到大家使用 LlamaIndex 构建出色的作品!

构建类

  1. Demostify
  2. Stick with Fit, SafeQuery, Cherry

突破类

测试类

  • X-Ray Insight

荣誉奖

🎤 LlamaIndex 在 AI.Engineer Summit

  1. Jerry Liu 发表了关于构建生产级 RAG 应用的演讲。幻灯片
  2. Simon 主持了关于使用 LlamaIndex 构建、评估和优化生产级 RAG 应用的研讨会。幻灯片代码

🗺️ 指南

  1. LLM 兼容性跟踪:我们对不同任务下的 LLM 性能进行了图表分析,显示 zephyr-7b-alpha 是目前唯一在高级 RAG/Agentic 任务中表现出色的 7B 模型。文档
  2. 评估:调整分块大小对于 RAG 应用至关重要。拥有更多的分块不一定更好,并且重新排序可能适得其反。为了进行微调,请尝试不同的分块大小和 top-k 值。Arize AI 团队提供了一份指南,帮助您使用 Arize AI Phoenix 和 Llama Index 进行评估。幻灯片Notebook

✍️ 教程

  1. Shahul 的教程演示了如何为您的数据选择最佳嵌入,强调了检索器性能和嵌入质量对于使用 LlamaIndex 和 RAGAS 库构建的 RAG 系统的效率至关重要。
  2. Wenqi Glantz 的关于 RAG 管道评估驱动开发的教程
  3. Wenqi Glantz 的关于在 RAG 管道中掩盖 PII 数据的教程
  4. 来自 Vectara 的 Ofer Mendelevitch 发表了关于使用 LlamaIndex 进行检索增强生成(RAG)的教程,比较了 Vectara 新的 Boomerang 模型与 OpenAI 和 Cohere 的模型。
  5. 来自 AssemblyAI 的 Patrick Loeber 发表了关于构建 LlamaIndex 音频应用的教程
  6. Pradip Nichite 制作了关于使用 LlamaIndex 进行 NL2SQL 的教程:使用自然语言查询数据库。
  7. Mayo Oshin 发表了关于如何比较多个大型 PDF 文件的教程
  8. Sudarshan Koirala 制作了关于使用 LlamaIndex 和 Pinecone 与文档聊天的教程

💡 演示

✨ 功能发布与增强

  1. Text to pgVector:我们推出了 PGVectorSQLQueryEngine,它允许您同时使用完整 SQL 和向量搜索来查询 PostgreSQL 数据库。文档推文
  2. 多文档代理:我们引入了多文档代理 (V1),它们现在可以在多个文档中进行检索并异步规划查询,提供优于标准 RAG 的分析能力。文档推文
  3. UnstructuredIO:我们与 UnstructuredIO 合作增强 LLM/RAG 应用。通过从 PDF 中提取表格,我们改进了超越基本向量索引的查询方法,尤其对于表格相关的问题,实现了混合查询和跨文档比较。文档推文
  4. UnstructuredElementNodeParser:超越基本文本分割,我们引入了 UnstructuredElementNodeParser。它使用 UnstructuredIO 在数据图中对嵌入式表格/文本进行分层建模。文档推文
  5. 交叉编码器微调:交叉编码器通过优化嵌入后的搜索结果来增强 RAG。使用 LlamaIndex,您现在可以在任何文档上微调交叉编码器,从而提升性能。文档推文

⚙️ 集成与协作

  1. Assembly AI:我们引入了一个新的数据读取器,用于与 AssemblyAI 集成音频数据。该集成允许轻松加载音频,并促进构建向量存储索引和查询引擎以进行查询。文档推文
  2. Nougat — MetaAI:我们集成了 Nougat,这是 Meta 开发的一款出色的 OCR 工具,擅长解释科学论文,特别是数学符号和 LaTeX,并将其作为 LlamaHub 中的加载器,从而简化了 RAG 管道中 ArXiv 论文的处理流程。文档推文
  3. Hugging Face-文本嵌入推理:我们集成了 HuggingFace 新推出的文本嵌入推理服务器,该服务器提供生产规模的服务,对所有 BERT 模型提供分布式跟踪,且速度惊人。文档推文

🎥 网络研讨会和播客

  1. 与 Timescale 合作举办关于 RAG 基于时间检索的网络研讨会
  2. 与 Omar Khattab 和 Thomas Joshi 合作举办关于 DSPy 的网络研讨会——这是一个强调编程而非提示的 LLM 框架。
  3. Jerry Liu 在 Latent Space 上的播客,讲述 LlamaIndex 的起源故事、微调等内容。