Laurie Voss • 2023-11-14
LlamaIndex 周报 2023–11–14
各位 Llama 好友 🦙
本周是 LlamaIndex 成立一周年！🎉 为了庆祝，我们在博客上回顾了我们第一年的十二个重要里程碑。务必去看看。
上周，我们兴致勃勃地学习和探索了 OpenAI 开发者日发布的 LlamaIndex 相关的所有新内容。我们发布了一份特别版周报，介绍了我们在大会当天发布的内容，而本周的周报则包含了更多的后续发布和探索——不要错过我们总结所有新功能的幻灯片！
一如既往，如果您有很棒的项目或视频想分享，我们很想看看！请随时发送邮件至 news@llamaindex.ai 联系我们。
🤩 首先，亮点：
- 多模态 RAG 堆栈：我们推出了多模态 RAG，用于处理文档和图像上的复杂问答，并提供了新的文本/图像查询和检索解决方案。Notebook、推文、博客文章。
- OpenAIAssistantAgent 抽象：我们发布了新的抽象层，用于将 OpenAI Assistant API 连接到任何向量数据库。文档、推文。
- 并行函数调用：我们使用 OpenAI 的并行函数调用增强了数据提取和工具执行能力。推文。
- MechGPT 项目： Markus J. Buehler 教授的工作将 LLM 微调与知识图谱相结合，用于科学发现。推文、论文。
- 功能幻灯片：发布了一份幻灯片，总结了 OpenAI 更新后新增的 10+ 项功能和指南。
✨ 功能发布与增强
- 我们引入了多模态 RAG 堆栈，用于处理复杂的文档和图像问答，具备文本/图像查询、联合文本/图像嵌入以及灵活的存储和检索选项。Notebook、推文、博客文章。
- 我们现在在 chat.llamaindex.ai 中提供实验性的 GPT-4-vision 支持。用户现在可以上传图片以增强聊天机器人互动。推文。
- 我们集成了 OpenAI 的并行函数调用功能，以有效地从非结构化文本中提取结构化数据，并改进使用代理执行工具。推文。
- 我们引入了
OpenAIAssistantAgent抽象层，以便将 OpenAI Assistants API 与您选择的向量数据库无缝连接。文档、推文。 - 我们引入了一个利用 OpenAI Assistants API 的新代理，其功能包括内部代码解释、文件检索以及用于集成外部工具的函数调用。Notebook、推文。
🎥 演示
- 由 Markus J. Buehler 教授开发的 MechGPT 展示了 LLM 微调与知识图谱创建和 LlamaIndex 的集成，从而在跨学科科学研究和假设生成方面产生了有趣的见解。推文、论文。
🗺️ 指南
- 我们发布了一份简明的幻灯片，汇集了基于 OpenAI 最新更新的 10 多项新发布功能、指南和分析，并附有配套的 notebook 链接供开发者使用。
- 我们还发布了一本完整的指南，展示了如何使用 Assistants API 构建高级 RAG，而不仅仅是使用内置的检索工具。
- 我们编写了一份指南，评估了 OpenAI Assistant API 与 LlamaIndex 结合 RAG 的性能。
- 这里有一份指南，评估了长上下文 LLM (gpt-4-turbo, claude-2) 在大型文档（>= 25 万 token）中回忆特定信息的能力如何？
- 这是另一份指南，重点介绍了函数调用如何简化结构化数据提取，而 JSON 模式则确保格式正确性而无需强制执行模式。
- 最后，我们发布了一份构建 GPT Builder 的指南，使代理能够以编程方式构建另一个特定任务的代理。这个 Builder 简化了针对特定功能创建系统的过程。Notebook、推文。
✍️ 教程
- Bhavesh Bhat 为我们带来了一个关于如何使用 LlamaIndex 与 YouTube 视频聊天的教程。
- David Garnitz 的教程博客探讨了 VectorFlow 与 ArizePhoenix、Weaviate 和 LlamaIndex 结合使用来管理大型数据集的方法。
- Harshad Suryawanshi 的教程介绍了如何使用 PaLM、KOSMOS-2 和 LlamaIndex 构建自己的 ChatGPT Vision。
- Sudarshan Koirala 制作了一个关于如何使用 LlamaIndex 创建 OpenAI Assistant Agent 的教程。
- 我们自己的 Ravi Theja 发布了他的关于如何使用嵌入和重排序器提升 RAG 的教程。
🎥 网络研讨会
相关文章
2025-04-23
