
LlamaIndex • 2024-04-02
LlamaIndex Newsletter 2024-04-02
各位 LlamaIndex 社区成员大家好!🦙
欢迎阅读 LlamaGalaxy 的又一次精彩每周更新!我们很高兴与您分享一系列精彩更新,包括推出 RAFT LlamaPack、使用 Cohere 嵌入提高 RAG 的内存和成本效率等等。
🤩 亮点:
- DeepLearningAI 课程:与 DeepLearningAI 合作推出 JavaScript RAG Web 应用与 LlamaIndex 协作课程。 课程, 推文。
- RAFTDatasetPack LlamaPack:引入了 RAFTDatasetPack,用于使用 RAFT(检索增强微调)生成数据集,以训练模型区分相关“预言”文档和“干扰”文档。 LlamaPack, 推文。
- 使用 Cohere 嵌入提高内存效率:利用 Cohere 的 Int8 和二进制嵌入,实现具有成本效益和低内存的 RAG 操作。 Notebook, 推文。
- Python 文档改版:改版了 Python 文档,增加了可访问的示例 Notebook、高级搜索和全面的 API 详细信息。 API 参考, 推文, 文档
✨ 功能发布和增强
- 我们推出了 RAFT(检索增强微调),这是 Tianjun Zhang 和 Shishir Patil 提出的一种方法,用于增强 LLM 在特定领域的 RAG 性能。通过训练模型区分相关“预言”文档和“干扰”文档,RAFT 提高了上下文理解能力。使用我们新的 RAFTDatasetPack LlamaPack 生成数据集进行尝试。 LlamaPack, 推文。
- 我们与 DeepLearningAI 合作推出了一门课程,它不仅仅教授 RAG 技术,还指导您将 RAG 集成到全栈应用程序中。学习构建后端 API、开发交互式 React 组件,并解决在服务器而非 Notebook 中部署 RAG 的独特挑战。 课程, 推文。
- 我们集成了 Cohere 的 Int8 和二进制嵌入,为您的 RAG 管道提供了内存高效的解决方案。这解决了 RAG 中与大型数据集操作相关的高内存使用和成本问题。 Notebook, 推文
- 我们推出了改版的 Python 文档,包含顶级示例 Notebook、带预览的改进搜索以及全面修订的 API 文档。 API 参考, 推文, 文档
🎥 演示
- RestAI 是 Pedro Dias 的一个巧妙项目,提供 RAG、高级文本到 SQL 以及多模态推理即服务,并带有精美的 UI。
- Ragdoll 和 Ragdoll Studio,作者 bennyschmidt:使用 LlamaIndex TS、本地 LLM 以及 Ollama 和 StabilityAI 生成图像,为角色、网络助手或游戏 NPC 创建 AI Persona。
🗺️ 指南
- Michał Oleszak 撰写的 指南:设计 RAG 系统,深入探讨构建高效 RAG 系统中的关键设计决策,涵盖五个核心领域:索引、存储、检索、合成和评估。
✍️ 教程
- Sujit Patil 的 教程:结合语义分块与分层聚类和索引,用于 RAG 内容增强。
- Florian June 的 教程:构建具有集成反思功能的动态 RAG 系统,从头开始构建 Self-RAG 的指南。
- Laurie 的 视频教程:使用 LlamaParse 的 LLM 驱动解析将复杂的保险合同转化为清晰的是非陈述,从而提高 LLM 在承保查询方面的响应。
- Akriti 的 教程:使用 Gemini 和 Qdrant 构建实时金融新闻 RAG 聊天机器人。
- Marco Bertelli 的 教程:部署生产级 RAG 服务器用于实时使用,涵盖高效的嵌入服务、并发请求处理和故障弹性。
- Sudarshan Koirala 的 教程:使用 LlamaParse 和纯本地模型(用于嵌入、LLM 和重新排序)构建高级 PDF RAG。
🎥 网络研讨会:
- 注册参加 Tianjun Zhang 和 Shishir Patil 关于如何进行检索增强微调 (RAFT) 的网络研讨会。
- Daniel 关于 CodeGPT 的 网络研讨会:CodeGPT 是一个用于 AI 副驾驶的平台,可帮助您的编码工作流程,其组件构建在 LlamaIndex 组件之上。
- Vectara 的 小组讨论:“RAG 为何永不消亡?”。