
LlamaIndex • 2023-12-12
LlamaIndex 时事通讯 2023–12–12
大家好,Llama 爱好者们 🦙,
我们很高兴宣布又一个充满最新更新、功能、有见地的教程、指南、网络研讨会等的激动人心的一周。您是否有突破性的项目、引人入胜的文章或引人注目的视频?我们洗耳恭听!请通过 news@llamaindex.ai 与我们联系。
不要忘记通过我们的网站订阅我们的时事通讯,以便将所有这些令人兴奋的进展直接发送到您的收件箱。
🤩 首先,精彩回顾:
- Llama 数据集:一个多样化的社区贡献数据集集合,用于 RAG 管道的基准测试。博客,推文。
- RAGs v5:支持使用自然语言处理文本和图像来源的多模态数据。推文。
- 生产级 RAG 管道:新功能和指南,用于在处理数据更新时实现高效 RAG,包括 Google Docs 的增量重新索引以及增强的转换和缓存流程。笔记本,推文。
- 全新改版的 LlamaHub:一个由社区驱动的中心,提供通用数据加载器、新的用户界面以及一系列工具、模板和数据集。推文。
- AutoTranslateDoc:一个开源项目,用于将 GitHub 仓库文档翻译成 15 种以上的语言。博客,仓库,推文
✨ 功能发布与增强
- 我们发布了 Llama 数据集 🦙📝,这是一个由社区贡献的数据集集合,专门用于在各种用例中对 RAG 管道进行基准测试。这些数据集提供了选择最适合特定 LLM 应用程序的灵活性。首次发布包括多样化的数据集,例如 Code Help Desk、FinanceBench、Mini TruthfulQA、Mini Squad V2、Blockchain Solana、Uber 10K、Llama 2 Paper、Paul Graham Essay、Origin of COVID-19、CovidQADataset、MiniCovidQADataset 和 LLM Survey Paper。每个数据集都设计为问答集,与 Llama Index 抽象无缝集成,为跨多个指标的全面基准测试提供平台。所有数据集均可在 LlamaHub 上轻松下载和评估。博客,推文。
- 我们发布了 RAGs v5,支持使用自然语言处理文本和图像来源的多模态数据。主要功能包括增强的多模态索引、在任何 RAG 代理中查看来源的能力,以及支持加载整个目录而不仅仅是单个文件。推文。
- 我们发布了构建生产级 RAG 管道的新功能和指南,即使生产数据持续更新,也能使用 LLMs 进行高效问答。这包括 Google Docs 更改的增量重新索引以及我们更新的
IngestionPipeline
中的增强转换和缓存流程。笔记本,推文。 - 我们发布了现在可在 Replit 上使用的一键式全栈 LlamaIndex 模板!此模板包含一个基于 TypeScript 的全栈 Next.js 应用程序,能够读取您提供的任何文件,并包含一个用于查询这些文档的聊天界面。它是完全可定制的,并基于我们流行的 create-llama 生成器。Replit 模板,推文。
- 我们推出了
RAGEvaluatorPack
,只需一行代码即可轻松在任何数据集上对您的 RAG 管道进行基准测试,提供正确性、相关性和上下文相似度等指标。文档,推文。 - 我们发布了 create-llama 的社区模板,在设置过程中提供了一系列社区贡献的入门模板。当前的示例包括用于分析大型 PDF 中复杂表格的
embedded-tables
和用于比较多个文档的multi-document-agent
。推文。 - 我们在 create-llama 中推出了多模态支持,它是我们用于生成全栈 LlamaIndex 应用程序的用户友好命令行工具。现在,您可以在应用程序中轻松集成 GPT-4-vision,允许您将图像上传到 Web 界面并在几秒钟内获得关于它们的答案。推文。
- 我们推出了 Ollama LlamaPack,这是一项新产品,将本地 LLM 和嵌入集成到完全本地的 RAG 管道中,增强了语言模型的可访问性和能力。文档,推文。
- 我们发布了全新改版的 LlamaHub,这是一个用于增强 LLM 应用程序开发的社区驱动模块中心,提供通用数据加载器、新的用户界面以及一系列工具、模板和数据集。推文。
- 我们推出了 AutoTranslateDoc,一个开源项目,用于将 GitHub 仓库文档翻译成 15 种以上的语言,包括中文、西班牙语和法语。该工具已成功应用于我们自己的 LlamaIndex.TS 文档中,简化了开源项目的国际化过程。博客,仓库,推文
- 我们发布了对 Weaviate、Chroma、Qdrant 和 Pinecone 等 4 个向量数据库的精确匹配和范围查询支持,允许通过元数据过滤器进行自动检索,提升了结构化和非结构化数据查询的功能。推文。
🗺️ 指南
- 关于构建金融数据 LLM 应用程序的指南,该指南在 MindsDB 活动上进行了展示。学习使用先进的 RAG 查询多样化的金融数据,其中包括多文档比较、嵌入式表格以及将文本查询转换为领域特定语言的技术。
- 高级 RAG 作弊表指南,这是一份简洁的指南,提供了针对不同 RAG 相关痛点和技术的解决方案。这是我们在 Snowflake BUILD 演讲和 PyData Global 演讲的一部分。
✍️ 教程
- Waii.ai 的博客,关于创建一个可以同时查询企业数据库和 PDF 数据的代理,结合了高级 text-to-SQL 技术和 Llama Index RAG 管道,用于有效分析零售销售趋势等结构化和非结构化数据。
- Wenqi Glantz 关于使用 LLMs 查询知识图谱的教程介绍了七种策略,现在可通过我们的 LlamaPacks 轻松访问,并在我们的 Neo4j 查询引擎中得到体现。
- AIMakerspace 关于通过递归检索处理复杂文档的 RAG 策略的一小时全面研讨会教程。
- Laurie 关于使用 LlamaIndex 构建多模态检索增强生成应用程序的视频,教您如何从文本和图像中构建索引和检索数据,以增强查询响应。
- Ravi Theja 关于理解 LlamaIndex 0.9v 抽象和功能的视频。
🤝 集成
- 我们将 AssemblyAI 与 Llama Index TS 集成,增强了功能并提供了新的创新解决方案。博客。
- 我们将 Panel(一个用于构建交互式数据应用程序的强大框架)集成为了一个 LlamaPack。这为您提供了一个强大的聊天界面,只需一行代码即可与您的数据对话,并具有完整的流式支持。文档,推文。
- 我们集成了 FlagEmbeddingReranker 以进一步提升您的 RAG 管道。笔记本,推文。
🎥 网络研讨会:
网络研讨会特邀 LLaVa 的作者 Haotian Liu,深入探讨了与 GPT-4V 具有竞争力的开源多模态模型 LLaVa,以及 LlamaIndex 团队的 Haotian Zhang 关于 LLaVa + LlamaIndex 的多模态用例演示。
🏢 致所有企业
您正在使用 LlamaIndex 进行构建吗?我们正努力使 LlamaIndex 更适合企业使用,并为合作伙伴提供即将推出的产品的抢先体验。有兴趣吗?请联系我们。