
LlamaIndex • 2023-11-13
LlamaIndex 一周岁啦!
是我们的生日!一年前,Jerry 推送了他的第一次提交到 GPT Index,这个项目后来成为了 LlamaIndex。它与当时最先进的模型 GPT-3 一起工作。最初的版本非常简单,但问题陈述和解决方案保持不变
GPT-3 的一个根本局限性是上下文大小 […] 向 GPT-3 输入“知识”的能力主要受限于这个有限的提示大小 […] 但是如果 GPT-3 可以访问一个潜在的更大知识数据库呢 […]?
十二个月过去了,生成式 AI 和 LLMs 的世界发生了翻天覆地的变化,但 LlamaIndex 被发明的原因依然存在:即使是最复杂的模型也没有用您的数据进行训练,这些数据可能被锁定在 API 或 SQL 数据库后面,即使是最新的 GPT-4-Turbo 128,000 tokens 的上下文大小也不足以容纳一个相对适中的数据集。检索增强生成(RAG)将会持续存在。
重要的数字
刚满 1 岁的 LlamaIndex 发展得非常迅速。有多快?这是一些数字
- 我们的开源库拥有超过 450 位贡献者!
- 近 3,000 个开源项目依赖于 LlamaIndex!
- 我们的 Discord 服务器有近 4,000 名成员(快来加入我们!)
- 库中有 47,000 行 Python 代码!(别担心,下载量仍然只有 0.5MB)
- 每月下载量接近 90 万次!
- RAG 已部署在流行的开源项目中,以及在企业环境中投入生产。
衷心感谢
除了这些亮眼的数字,我们最引以为豪的是我们的社区:我们的用户遍布世界(几乎)每个国家,从个人爱好者开发者到财富 500 强公司,以及介于两者之间的所有人。LlamaIndex 的创始人 Jerry Liu 表示
社区是 LlamaIndex 的一切。我们喜欢看到大家每天都在创造令人惊叹的事物!正是这些让我们早上起床,并激励我们不断突破开发者使用 GenAI 的界限。我们尤其感谢通过提交 PR、议题和错误报告来回馈社区的开发者。他们是开源世界运转的动力。
重要里程碑
一年发生了什么?嗯,一切!但这有一些亮点
- 2022 年 11 月:发布了 GPT Tree Index,一种将信息组织成树状结构的方式。基于最初的兴趣/吸引力,我们将其扩展为 List Index 和 Keyword Index。然后 ChatGPT 于 11 月发布
- 2022 年 12 月:发布了一些重要功能:支持索引嵌入 + 向量存储,以及 Notion、Slack 和 Google Drive 的初始数据加载器
- 2023 年 1 月:LlamaIndex 首次登上 Github 热榜!
- 2023 年 2 月:我们与 Jesse Zhang 一起推出了 LlamaHub,包含了一个供用户访问的初始数据加载器仓库。我们与 OctoML 合作举办了一次抽奖活动,收到了 50 多个数据加载器提交!
- 2023 年 3 月:ChatGPT API 发布,随后是插件。我们紧急支持新的 API + 插件集成。
- 2023 年 4 月:我们成立公司了!
- 2023 年 5 月:四月底,我们发布了 0.6.0 版本,我们完全重写了整个框架,以实现更高的模块化和可组合性,适用于不同抽象级别。
- 2023 年 6 月:我们宣布获得了 850 万美元的融资!
- 2023 年 7 月:我们在 LlamaHub 上发布了数据代理 + 代理工具。我们还发布了 Typescript 包
- 2023 年 8 月:我们集成了 OpenAI 微调,并推出了各种 LLM 和嵌入微调抽象。
- 2023 年 9 月:我们发布了 secinsights.ai — 一个可用于生产环境的全栈应用
- 2023 年 10 月:我们发布了 LlamaIndex Chat — 一个全栈 Typescript 模板。
- 2023 年 11 月:随着 GPT-4-vision 的发布,我们实现了全面的多模态支持!
宏大计划
随着所有的增长和这些功能,我们的下一步是什么?敬请关注!