
Jerry Liu • 2023-06-30
特别专题:伯克利黑客松项目 (LlamaIndex 获奖者)
两周前(6/17–6/18),我们在伯克利黑客松度过了美好的时光。出席人数统计令人印象深刻
- 1200 名黑客
- 262 个提交的项目
- 2 只真正的羊驼 🦙
LlamaIndex 在黑客松期间赞助了“最佳知识密集型 LLM 应用”系列奖项。评选标准是应用程序利用自定义数据知识库,构建创新的应用程序体验。
我们宣布了三名获奖者以及一个荣誉提名。我们很高兴在下面的特别报道中介绍每个项目。在每个报道中,创作者们描述了项目的使命和它解决的问题、实现方式+技术栈、遇到的挑战和未来方向。敬请阅读!👇
一等奖获奖者:Helmet AI
创作者:Jaiveer Singh, Devin Mui, Ethan Mehta, Manav Rathod
Devpost:https://devpost.com/software/helmet-ai
介绍
在当今快速发展的商业环境中,保持领先于竞争对手对于成功至关重要。然而,海量的信息和不断变化的市场动态使得商业领袖难以做出明智的决策。在这篇博客文章中,我们介绍 Helmet AI,一款尖端市场情报工具,旨在为领导团队赋能,提供实时洞察和竞争优势。和我们一起探索 Helmet AI 的功能、技术栈和未来前景。
揭秘 Helmet AI
Helmet AI 是一款创新的市场情报工具,它利用先进技术的力量,为领导者提供可操作的洞察,并对全球商业格局提供无与伦比的理解。凭借其上下文感知的摄取引擎 (Ingestion Engine) 和由 OpenAI 的 GPT 模型驱动的洞察提取器 (Insight Extractor),Helmet AI 提供了一个全面的解决方案,用于跟踪突发新闻、揭示隐藏的关系,并从海量数据中提取有价值的、个性化的洞察。为了易于使用,Helmet AI 将这些洞察呈现在一个熟悉的、类似 Twitter 的“动态消息”界面中。此外,Helmet AI 还提供了一个聊天界面,供用户就特定新闻故事向 Helmet 的知识型聊天代理提问。
关键功能和技术栈
上下文感知的摄取引擎 (Ingestion Engine)
- Helmet AI 的摄取引擎持续监控海量的突发新闻和全球事件。通过利用订阅 RSS 源获取最新新闻数据等技术,并使用 LlamaIndex 和 LangChain 处理文档,引擎构建了对实时事件及其对不同用户画像影响的全面理解。嵌入存储在 Pinecone 向量数据库中。
使用 OpenAI 的 GPT 模型提取洞察
- Helmet AI 的洞察提取器组件利用 OpenAI 的 GPT 模型的力量,识别并简洁地解释您动态消息中表面上不相关的不同主题之间的复杂关系。通过将原始数据转化为可操作的洞察并附带智能解释,领导者可以基于对市场趋势和复杂动态的理解做出明智的决策。
可扩展的基础设施
- Helmet AI 构建在 Azure 的强大基础设施之上,利用了 App Services、PostgreSQL 数据库和 Github Actions 等一系列服务来编排部署。实现中还整合了 GraphQL,用于高效的数据检索和处理。
克服的挑战和取得的成就
在 Helmet AI 的开发过程中,我们的团队遇到了各种挑战,包括将 MindsDB 与 Azure 集成以及克服 Gmail 认证的限制。然而,我们能够克服这些障碍,并在伯克利 AI 黑客松期间仅用 36 小时就成功实现了 Helmet AI。此外,我们使用 GitHub Actions 建立了无缝的部署流程,自动化了手动服务编排。对于团队中的新手黑客来说,这次经历特别有收获。
主要收获
在整个开发过程中,我们的团队获得了宝贵的洞察。我们发现尽早建立部署流程以减轻关键时期压力非常重要。采纳软件工程的最佳实践至关重要。此外,我们意识到利用先进语言模型作为隐式知识图谱的潜力,将其应用扩展到传统嵌入之外。
未来前景
展望未来,Helmet AI 旨在利用 AnyScale 等技术扩展摄取引擎的规模,以处理整个网络的数据。团队计划与企业业务开发团队合作,启动试点项目并收集反馈以进行进一步完善。凭借已有的坚实基础,Helmet AI 希望在领导者收集洞察和制定战略决策的方式上产生影响。
结论
Helmet AI 代表了一项改变游戏规则的解决方案的坚实尝试,旨在帮助在当今快节奏的商业世界中寻求保持领先地位的商业领袖。通过利用 AI 驱动的洞察提取和解释以及实时数据分析等尖端技术,Helmet AI 赋能领导者自信地应对市场挑战并抓住新兴机会。随着该工具不断发展并扩展其功能,市场情报的未来前景广阔。敬请关注 Helmet AI 如何改变我们收集信息和制定战略决策方式的旅程的更多更新。
获奖者:Split
创作者:Aditya Ariyur, Nikhil Patel, Ronit Nagarapu
Devpost:https://devpost.com/software/split-pv4hn7

背景/动机
我们想要开发一个易于使用的流程,允许用户在 AI 的协助下生成个性化电子邮件,同时保留用户独特的写作风格和情感色彩。
这是什么
我们的产品从您以前的电子邮件中学习,并训练一个定制的大语言模型 (LLM),它将起草听起来像您本人、而不是像机器人的电子邮件。它学习您的写作风格以及您如何回复特定的人。然后,它根据用户提示生成符合您风格的电子邮件。
如何构建
我们使用 Google API 和 LlamaIndex 解析用户的旧电子邮件,并开发了一个基于 OpenAI 的 text-davinci-003 的 LLM 模型。然后,我们使用 Hume 来理解用户在电子邮件中的语气和情感,并将其与特定的主题和收件人关联,以便未来的电子邮件可以根据用户的邮件习惯进行微调。当前的网站界面是使用 React.js 开发的,并使用 Flask API 与后端 LLM 模型交互。
挑战 + 收获
让模型的各个不同部分协同工作相当困难,特别是在解析后的电子邮件、Hume 情感标签与 LlamaIndex 模型之间建立连接。我们必须尝试许多不同的工具和提示风格才能获得准确的电子邮件生成。然而,凭借大量的投入和故障排除,我们能够开发出一个工作模型,以展示我们的概念及其潜在功能。我们了解到使用 LlamaIndex 训练自己的 LLM 是多么有意义。像 ChatGPT 这样的基础 LLM 已经非常强大,因此基于自己的数据训练定制 LLM 的功能开启了无限的可能性。
未来计划
我们希望将代码和工作流程完全集成到 Google 插件或扩展中,以便用户可以轻松将其应用于日常邮件往来。我们希望确保用户数据的隐私和安全,因此想尝试一些方法来减少发送到 OpenAI 等第三方服务的数据量。我们还希望进一步开发情感训练功能,因为这可以提高我们产品的有效性,并增强我们个性化、用户定制电子邮件生成的主要价值主张。
获奖者:Prosper AI
创作者:Alan Yang, Ashay Changwani, Punit Sai Arani, Vedant Tapadia
Devpost:https://devpost.com/software/prosper-ai
概述
Prosper AI 在利用人工智能释放您全部财务潜力方面是一个先行者。它作为一个易于访问且智能的虚拟金融顾问,配备精准的洞察和个性化的建议。我们的使命是普及金融专业知识。通过弥合资源差距,Prosper AI 旨在为所有人创造公平的竞争环境。
Prosper AI 的起源
点燃 Prosper AI 火花的是对不同社会阶层之间财富差距的简单观察。富人始终能够获得有助于增长和保护财富的知识和资源。相比之下,出身普通背景的人往往缺乏有效利用收入所需的必要知识和工具。许多人转向社交媒体寻求财务建议,这些建议通常是通用的,有时甚至不可靠,因为它们来自不合格的网红。另一方面,对于预算有限的人来说,聘请金融顾问可能非常昂贵且不切实际。
这就是 Prosper AI 切入点。我们接受了挑战,开发一个利用最先进技术和模型帮助消化和简化复杂财务数据的创新解决方案。
繁荣引擎:Prosper AI 如何工作
Prosper AI 从任何数量和类型的银行或投资账户中获取您的财务数据,提供遵守监管政策的合规财务建议,并为您提供个性化的提示、建议和解释。
Prosper AI 通过利用像 Plaid 这样的开放金融提供商来获取用户财务信息。然后 Prosper AI 会询问一系列财务目标问题,帮助用户明确理想的结果。利用个人财务数据和目标的这种组合,Prosper AI 将提供一系列关于如何实现这些目标的优化且个性化的建议。
Prosper AI 的精妙之处在于其互动性和支持。如果用户感到困惑,可以在任何时候自由提问。这对于理解复杂的图表或金融术语尤为宝贵。此外,Prosper AI 不仅仅是回答关于当前建议的问题。这就像拥有一个随叫随到的专家金融顾问,随时准备针对您财务状况的任何方面生成洞察、图表和建议。无论是规划退休、优化投资还是理解税务责任,Prosper AI 随时准备提供精准和个性化的洞察来指导用户,以培养金融敏锐度并赋能更明智的财务决策。
Prosper AI 的构建模块:技术栈概览
后端:我们的后端是 Prosper AI 的动力引擎,使用 Python 编写并基于 FastAPI 服务器。我们选择 Python 是因为它具有敏捷性,并且有大量可用的开源库可以加快开发过程。此外,OpenAI 和 Plaid 提供的 Python 原生包与我们的后端无缝集成,确保了开发和运行时的效率。
Prosper AI 后端的一个基石是强大的提示管道 (prompting pipeline),它模拟了一个微调模型。为了实现这一点,我们利用了增强了函数调用的 OpenAI GPT-4 的能力,并使用 LlamaIndex 等额外工具将其与 Pinecone 的向量数据库相互连接。这种融合形成了一个精简而强大的接口。
前端:当我们开始时,特别是在黑客松阶段,我们使用 Next.js 开发了 Web 应用程序前端,这是我们的舒适区。然而,随着我们的进展并追求更高的基准,我们意识到需要迁移到更具性能的框架。我们选择了 SvelteKit,它以其简洁性和性能脱颖而出,显著加快了开发过程。
我们的一个关键目标是使 Prosper AI 易于访问且用户友好。我们精心设计了一个极简的用户界面,它使屏幕整洁同时保留信息的本质。此外,我们辅以可视化功能,这对于将复杂的财务数据转化为用户易于理解且可操作的洞察至关重要。通过强大后端和直观前端的结合,Prosper AI 有望彻底改变个人财务管理方式。
克服挑战:Prosper AI 的开发历程
在初始阶段我们遇到的主要挑战是建立一个管道 (pipeline),用于分析性地摄取和处理多年的财务数据。庞大的数据量不仅一次性处理起来让人不知所措,而且负责任且有意义地处理它也至关重要。
为了解决这个问题,我们必须设计一个系统,将海量财务数据分解成易于消化的片段,并以有序的方式组织,从而实现逻辑理解和可操作的洞察。尽管在时间压力下构建这样的系统很艰苦,但它为我们提供了关于我们正在处理的数据量级的宝贵洞察。它进一步强调了我们使命的重要性:为了用户的利益,高效、全面地处理这些海量数据。
另一项艰巨的任务是将复杂的税法整合到我们的平台中。数千页的税务法规必须转化为智能代码,能够提供精明的财务建议。尽管这项任务需要巨大的努力,但它对于创建一个全面的财富管理系统至关重要。结果是一个平台,提供根据每个用户的特定目标、需求以及未来计划量身定制的优化、个性化财务计划。我们的平台不仅能识别有助于最小化税务责任的账户类型和现金流策略,而且还制定了未来 30 年最大化净资产增长的路线图。
这就是 Prosper AI 的精髓——利用技术简化复杂的财务管理,并促进走向繁荣的道路。
Prosper AI 的未来之路
当我们展望未来时,Prosper AI 团队比以往任何时候都更加坚定,要在彻底改变个人财富管理方面取得长足进展。我们当前的重点是转型为全职创业模式,这意味着更深入地开发功能特性,并巩固我们平台的基础。
我们路线图上的一个关键里程碑是与已积极加入候补名单的首批客户进行试点用例。这个阶段至关重要,因为它使我们能够在实际场景中验证 Prosper AI 的有效性和影响。通过从这批客户那里收集的反馈和洞察,我们将能够完善和增强平台,确保它不仅满足而且超越用户的期望。
但我们不会止步于此。试点阶段的收获将成为后续开发和创新的跳板。随着我们继续利用尖端技术和数据分析,Prosper AI 旨在普及金融知识和工具的获取,从而赋能个人释放他们的财务潜力。
敬请关注 Prosper AI 踏上这段激动人心的旅程,旨在改变个人金融领域,使其对所有人来说更加易于访问、智能和个性化。
与 Prosper AI 一起,让我们培育财务增长的种子,收获繁荣的果实。
视频/截图/材料链接
了解更多并加入我们的候补名单,有机会赢取 50 美元亚马逊礼品券