开发者项目聚焦：使用 LlamaIndex 和 NVIDIA NIM 构建 AI 销售助手

在 AI 驱动的商业解决方案领域，一个高效且响应迅速的 AI 销售助手可以极大地增强内部运营，特别是对于需要触手可及的准确信息的销售团队。在本案例研究中，我们探讨了使用 LlamaIndex 和 NVIDIA 推理微服务为 NVIDIA 销售代表构建 AI 销售助手的过程。该解决方案提供了对内部数据的无缝访问，确保团队在需要时能够准确获取所需信息。

挑战

销售团队面临快速访问与内部资源、产品和文档相关的特定信息的挑战。他们需要一个 AI 解决方案，不仅能准确高效地回答复杂的内部查询，还能超越基于检索的答案，协助处理翻译或起草电子邮件等任务。NVIDIA 启动了一个项目，旨在创建一个强大、交互式的 AI 界面，以提高销售团队的生产力，同时易于使用。

解决方案：LlamaIndex + NVIDIA NIM

为了应对这些挑战，NVIDIA 使用 LlamaIndex 和 NVIDIA NIM 构建了一个 AI 销售助手，结合了检索增强生成（RAG）的优势和强大的 AI 模型，以增强性能。LlamaIndex 为管理和查询内部知识提供了基础，而 NIM 微服务为各种大型语言模型提供了可扩展的推理服务，确保低延迟响应。

用户界面是使用 Chainlit 创建的，它提供了一个交互式聊天环境，使用户能够直观地与 AI 助手进行查询。

实施过程

AI 销售助手的实施过程涉及几个关键组成部分

● 流程设置：该项目首先设计了一个简化的流程，使系统能够处理多种类型的请求——包括 RAG 和非 RAG 查询。这确保了销售代表在提问类型上的灵活性。

● LlamaIndex 的核心功能：使用 LlamaIndex 工作流构建了核心检索和交互功能，并使 AI 功能易于扩展，从而能够精确控制查询的处理和回答方式。

● 使用 NVIDIA NIM 增强性能：集成了 NVIDIA NIM，以处理使用先进 AI 模型（如 Llama 3.1 70b）的推理任务。NIM 实现了无缝部署和推理管理，提供了比典型企业 API 更高的可用性和更低的延迟。

● 使用 Chainlit 的用户界面：使用 Chainlit UI 创建了一个基于聊天的界面，销售代表可以在其中与 AI 助手交互。该 UI 提供了处理步骤的反馈，对每个响应的生成方式提供了透明度。

主要特点

● 工作流实现：该系统具有强大的工作流，用于处理不同类型的请求——从文档检索到直接任务执行。这使得交互更加多样化，例如翻译文档或回答深入的产品问题。

● 路由：根据用户问题的性质，查询会直接路由到性能最佳的开源 LLM，Llama 3.1 405b，或使用 Llama 3.1 70b 的多源 RAG 管道，以实现大量文档更快、更廉价的执行。

● 并行检索：用户表示希望从多个来源检索 RAG 文档，包括我们的内部文档存储库、NVIDIA 网站以及开放互联网。我们结合使用了密集检索、网络搜索以及 Perplexity API 来满足这些要求。

● 上下文增强：我们有大量用于业务部门、倡议和产品的缩写词。通过使用工作流，更容易设计一个模块化系统，在该系统中，用户查询或文档会通过有关缩写、简写或其他重要名称的信息进行增强。

结果和益处

AI 销售助手项目显著提高了查询响应时间，使销售团队能够快速找到相关信息。通过 NVIDIA NIM 优化过的语言模型和 LlamaIndex 的结构化检索，推理是实时进行的。此外，直观的 Chainlit 界面使用户无需技术知识即可轻松与 AI 交互，提高了销售代表的采用率和满意度。

克服的挑战

主要挑战之一是平衡性能与资源利用。通过利用 NVIDIA NIM 管理推理工作负载，团队确保了高性能，而不会使基础设施资源不堪重负。另一个挑战是确保非 RAG 任务被适当地路由，以避免不必要的检索操作，这通过 LlamaIndex 中的自定义工作流得到了有效解决。

结论

AI 销售助手的开发突显了结合 LlamaIndex 工作流和 NVIDIA NIM 创建高效、可扩展 AI 解决方案的强大能力。该项目成功地解决了对一个智能、多功能助手的需求，该助手可以处理广泛的内部查询。如果您正在寻求构建类似的 AI 驱动解决方案，利用这些技术可以帮助您快速开发健壮且用户友好的应用程序。