关键字: [symposium, Agenic, Ai基础平台构建, 知识库增强, 工具使用能力, 智能体协作, 安全护栏保护]
本文字数: 1900, 阅读完需: 10 分钟
导读在本次演讲中,演讲者介绍了Weee!公司如何在亚马逊云科技专家的支持下,利用两个月的时间快速构建了一个基于AI的智能客服系统。他们首先搭建了一个AI基础平台,集成了多种AI能力如工作流编排、知识库管理、工具调用等,并引入了安全机制和性能追踪机制。然后将该平台与公司的业务系统集成,实现了智能客服的自动响应、流程标准化和客户体验提升。最后,演讲者分享了他们对AI智能体的评估方法,包括相似度和质量两个指标,以及结合客服反馈持续优化模型。
演讲精华以下是小编为您整理的本次演讲的精华，共1600字，阅读时间大约是8分钟。
在亚马逊云科技的专家团队的支持下,一位演讲者用两个月的时间快速完成了一个智慧客服项目。他所在的公司于2015年成立,是美国领先的亚裔和西方人的电商平台,总部位于旧金山湾区,致力于为北美家庭提供新鲜实惠的全球美食。与国内的”盒马生鲜”类似的电商平台不同,该公司没有线下店面,只有线下仓储和物流团队,建立了一个多元文化融合的平台,让不同族裔的人都能在这个平台上买到自己喜欢的食物和食品。
演讲者将分享分为三个部分:构建自己的AI基础平台;这个基础平台和智慧客服项目的应用;关于AI智能体评估的实践。他回顾了应用发展的历程,从单体架构、CS架构、BS架构,到微服务架构,每个阶段都提供了相应的理念和技术。但AI大模型的出现,特别是”灵梦”大模型和Agent技术的引入,让我们需要重新思考架构的发展和演进。
经过多轮探讨,他们得出了一个名为”Agenic”的AI平台,依赖于提示词工程、工具调用、工作流编排和知识库增强,通过基础模型的迭代升级,提供知识能力。这个平台不再是组件或工具,而是像一个人在企业中生存,可以赋予它知识让它成长,它又能像API模型为我们提供能力,回答各种问题。
演讲者介绍了”Agenic”的概念,我们都知道AI模型、GPT模型、亚马逊云科技托管的CloudInc模型,以及Bloom模型等,它们已经具备了自我反思和链式思考的能力,变得非常强大。但如果只是AI模型加上提示词工程构建的应用,很难真正为业务赋能。在代码生成领域,ChatGPT 3.5加上提示词工程只能解决40%的问题,升级到4.0后能解决60%的问题。但当引入Agenic Workflow这样的AI智能体概念后,它能解决70%的问题,且仅针对ChatGPT 3.5就能做到。
演讲者分享了OpenAI科学家Lilian关于Agent定义的图,认为一个AI智能体需要具备四种能力:规划能力、记忆能力(短期和长期)、使用工具的能力,以及与其他Agent交互合作的能力。他们基于此构建的AI基础平台架构分为三层:底层是亚马逊云科技提供的三大存储(Amazon S3对象存储、Amazon ElasticSearch服务、Amazon RDS关系数据库服务)等基础技术;中间层是基于这些存储打造的AI知识库、专有词汇库、向量数据库(基于OpenSearch)等;最上层是工作流编排、绘画管理、Prompt管理等八种能力,以及安全护栏(直接引用了Amazon Web Services Byterock中的Gario安全护栏技术)、性能追踪和质量评测等三种边缘控制力。
演讲者还介绍了AI基础平台和业务系统集成的示例,以及部署架构。他着重讲解了RAG(Retrieval Augmented Generation)技术,即通过检索增强技术来补充AI缺少对企业知识和现有知识的能力。RAG包括Retrieval(召回)、Re-ranking(重排序)两个步骤,能够实现高效的向量检索和多路召回。他们的向量检测速度能够小于1秒,包含召回,整个first token的速度能够小于500毫秒。在多路召回方面,他们使用了传统的关键词检索技术(权重0.3)和最新的向量检索技术(权重0.7)的结合。
在设计Prompt的原则方面,演讲者强调要根据不同模型的调性来设计Prompt的格式,如使用监控号或Markdown格式等。他还提出了Prompt中需要包含的几个角色节点,如Role、Instruction、Extraction、Response/Solution等,以引导模型进行链式思考和自我反思。
演讲者接着分享了他们的智慧客服项目,旨在提升响应速度、流程标准化和客户体验。在亚马逊云科技专家的支持下,他们仅用两个月时间就完成了AI基础平台搭建、P1优化框架制定、知识库链路制定、Agent测试和性能追踪框架制定、引入安全护栏,以及基于ByteRock的多模型开发等工作。有意思的是,整个Agent的设计完全由产品经理一人完成。他们基于整个AI平台的能力,通过API的形式将其暴露给调用端,调用端可以拿到所有AI Agent平台的能力,以及Agent的管理能力。
演讲者分享了一个AI智能体与客服系统集成的示例。当客户提出”我的订单什么时候送达?时间已经推迟了一个半小时了,还没有快速开始配送”的问题时,AI智能体经过意图识别、数据读取、知识库查询后作出回复:“非常抱歉,给你带来不便。你的订单[原因]。你需要登录XX的app,然后点击我的已发货订单查看物流。我们已将已经将你的问题反馈给了相关的物流部门,他们会重视这个问题,并努力改善配送效果。”他们的AI平台不仅可以使用外部工具如天气预报、谷歌搜索,还可以使用内部提供的工具能力,包括查询订单、客户,甚至取消订单退款等操作。
他们计划分三个阶段推进AI智能体在客服领域的应用:第一阶段是客服对AI回复进行确认;第二阶段是AI直接回复客服邮件和工单;最终阶段是推向即时沟通的聊天形式。
最后,演讲者探讨了AI评估的难点和方式。与传统的基于断言的测试不同,AI生成的回复是抽象的,很难用预期结果进行评判。因此,他们引入了相似度和SOP(标准操作程序)质量两个指标:将AI回复与客服历史满意回复进行相似度对比,并根据业务规则的SOP列表进行反向打分,再结合实际客服的点赞点踩,不断优化AI模型。
总的来说,这个项目展示了亚马逊云科技在AI领域的领先地位,以及AI技术在企业级应用中的巨大潜力。通过构建AI基础平台、应用于智慧客服等场景,并不断优化评估模型,企业能够充分利用AI的强大能力,提升业务效率和客户体验。
在这个过程中,演讲者分享了一个客户故事。去年平安夜,他忽然想买点东西吃,就开车出去找超市。但发现很难找到一家开门的超市,因为平安夜所有的超市几乎都关门了。好不容易找到一家超市,进去一看,没有肉蛋奶,没有柴米油盐酱醋茶,只有各种咖喱和薯片之类的没有味道的玉米薄片。这让他意识到,该公司建立了一个很大的使命,就是建立一个平台,融合了多种少数族裔文化,让各种族裔在一个平台里能够买到他喜欢吃的食物和食品。
这个项目中,演讲者的团队还遇到了一个有趣的现象。在做GenAI的链接项目时,他们发现AI永远不知道今年是今年,也不知道今天是今天。所以你让它回答”帮我拿一下今年的某某数据”,它一定会拿当前年份的数据,因为它不知道今年是哪一年。你必须在Prompt里写”你要知道今年是某某年,今天是某某日期”,否则它就会说今年是它训练时的那一年。通过RAG技术,他们能够帮助AI增强对最新知识的理解能力。
总结亚马逊云科技的 AI 出海项目 GenAI 生成式 AI 的探索之旅:
在 亚马逊云科技 专家的支持下,我们用两个月时间快速构建了一个智慧客服项目,融合了 AI 大模型和传统 AI 技术。这个项目的核心是一个 AI 基础平台,它依赖于提示词工程、工具调用、工作流编排和知识库增强,并具备保护用户隐私和数据安全的能力。该平台赋予了 AI 智能体规划、记忆、工具使用和协作的能力,有助于更好地服务多元文化背景的客户群体。
在智慧客服的应用中,我们将 AI 智能体分解为多个小型智能体,以降低风险并提高可控性。目前处于第一阶段,客服需确认 AI 回复;未来将直接由 AI 回复邮件和工单,最终实现即时沟通。我们还探索了 AI 评估的新方法,引入相似度和质量两个指标,结合客服反馈持续优化模型。
总的来说,这个项目展示了 亚马逊云科技 在 AI 出海领域的创新实践,为企业赋能 AI 提供了有益探索。我们期待 AI 技术的不断进步,为客户带来更优质的服务体验。
亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。
