汽车智能座舱展|车载AI Agent产品开发：如何通过大模型实现“座舱代言人”？

“情感座舱”的口号已经喊了很多年，但是真正实现还是从大模型上车开始，在触发特定条件下，语音助手通过预置的情感语料库与用户聊天，但在真实聊天场景下无法适应人类的对话逻辑；而车载Agent上车后，通过集成多个大模型底座，对环境的识别更为准确，更多数量的工具库接口则进一步加强了其泛化能力，能够应付多元化场景下的聊天问答，真正实现“座舱代言人”的温暖陪伴。汽车智能座舱展了解到, 马耳他大学数字游戏研究所提出了情感框架（Affectively Framework），设立情感模型，在训练过程中采用行为奖励和情感奖励机制，帮助 Agent 更好地理解人类的情感，并能够与人类进行更自然的交互。

想象一下，智能座舱不仅能够听懂并执行车主下达的指令，还能预测车主的需求，就像一个贴心的私人助理，这是不是会让车主更加期待？相比于买了传统汽车后每个功能还要自己摸索一遍，谁不想要一个“动动嘴”就能帮你打理所有座舱功能的座舱“代言人”呢？Agent主打一个省时省事。虽然现阶段已上车的Agent大部分还停留在助手、陪伴以及具体场景功能列举层面，但相比于大模型，Agent拥有更大潜力，具备可激发的自主性和突出的工具使用能力，更加贴合“主动智能”标签，甚至能够弥补大模型在实际应用中的限制。

然而，要让车载Agent真正做到“主动智能”，满足用户的体验价值，在技术开发上还有很长的路要走。汽车智能座舱展了解到，Agent需要在主动感知、数据处理、状态识别等环节做得更加精确，通过准确理解环境，判断车内人员的真实需求，再根据不同环境采取不同的策略。其中，难点之一在于Agent对用户需求的准确判断，相比正常情况下的被动交互，主动意图识别缺少语音指令，而在环境/人员/车辆状态识别的过程中，未必能够通过向量特征匹配得到与当前场景极为相近的描述，预置方案也未必符合车内人员真正的意图。

目前，多数推荐功能仅仅是执行预设的指令，反而限制了Agent的“主动智能”能力，导致在推理环节频繁出现痛点。例如，如果Agent不能准确理解当前的场景，它就可能做出不符合用户预期的推荐，比如在错误的时间推荐音乐或导航等。结果就是影响用户体验，导致Agent成为用户眼中的“猜测机器”。在120个痛点案例中，唤醒失败、识别错误、误唤醒的提及频率分别达到19、18、17个，占比分别为16%、15%、14%，其他痛点还包括不支持可见可说、不识别方言、延迟响应、不支持语义澄清、不支持连续指令等，共计89个语音环节的痛点，占本次统计调研的74.2%。

汽车智能座舱展了解到，Agent架构/场景设计不合理导致的一系列问题还包括场景触发条件不合理、大模型需要二次唤醒、长/短期记忆失效、根据车主习惯自主做出的推荐动作不符合预期等，分别体现了Agent在场景设置、架构部署、记忆模块、反思模块上的限制。

为实现“代言人”在座舱的全面功能，Agent在多元化场景下的服务框架设计极为重要。Agent框架构建方式较为灵活，可以采用简单的“接收器+执行器”架构，也可以构建更加复杂的多智能体架构，其设计原则很简单：只要在特定场景下能解决用户问题，那就是好的框架设计。作为一个合格的“座舱代言人”，车载Agent除了需要像一个独立思考的个体，自己做决定、解决问题外，还要像人一样，快速、自如地采取人类的行为模式。

蔚来汽车的Nomi就是一个典型的例子。它采用了多智能体架构，在不同的场景下，调用不同的工具，通过多个分工不同的Agent履行特定职责，共同完成理解需求、决策裁决、执行任务、反思迭代的流程。多智能体架构让Nomi不仅能够快速响应，还能像人一样做出更自然的反应，与汽车的其他功能无缝融合，让体验更加流畅。

文章来源：佐思汽车研究--微信公众号