在一辆汽车中，四名乘客及一个智能大脑集结成一体，今天我们对豆包座舱助手进行实地测试。9月17日，豆包与火山引擎联合发布了这一全新的座舱助手，首发车型荣威家越07将于9月21日开启预售。在发布前的日子里，我们在一辆仍在调试中的家越07中，体验了豆包的智能推荐功能。我们先请求它找到适合拍照的地点，接着又转向寻觅一个充满艺术气息的街区，紧接着询问关于停车和用餐的建议。在整个互动过程中，豆包不仅灵活应对着我们的需求变化，最终还为我们规划了前往餐厅的导航路径。这一切的完成，并没有依赖于单一的指令，而是在我们的多次讨论和修改中，逐步明确出目的地。
豆包座舱助手的成功，源于其背后构建于大模型的“理解、执行、反馈”完整闭环，而非单纯通过规则来控制车辆。大模型的启用已经持续了两年多，而许多汽车制造商早期只是简单地利用它进行聊天、搜索和生成图像，增强了车载系统的知识面。但实际上，驾驶过程中，乘客更期待的是对车辆的精准控制和高效导航，这就要求助手具备调动整车功能的强大能力。
理想与特斯拉等品牌率先尝试通过大模型使用户能够使用自然语言直接控制车辆功能。例如，理想i8便配备一种智能助手，用户只需说出“肩膀冷”或“胸口热”，它就能相应调整出风系统。正如火山引擎副总裁杨立伟在今年北京车展上所述：“我们的目标是在年底之前，让豆包座舱助手具备如同人类一样的思考能力，能够持续、高效地处理任务。” 如今，火山引擎借助这一助手希望实现对话、记忆与执行的有机结合，改变汽车与人为表达互动的方式，以适应人类多变的需求。 谈球吧
在汽车配备了大屏幕之后，尽管功能复杂性依然存在，它依旧保持着核心的互动原则：用户需要准确地传达自己的需求。车载助手主要处理的正是这些日常功能，当我们咨询时，杨立伟透露，早在今年4月，豆包大模型的调用中，控制功能占据了53%，而导航则占据了29%。虽然单一的操作，比如设置导航到家，点击屏幕或声控“导航回家”相对简单，但在多个任务同时进行的情况下——例如启动车辆、调整空调和座椅、确认导航目的地、回应车内乘客等，大模型的优势便体现出来了。豆包能够将自然语言转化为明确的功能指令，完成复杂的任务。
在我们的体验中，当我们说“觉得风直吹我的脸”،豆包不仅能降低风量，还会关闭车窗，并将主驾驶的出风口调整为避风模式。这一切都要求它能够清楚了解车内的功能状态及用户的历史偏好。火山引擎的智能座舱产品主管张航回忆道，自2023年起，团队开始探索如何利用大模型控制车内功能，控制接口已从100多个增加至1000多个，涉及车速、温度、电量和窗户开合等信息，现今更是能够感知数百种车辆信号，并调用数千项细分功能。具体到荣威家越07，豆包获得了超过2000项SOA服务接口的访问权限，使得它能够结合车辆状态与用户偏好高效规划执行任务。
在执行任务的过程中也难免会遇到额外的挑战。我们曾尝试让豆包创造一种恐怖氛围，它立即调低了车内灯光、降低温度并寻找合适的背景音乐。尽管第一次因为音乐软件没有会员而未能成功切换，豆包还是迅速寻找替代选项。而当后排乘客提出要用座椅震动来模拟有人在敲打身体时，由于后排座椅没有按摩功能，它灵活地采取了音效和情节的推进来进行补充。 谈球吧
处理临时插入的新指令也是一大考验。在一次演示中，豆包不仅主持了一个多人的问答环节，乘客将题目数目从十道改为五道，并要求在此过程中调整氛围灯，这时豆包需要同时管理游戏规则、答题进度和得分情况，确保在调整灯光的同时继续进行出题。
在不断强化大模型能力的同时，火山引擎与汽车制造商对不同的操作设置了相应的权限。例如，在荣威的案例中，双方设定了空调、车灯等可以由AI直接调节的功能属于“彩区”，而对车辆状态的调节则处于“灰区”，像在行驶中是否能调整座椅等，均需遵循底层规则，而刹车和转向等核心驾驶控制则不对模型开放。
在官方演示中，副驾驶因为快要迟到而要求车辆加速行驶，豆包通过重新规划路线给出更快的路径，但在需要增强巡航速度时自动向主驾驶求证，得到允许后才执行。 谈球吧
车内的多元互动让豆包需同时理解驾驶员、副驾驶及后排乘客的多重需求。对于他们的不同反馈，系统不仅需要分析每个人的意见，还要确认发言者是谁，并判断希望调整哪个位置。在我们的体验中，豆包在首次唤醒后保持30秒的连续互动，用户也可以选择60秒或90秒。在开启多人互动后，其余乘客可无障碍参与，无需重复唤醒。此外，中控台的豆包屏幕也会随对话变化其表情，以增强交流的可视化。
为了进一步将这种连续互动转化为更个性化的服务，豆包还需识别每位乘客的身份，并在交互中学习他们的习惯。通过声源位置、座位信息和车内摄像头，豆包能不断优化与乘客的互动方式，真正实现智能化的驾驶体验。
