7月27日,2025世界人工智能大会期间,斑马智行联合通义及高通首发端侧多模态大模型解决方案,推动汽车智能座舱转向主动智能。
斑马智行首席技术官司罗介绍,这是行业首个基于高通8397平台的端侧多模态大模型解决方案,可以通过纯车端方式实现智能座舱90%的“感知-决策-执行”服务闭环。基于该方案的端原生智能体可以进行多模态意图感知理解和交互,实现了从“指令接受者”到“对话参与者”的升级。
斑马智行发布端侧多模态大模型,智能座舱转向主动智能
“你好斑马,帮我点一杯元神AI咖啡。”在斑马智行展台上,用户可以在搭载元神AI的智己实车上,唤起本地生活Agent,从提出点咖啡需求,到选择规格/口味并最终下单支付,全程通过自然对话方式进行。
司罗指出,除了云上部署方式,这次三方联合发布会的端侧多模态大模型解决方案,采用的是端侧部署模式,主动智能、极速响应、隐私无忧、断网可用等特点,能够让用户对智能化感知更强。
斑马智行以场景案例方式,现场展示了基于高通8397的端侧多模态大模型方案:用户流汗上车时,元神AI根据舱内环境、用户状态及动作,主动打开空调,带来极速清凉或暖风;出行遇到持续拥堵时,元神AI“看到后”会主动推荐歌单,缓解拥堵焦虑;车上多人对话场景,元神AI可分析判断潜在任务需求并主动参与。而基于纯端侧部署和全方位安全技术,能够确保隐私无忧。
近日,全球知名调研机构IDC发布《智能座舱大模型能力评估,2025》报告,针对车控、车书、娱乐、出行、商务、生活、社交等7大高频场景,对9家主流新势力车企及AI公司的智能座舱大模型进行评估,斑马智行元神AI大模型以6项第一(其中3项满分)全面领先。
现场,斑马智行还展出了与10余家芯片企业、30余个芯片平台的开放适配合作情况。以Banma Hypervisor为例,联合黑芝麻智能打造业内首个单芯片舱驾一体方案,联合紫光展锐打造多系统智能座舱方案,实现芯片算力效能提升20%以上,软硬综合降本约30%,可支持L2辅助驾驶及复杂座舱场景,并于近期纷纷定点国内头部自主车企。在端侧多模态大模型方面,已经完成高通8397、英伟达Orin的适配研发和验证。
斑马智行发布端侧多模态大模型,智能座舱转向主动智能
自2024年开启AI in All战略后,斑马智行元神AI的研发迭代与商业落地高速进行,当前已经在智己、荣威、宝马等车企逐步落地。
会后,司罗在接受南方+记者采访时表示,端侧大模型方案将是未来发展趋势:端的算力会越来越强。
他认为,现有的云技术还存在几大壁垒,一是时延,二是够不够“聪明”,模型越来越大,也就越来越聪明,然而当大模型在云端运转时,速度就受到限制。要想平衡这两个问题,就需要在端上布置大模型,这也就意味着,对端侧的算力要求比较大,而过去端侧芯片并不能支撑一个足够大的模型。
“云上模型往往在70~100B,但端上模型通常只有7B、14B和20B,要小很多。”司罗说,未来芯片的算力会越来越强,接下来,能力更强、更完善的大模型能够在端上“上车”。
司罗乐观看到,端侧大模型的实现既得益于,大模型在今天也可以变得更小,而且在数据处理上,可能和一些大的模型差不多,能做更多事情,同时也得益于,端侧算力也在上涨。这两条曲线终究会有一个交叉的地方,在这个点上,端上可以部署够用的模型。在这种情况下,端侧部署模型将发挥出巨大的优势。
另一方面,端模型还关乎安全隐私。安全法规要求大量的数据是不能直接传输到云端的,对原始数据用非存储的方式进行隔离,以保证客人的隐私。“很多国家也要求,数据本地化,就会导致云端的大模特没有办法用了。”
“主动智能”成为此次访谈的高频词。司罗认为,这可以从三个层面来理解,第一是够快,用户提出的需求,可以很快响应,并且在某些场景发生时,快速主动提问或主动推荐,否则车辆行驶过去之后,就很难再折返。
第二是场景覆盖够广。用户需要有更多的场景,AI能够知道并且马上提供建议,比如,用户天天开车上班,每次到了一个地方要摇一下车窗并扫二维码,车机就知道这是在过高速收费站或者出停车场,经历过三五回后,只要到这个地方,车机就会提供相应的解决方案,用户说“Yes,ok”,那它就会把车窗摇下来。AI会发现点滴需求,然后形成对场景的全面覆盖。
第三是错误建议占比要很低。车机主动发起的任务是对还是错,发错了就很麻烦,用户本来并没有这个意图,车机给出了不需要的建议,最后用户就会觉得车机很烦,也就是说,主动智能的边界,如果没有做好会给人更多打扰。
“这就需要引入多模态的数据,形成一个数据整合和意图理解的引擎,判断它的置信度到多少。”司罗举例说,置信度与用户的重复性行为相关,比如只出现了两回,与频繁出现,置信度完全不一样,车机会积累这些数据,达到一定的置信度才会主动发起,这样能保证场景很丰富的同时,又不会打扰到车主,不至于没事乱推荐。
需要指出的是,一项技术的领先时效越来越短,如何看到行业同质化竞争?司罗对此表示,技术永远会趋向于同质化,就比如手机,不同品牌之间已经没有太大差别,但并不影响有非常大的商业机会和伟大的企业。但在达到同质化之前,依然还有大量的工作要解决,比如你的交互真的能否做到非常丝滑,另外,大模型上车需要大量的共创,而不是说拿来就用。