1. 创业头条
  2. 前沿领域
  3. 人工智能
  4. 正文

大模型攻入自动驾驶

 2023-10-20 09:30  来源:A5用户投稿  我来投稿 撤稿纠错

  域名预订/竞价,好“米”不错过

©自象限原创

作者|罗辑

编辑|程心

“自动驾驶的前提是安全与严谨,大模型给出'差不多'的结果是不行的。”

在今年4月初,大模型刚刚问世时,一位自动驾驶领域的资深投资人向「自象限」表达了,他对通用大模型应用在自动驾驶领域的担忧。

不被看好的原因有很多,比如大模型“胡说八道”的问题,导致大家认为它达不到自动驾驶的安全等级要求;比如大家认为大模型解决的是共性推演的问题,但自动驾驶解决的0.5%的corner case;再比如大模型要在车端落地,需要与结合前融合算法,对前端算力的要求会很高。

总而言之,通用大模型的不确定性和自动驾驶的严谨性像一个硬币的两面,落地上也面临着几座短期内难以翻越的大山。“这会是整个体系建设的问题,不是角度算法可以改变的。”这位投资人如此总结道。

尽管不被看好,但6个月过后,大模型还是以一种蛮横的方式冲进了自动驾驶行业。

打响第一枪的,仍然是特斯拉。今年8月,特斯拉端到端AI自动驾驶系统FSD Beta V12首次公开亮相,完全依靠车载摄像头和神经网络来识别道路和交通情况,并做出相应的决策。国内,自动驾驶和大模型公司都开始紧锣密鼓的布局,9月,华为盘古大模型3.0推出了自动驾驶行业大模型;10月,在毫末第九届AI Day中,也讲解了其身处自动驾驶领域对大模型的一系列探索。

从结果来看,目前大模型对自动驾驶的改变分为两个方向:一是大模型作为工具,辅助自动驾驶算法的训练,优化过程;二是大模型作为决策模型,直接驾驶车辆,改变结果。

透过国内外的探索,这条看似相悖的技术路径似乎开始一步步清晰,那么大模型究竟能给自动驾驶带来了什么?核心的技术难题又该如何解决?

大模型,更换自动驾驶训练引擎

首先,大模型正在重塑自动驾驶的训练过程。

从大模型被讨论的第一天开始,从文本到图片生成,大家就深刻意识到大模型在提高工作效率上的巨大潜力。这一点,在自动驾驶训练上也不例外。

训练自动驾驶算法,是一个漫长而庞大的工程,从数据采集、传输、管理;到数据清洗、标注、准备,到最后投入到训练自动驾驶算法的熔炉当中,中间会涉及到数十个环节。

而如今困扰自动驾驶发展的核心问题也来自于此,一个是随着绝大部分常规问题被解决,有效数据的收集难度越来越大;其次则是随着数据规模的增加,数据处理的成本也越来越高。

▲图为自动驾驶训练过程

首先是数据收集的问题。当自动驾驶走入最后0.5%的corner case阶段,场景数据在现实世界就变得可遇不可求。

为了应对这些问题,特斯拉、Waymo、Cruise等企业都在不同程度使用合成数据来模拟真实世界来训练自动驾驶。

但这种方式也存在一些弊端,比如合成数据虽然能轻松生成大量数据,提高自动驾驶训练数据的多样性。但作为人工生成的数据,合成数据并不能完全模拟真实世界的复杂和变化。过度使用合成数据,会导致自动驾驶出现“纸上谈兵”的现象,即在训练时表现很好,但一上路就不行,这种情况被称为过度拟合。

而针对这样的问题,大模型提供了一种新的解决方案。

比如使用大模型进行数据生成的技术——迁移生成。它可以基于一个真实的场景,快速生成不同时间、不同环境的情况。比如拍摄一张街道春天的照片,大模型可以快速生成这条街道雨天、刮风、下雪等不同条件、不同季节的情况。

这么做的好处在于“可控”,自动驾驶训练可以根据一些特定的需要生成一些特定的场景,而更重要的是,这些场景中包含一些真实数据,在增加训练场景丰富性的同时,又可以避免过度拟合的情况。

目前已经有厂商在逐步尝试,毫末CEO顾维灏在AI Day中便提到了该技术,清华智能产业研究院(AIR) 提出的自动驾驶模型也有类似的设置,在他们的设定中,模型会提出怎样获取不同的数据,包括真实世界数据和仿真数据。然后这些数据要经过受控管道进行清理,再经过感知和决策两大模型,最终为车辆提供决策。

其次是数据标注,数据标注并不是一次性完成的,同一张照片,不同时期,依据需要解决问题的不同,需要标注的东西也不太一样。

比如一开始需要解决的是车辆识别的问题,那么照片中重点标注的是不同的车辆,后来要解决红绿灯识别的问题,重点标注的可能就是红绿灯。总之,数据标注是一个反复,且逐步细化的过程,因此难度和成本也在持续增加。

在国外,特斯拉最早启动数据自动标注,这让原来需要几个月时间的工作可以在几周内完成。2022年6月,得益于效率的提升,特斯拉裁掉了其位于加利福尼亚圣马特奥办事处的绝大部分数据标注员工。

特斯拉之后,国内自动驾驶企业也开始跟进,将自动标注使用到日常训练中。作为特斯拉的”中国学徒“,顾维灏介绍了毫末使用大模型进行数据标注的案例。

其运用大语言模型和多模态的能力,通过将图文和文图交叉的特征做匹配的,然后再将其放到大语言模型中,针对形成于特征空间的搜索(query)特征。在这样的基础上,大模型就可以在不需要做太多准备的情况下,将之前没有标注过的,想要标注的内容标注出来。

整体上,大模型的接入优化了自动驾驶的训练过程。

如果将训练自动驾驶算法比作是金字塔的修建,那么大模型的加入,就如同将曾经依靠人力堆砌的石块,改换成现代化的起重机,加快了自动驾驶的“搭建”进程。

大模型,让自动驾驶“长出脑子”

在自动驾驶训练中,大模型就像全职助手一样不断提高算法训练的效率。但这也仅仅只是工程上的优化,大模型给自动驾驶带来的,还有更深层次改变。

这个问题要回到自动驾驶是如何进行工作的。

在大模型出现之前,自动驾驶是任务驱动的。即程序员依据一些特定的场景,编写一些解决方案的代码,当车辆在行驶过程中感知到相应的情况,便按照之前设定好方式处理。

在这个基础上,自动驾驶的发展就变成:发现一个问题,收集一些数据,然后训练一个小模型来解决这个问题,然后再发现新的问题,如此循环。

但这种模式对于问题的解决具有一定的滞后性,即问题要先被发现,然后等一段时间才能被解决。其次是泛化问题,即在同一个问题在夏天解决了并不一定在冬天解决。也正是因为如此,自动驾驶才有解决不完的corner case。

这些问题,实际指向的其实是传统自动驾驶算法“照本宣科”式的工作模式,并没有真正认识世界、理解世界,即自动驾驶并没有灵魂。

大模型的出现则为这个问题的解决给出了方向,就像大模型让虚拟人、让语音助手都长出“脑子”一样,大模型也在让自动驾驶长出“脑子”。

特斯拉的“端到端”技术又叫作“感知决策一体化”,也就是将“感知”和“决策”融合到一个模型中,直接对车下达指令,控制车辆,这样输入传感器信号后可以直接输出车控信号,大大降低了级联误差的概率,也因此大大提升了系统性能的上限,整体潜力极大。

▲ 图源马斯克Twitter

目前国内还未能做到真正的“端到端”,比如毫末DriveGPT仍然分为感知大模型和认知大模型两部分。

感知大模型除了要根据车端输入的信号做三维重建,还要加上时序特征形成一个四维空间。在此基础上,毫末引入多模态大模型,多模态大模型已经做了许多文本和对齐的工作,这个时候再和4D语义空间做对齐,就可以把自动驾驶传感器看到的这些东西全部语义化,这样就形成了通用的,识别万物的能力。

而有了这样的能力之后,结合认知大模型就可以结合驾驶时的信息和行驶目标,比如直行、变道、左转等信息,给出相应的驾驶决策和驾驶解释,然后大模型将其转化为自动驾驶的语言,通过Drive Prompt和自动驾驶系统做交互。

本质上,大模型就像是自动驾驶的“领航员”和“翻译官”,它理解驾驶的目标和意图,它识别和感知环境,然后做出决策并将其翻译成自动驾驶的语言,向自动驾驶系统下达合适的指令。

当然,从人的角度来讲,驾驶车辆的过程需要的除了识别万物,还有对环境中所有物体运动方向的预判,这样才能在面对复杂交通环境时提前做出反应。

大模型同样对自动驾驶带来了这方面的改进。

2022年,特斯拉在年底的AI Day上就曾提出过一个名叫交互搜索(Interaction Search)的规划模型,其主要由树搜索,神经网络轨迹规划和轨迹打分三部分组成,可以有效预测道路交通参与主体的行为轨迹。

从这可以看到,自动驾驶的决策已经从之前,依靠单一信息进行分布决策,变成了多种信息汇总之后的统一决策。

▲ 自动驾驶的决策路径

即大模型的决策越来越像是一个整体。

目前生成未来世界这项技术可以根据当前的视频、图片,生成未来2~5秒的情况,其预测2s后准确率达到85%,这可以让AI对未来有一些预判。同时,预测未来的技术也可以用在自动驾驶训练上,比如可以生成未来的图片,然后基于真实图片和生成的未来的图片再进行自监督学习,以此来提升整个视觉大模型识别的判断的能力。

它让自动驾驶越来越成为一个“整体”,正如清华大学智能产业研究院院长张亚勤说的那样,“AI 大模型带来了从判别式 AI 到生成式 AI 的新技术范式变革,自动驾驶达到最后的安全、可靠阶段一定是端到端方式实现。”

自动驾驶的底层进化

成为“整体”,自动驾驶中关于这个的讨论其实并不是在大模型热度起来之后才开始的。

2022年,当关于自动驾驶的讨论还聚焦在芯片和电子电气架构的时候,全球著名的汽车零部件供应商博世曾提出,汽车电子电气架构将从分布式向域集中式和中央计算过渡。

早期的汽车电子电气架构是以ECU(Electronic Control Unit 电子控制单元)为主,一辆汽车通常有30到100个ECU不等,分别控制汽车的引擎、变速器、制动等等功能。随着汽车智能化的进程,相关功能的ECU逐渐被整合成域控制器,目前智能汽车通常有动力域、底盘域、车身域、座舱域和自动驾驶域五个。

在这个基础上,智能汽车的电气架构还在向一个“整体”演变,最终将会形成由一个统一中央计算单元控制的形式。2016年,特斯拉发布的Model 3实现了中央域控制架构的雏形,当时被行业认为在电子电气架构方面领先传统车企6年以上。

从“散装”到“整体”,这是智能汽车硬件层面的变化,这种变化也推动着自动驾驶软件层面向一个“整体”发展,而契机就是大模型。

关于自动驾驶与大模型,张亚勤提到,“自动驾驶不是一个模型,而是多个模型的组合。”这其实正好对应智能汽车硬件域控制器的发展阶段。

这也是华为盘古大模型3.0的思路,华为云EI服务产品部部长尤鹏认为,通过数智融合架构打破数据、AI资源管理边界,在一个平台即可完成开发、测试、交付上线工作,让业务创新提效2倍,实现数据加速;借助盘古大模型在认知、感知、决策、优化等全领域的能力,车企可以快速基于盘古训练出自己需要的模型,实现算法加速;同时,华为还提供底层昇腾算力平台,解决自动驾驶对算力的高需求,做到千卡训练数月不中断,打通“全链路”,实现算力加速。

“全链路的模型化是3.0时代的一个重要的演进思路,最终演变成端到端的大模型。”顾维灏说。

而一旦完成了全链路的打通,这样的改变带来的将是大范围且高速迭代。正是因为“端到端”技术,马斯克曾放出豪言“将可能在今年年底实现完全的自动驾驶”。这句话虽然不排除马斯克吹牛的成分,但我们也可以从中看出“端到端”技术的巨大潜力。

总的而言,对于自动驾驶来说,大模型并不是一种决策方式,也不单单是指一种技术,而更应该是自动驾驶发展的一种最终形态。

当然,虽然大模型给自动驾驶的落地带来了巨大的想象力,但实际的应用和落地过程仍然面临许多问题。

比如最直接的问题就是如何将云端大模型的能力应用到车端。

目前行业普遍应用的方式有三种:

第一种是将大模型蒸馏到小模型,应用到车端。这具体又分为两种路线,一种是通过大模型给数据打标签,监督小模型学习;另一种是将大模型上的Feature map 和小模型上的Feature map进行对齐,然后来完成小模型能力的提升。

从毫末公布的工作效率来看,一个模型的蒸馏需要好几个月,但能够帮助自动驾驶车端模型在个别任务上的感知指标提升5%。

第二种是在云端通过大模型构建一种能力,然后再通过减脂、蒸馏等方式将大模型的能力蒸馏到车端的小模型上,来完成车端小模型的进步。

第三种则是直接使用云端大模型。毕竟虽然云端传输会面临信号、安全、延迟等问题的困扰,但也并不意味着所有决策都需要在车端完成。云端大模型具有更强的泛化能力和解释能力,对于任务实时性和网络信号较好的地方,也存在可能让车端的一些通信和云端大模型进行交流,然后让云端大模型完成车端工作的情况。

除了从将大模型运用到车端之外,大模型指导的自动驾驶还有许多人类生活的常识需要学习。比如路沿的方向是不是能走,面临多个路口的时候各个方向是不是一定按照车道线走,这些在实际交通实践中约定俗成的东西大模型还无法掌握。

“现在解决这些问题就需要加许多约束,而一旦加约束,这个系统就变得不聪明了。”顾维灏提出了其中的逻辑悖论。

所以如何去解决这些问题,又如何发挥大模型的优势成为未来很长时间自动驾驶的考题,毕竟当前大模型对于自动驾驶的改变,也只是第一声枪响而已。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
自动驾驶

相关文章

  • 滴滴,能否承载小鹏自动驾驶的野心?

    剧本已经写好,故事还要时间。

  • 如祺出行递表,港交所迎来首位Robotaxi商业化观察对象

    港交所近年来持续对新经济公司和科技创新类公司释放善意,接连优化上市条款,摆出“筑巢引凤”姿态。这也让外界对新兴领域的兴趣大大增加。8月18日,出行科技与服务公司如祺出行正式递表港交所,其业务模式为Robotaxi和有人驾驶网约车两条腿走路,背后还有技术服务的输出,这无疑让港股又迎来一位差异化选手。因

    标签:
    自动驾驶
  • 禾赛科技Q2营收交付双新高,国产激光雷达从量变到质变

    随着2022年激光雷达元年、2023年城市智能辅助驾驶(NOA)元年相继到来,激光雷达产业迎来爆发期。今年以来,自动驾驶公司、汽车制造商以及移动出行公司等各路人马积极推动城市级别的智能辅助驾驶全面落地,北京、上海、深圳、广州等多座城市发布相关政策。在产业+政策的推动下,自动驾驶有望实现商业化破局。作

    标签:
    自动驾驶
  • 如祺出行冲刺自动驾驶商业化,人少的地方机会多?

    网约车,正在迎来让人“不明觉厉”的新一轮竞赛。网约车监管信息交互系统的数据显示,截至今年6月30日,全国共有318家网约车平台公司取得网约车平台经营许可,环比增加5家;网约车监管信息交互系统6月份共收到订单信息7.63亿单,环比上升3.7%。简单来看,供给和市场规模已经触达天花板,不复明显的增长。行

    标签:
    自动驾驶
  • 欧卡智舶打造“漾”水上超级空间,L4级自动驾驶智能游船赋予智慧文旅新生态!

    水上文旅三大痛点随着经济不断复苏,旅游行业正在步入高速回暖阶段,面对不断提高的旅游品质与质量,投资方与经营者不再是简单的准备一块水域,或是添置一些水上器械装备就可以。大部分消费者对于水上活动甚至已经形成了固化的观念。痛点一:玩法匮乏我们针对国内众多5A级景区的部分游客人群进行了采访,问到其所了解的水

    标签:
    自动驾驶
  • AI加速时代的“进度条”,我们拨动了百分之几?

    “技术日新月异,人类生活方式正在快速转变,这一切给人类历史带来了一系列不可思议的奇点。我们曾经熟悉的一切,都开始变得陌生。”计算机之父约翰·冯·诺依曼曾这样说到。

    标签:
    ai智能
  • AI视频赛道,要变天了

    “毁灭你,与你何干?”,这是在刘慈欣的科幻小说《三体》里用来形容人类与三体人之间的战争的一句话。

    标签:
    ai智能
  • “创造市场”与“算法进化”,中美AI竞速的岔路口

    “人工智能的商业模式,是要创造一个市场,而非一个算法”。这是世界AI泰斗MichaelI.Jordan的观点。而当前的全球AI市场,占据主导地位的中美双方,却也走出了两条截然不同的技术路径,前者执着于前沿技术的探索,后者则发力应用优化和商业化落地。南辕北辙的两个方向,或许已经无法直接进行排位先后、优

    标签:
    ai智能
  • 智能体进化发展了一年,现在的RPA Agent迭代到什么程度了?

    智能体进化发展了一年,现在的RPAAgent迭代到什么程度了?从实在智能最新发布的实在Agent7.0,看RPAAgent的迭代升级抓取豆瓣信息、自己制作PPT,这款AIAgent真的实现了流程全自动化AIAgent构建到执行全自动化,持续进化RPAAgent再次降低智能体应用门槛实在智能重磅发布实

  • 崔大宝:大模型降温背后的难点、卡点、节点

    崔大宝|节点财经创始人进入2024年,大模型似乎有熄火之势:资本市场,与之关联的概念炒不动了,英伟达股价动辄暴跌重挫,引发“泡沫戳破”的担忧;消费市场,BATH们的推新活动少了,产品更新迭代的速度慢了,民众的关注度降了……热闹的大概只剩下两场酣仗:自5月15日字节跳动宣布“以厘计费”,打响国内大模型

    标签:
    大模型
  • 这一届“出道”的数字人,已经拿捧上了“铁饭碗”

    文|智能相对论作者|陈泊丞好消息!你心心念念的事业单位发录取公告了!坏消息!他们没录你,录了个数字人。图片来源网络随着数字人技术的突破,越来越多的传统企业和机构开始用上了“数字员工”。甚至很多中国人心心念念的“铁饭碗”,也被这些数字人给捧上了。数字人捧上了“铁饭碗”简单翻看一下全国各地事业单位的“录

    标签:
    数字人
  • 来到IPO关口,地平线离“三分天下”还有多远?

    黑芝麻智能敲钟后,港交所门口又有一些智驾芯片企业引发关注。据悉,近日地平线已通过中国证监会IPO备案,拟发行不超过11.5亿股境外上市普通股并在香港联合交易所上市,预计筹集约5亿美元资金。从天眼查可以了解到,该公司成立于2015年,是一家乘用车高级辅助驾驶(ADAS)和高阶自动驾驶(AD)解决方案供

  • 机器人大会引领产业动向,卓翼飞思绘制无人系统教科研新蓝图

    8月21日,万众瞩目的2024世界机器人大会暨博览会在北京亦创国际会展中心盛大开幕。这场为期5天,集“展览”“论坛”“赛事”于一体的机器人盛会,反映了当下机器人领域的繁荣生态。据官方统计数据,今年现场逛展观众高达25万人次,比去年增加25%。机器人行业有多火?看看2024世界机器人大会火爆程度便可知

  • 卓翼智能:超大载重高烈度环境特种智能系留无人平台的应用与未来

    瞄准场景需求,打造国内领先的自主可控、高质量超大载重高烈度环境特种智能系留无人平台。卓翼智能亮相HICOOL峰会以科技实力荣摘创业大赛一等奖这个比赛5年培育出16家“独角兽”HICOOL2024全球创业者峰会暨创业大赛已于8月25日在北京圆满落下帷幕,大赛共吸引了124个国家和地区的7406个创业项