「大模型+大算力」加持，通用人工智能和智能驾驶双向奔赴

开年以来 ChatGPT、GPT-4 的相继面世再度掀起计算机科学领域通用人工智能（AGI）研究热潮，也不断刷新我们对 AI 的认知。

作为具有人类水平表现的大型多模态模型，GPT-4 被视为迈向 AGI 的重要一步，标志着创新范式的深度变革和生产力的重新定义，也必将带来更多元的产品迁移。

截至目前，全球已经有超百万家初创公司声称使用这一秘密武器来创造新产品，而这些产品将彻底改变从法律到股票交易，从游戏到医疗诊断的近乎一切领域。

尽管其中很多是营销泡沫，但与所有技术突破一样，总会存在炒作周期和意想不到的远期效果。

事实上在另一边，进入 2023 年智能汽车领域同样十分热闹。

智能化已然成为上海车展全场关注的最大焦点，除了激光雷达等关键传感器的单点式突破，各大巨头也纷纷展示智能驾驶全产品矩阵，城市场景辅助驾驶量产落地加速推进。

更加值得注意的是，BEV、大模型、超算中心等计算机热词正在与自动驾驶、行泊一体、城市 NOA 等智驾焦点火速排列组合，颇有相互交融、双向奔赴的味道。

在这背后，一方面是近年来智驾、智舱持续升级对 AI 在汽车场景落地的数据、算法、算力不断提出更高要求，另一方面，AGI 的重大突破也已将触角伸向智能汽车，将其视为实现闭环应用的重要场景，很多企业布局已经相当高调。

日前，商汤科技 SenseTime 举办技术交流日活动，分享了以「大模型+大算力」推进 AGI 发展的战略布局，并公布该战略下的「日日新 SenseNova」大模型体系。

在「大模型+大算力」加持下，本次上海车展商汤绝影驾、舱、云一体产品体系已全栈亮相，近 30 款合作量产车型集中展出，商汤也再度分享了智能汽车时代的 AGI 落地新思考。

本次上海车展亮相的部分绝影合作车型展示

01

算法：AI 正式步入大模型时代

如商汤科技联合创始人、首席科学家、绝影智能汽车事业群总裁王晓刚所言，「AGI 催生了新的研究范式，即基于一个强大的多模态基模型，通过强化学习和人类反馈不断解锁基模型新的能力，从而更高效地解决海量的开放式任务。」

通用大模型并非为自动驾驶而生，或为满足自动驾驶的特定任务需求而设计。但智能驾驶开发的诸多新需求已在推动算法从专用小模型向通用大模型快速演进。

首先是应对海量数据处理和 Corner Case 问题的迫切需求。

对于感知系统低频出现但至关重要的小目标及带来的潜在安全隐患，算法开发需要面对海量数据，传统的 AI 小模型将难以同时处理大数据量和高复杂度的任务。通用大模型则可用在长尾目标的初筛过程，并叠加语料文字处理得到很好的效果。

再比如智驾算法开发对自动化数据标注、降低人工成本的诉求。相比于人工标注，通用大模型将自动化对海量数据完成标注任务，大幅降低标注数据获取的时间成本和本身的金钱成本，从而缩短研发周期、提升成本效益。

处于类似的考量，近年来国内外巨头企业已围绕大模型纷纷展开各自智驾布局。

继 Google 于 2017 年提出将 Transformer 结构应用在 CV 领域图像分类，大模型已在 GPT-2、GPT-3、BERT 等当中不断证明实力，特斯拉率先站台 Transformer 大模型征战图像视觉。

国内企业也紧随其后：

毫末智行已宣布自动驾驶认知大模型正式升级为 DriveGPT，百度表示利用大模型来提升自动驾驶感知能力并将大模型运用到数据挖掘，华为也已宣布加入大模型争霸赛，自研「盘古」即将对外上线。

作为行业领先的人工智能公司，商汤在大模型领域可谓乘风破浪，过去一两年则全面将大模型能力在各业务线 20 多个场景落地，包括智能驾驶。

商汤「日日新 SenseNova」大模型体系背后是大模型研发中深厚的积累。商汤有自己的全栈大模型研发体系，其中就包括针对大模型的底层训练及实施过程中的各种系统性优化。

例如，商汤近期向社区发布的用于真实感知、重建和生成的多模态的数据集 OmniObject3D 中包含 190 类 6000 个物体，数据质量非常高。

再比如，商汤在 2019 年就已首次发布 10 亿参数的视觉大模型，到 2022 年参数规模已达到 320 亿，这也是世界上迄今为止最大的视觉模型。

此外，商汤也在智驾领域持续展示大模型能力。2021 年开发的 BEV 感知算法在 Waymo 挑战赛以绝对优势取得冠军，2021 年 BEV Former 的 Transformer 结构至今仍是行业最有影响力的 BEV 工作，今年开发的 UniAD 是业内首个感知决策一体化的端到端自动驾驶解决方案。

在技术实力的另一端是量产进度。商汤也给出了自己的智能驾驶量产公式：

自动驾驶技术能力=场景数据 x 数据获取效率 x 数据利用效率² =场景数据 x 数据获取效率 x 先进算法 x 先进算力。

而先进的算法大模型不仅将通过跨行业数据汇聚提升驾驶场景数据资源，通过数据闭环开发模式和自动数据标注提升数据获取效率，更将大幅提升感知精度和感知丰富度进而成倍提升数据利用效率。

依托原创 AI 算法和模型积累，商汤领先的 BEV 感知算法推进国内首批量产应用，并采用 Domain Adaption 算法有效解决跨域泛化问题。商汤首创的自动驾驶 GOP 感知体系将目标数据获取的人力成本降低 94%，实现低成本的车端模型开发，目前也已投入量产应用。

02

算力：智能汽车时代的重要基础设施

随电子电气架构技术由分布式不断向集中式演进，大算力芯片成为新型电子电气架构实现的物理基础。

近年来车端芯片算力发展突飞猛进，如英伟达规划中的 Atlan 单颗芯片算力超 1000TOPS，Thor 单颗算力超 2000TOPS，将大幅提升单车感知决策能力。

而在云端，AGI 在自动驾驶、网联等场景的泛化应用将提出比车端指数级更高的算力要求——从数据标注到模型训练，从场景仿真到算法迭代。

算力将是智能汽车时代的新型基础设施。

在此背景下，近年来主流企业纷纷开启双线并行探索，车端自研算力平台，云端建立超算中心。而进入大模型时代后，数据量随着多模态的引入也将大规模增长，因此必然也会导致 AGI 对算力需求的剧增。

可以看到，英伟达车端云端同步布局并将提供端到端的全栈式 AI 加速计算解决方案，特斯拉也早在 2021 年 8 月发布自研云端超算中心 Dojo。

据近期报道，埃隆·马斯克也将成立一家人工智能公司来与 OpenAI 竞争，已购买数千个英伟达 GPU 并一直招募 AI 研究人员和工程师。

国内方面，吉利、蔚来、特斯拉、毫末智行、小鹏等企业也已跟进布局云端算力集群，投入巨大以提升智驾开发算力储备。

对于商汤来说，如果说大模型将是支撑智能驾驶的上层建筑，那么大算力就是数字基座。

商汤科技董事长兼 CEO 徐立表示，目前大模型对基础算力、基础设施的需求非常旺盛，基础算力对并行效率的要求也非常高，但真正好用的基础设施其实十分稀缺。

出于这一原因，商汤历时五年自建了业界领先的 AI 大装置 SenseCore，完成 2.7 万块 GPU 的部署并实现 5.0 exa FLOPS 的算力输出能力，是亚洲目前最大的智能计算平台之一，可同步支持 20 个千亿规模参数量的超大模型同时训练。

位于上海临港的 AIDC 人工智能计算中心将为智能汽车的数据存储、标注、脱敏、仿真训练、算法迭代到部署的闭环提供算力支持，打通基于数据驱动的算法生产全流程，加速高级别智能驾驶技术的 AI 模型生产和持续迭代，推动实现规模化量产。

在 AIDC 的基础上，AI 大装置也将提供支持大模型生产的一系列服务：

• 处理大模型需要的自动化数据标注，将使智能标注效率提升百倍；

• 大模型推理部署，使得推理效率提升 100% 以上；

• 大模型并行训练，最大 4000 块卡并联的单集群，可训练参数量超 5000 亿的稠密模型，可训练超万亿参数；

• 大模型增量训练，增量微调成本降低 90%；

• 开源模型和大模型训练开发者工具，大规模提升开发效率。

如此规模的算力设施即使特斯拉同期也尚难以望其项背，也必将推动大模型的高效闭环。

03

「大模型+大算力」

推动智能汽车行业整体进程

汽车行业正在面临百年未有之大变革。尽管此次以「大模型+大算力」推进 AGI 发展是商汤提出的战略布局，但事实上，这一理念早已在行业层面达成共识。

基于感知、决策规控和 AI 云三大核心能力，商汤「大模型+大算力」已赋能绝影驾、舱、云三位一体产品体系量产落地： 

除智能驾驶领域的全栈能力和行泊一体量产解决方案外，「大模型+大算力」也正在助力商汤打造智能座舱跨场景生态。

车展期间，与商汤「日日新 SenseNova」大模型体系深度融合的绝影未来展示舱升级亮相，语言大模型「商汤商量 SenseChat」以及 AIGC 文生图平台「商汤秒画 SenseMirage」也已上车，多点融合重构人车交互方式，打造第三空间。

以「商量」为例，作为千亿级参数的自然语言处理模型，其使用大量数据训练并充分考虑中文语境，展示出出色的多轮对话和超长文本的理解能力。

商汤也展示了语言大模型支持的诸多汽车场景创新应用，如在行车过程中化身「邮件助手」自动提炼关键信息，作为「会议助理」自动生成会议纪要，大大节省用户行车时处理工作的时间和精力，为未来出行的应用场景拓展带来丰富的想象空间。

此外，以人工智能大模型开发、生产、应用为核心，一站式、自主研发的 AI 云也为商汤自动驾驶数据闭环赋能，为 AGI 在智驾、智舱领域的技术迁移奠定基础。

自 2021 年推出「SenseAuto 绝影」智能汽车平台以来，商汤持续展现在这一行业的技术迭代和产品落地速度。

在本次上海车展上，数十款绝影合作量产车型悉数亮相，6 款座舱产品行业首发，截至目前，商汤绝影已与全球范围内超过 30 家车企合作，拥有超 50 个生态合作伙伴，累计前装定点数量超 3100 万台，深入诠释 AGI 时代智能汽车量产落地新范式。

面向更长远的未来，「大模型+大算力」将不仅推动 AGI 在智能汽车这一纵深领域的产业演进，并将使其持续赋能百业——现在将这项技术「放回原处」为时已晚。

期待 AGI 在未来为我们释放无限的可能性，帮助人类应对各领域的全球共同挑战。