1、大模型技术发展历程

  大模型泛指具有数十亿甚至上百亿参数的深度学习模型,而大语言模型是大模型的一个典型分支(以ChatGPT为代表)。Transformer架构的提出引入了注意力机制,突破了RNN和CNN处理长序列的固有局限,使语言模型能在大规模语料上得到丰富的语言知识预训练,一方面,开启了大语言模型快速发展的新时代;另一方面奠定了大模型技术实现的基础,为其他领域模型通过增大参数量提升模型效果提供了参考思路。   复杂性、高维度、多样性和个性化要求使得大型模型在自动驾驶、量化交易、医疗诊断和图像分析、自然语言处理和智能对话任务上更易获得出色的建模能力。     2、自动驾驶模型迭代路径     自动驾驶算法模块可分为感知、决策和规划控制三个环节,其中感知模块为关键的组成部分,经历了多样化的模型迭代:CNN(2011-2016)——RNN+GAN(2016-2018)——BEV(2018-2020)——Transformer+BEV(2020至今)——占用网络(2022至今)。   特斯拉自动驾驶技术路径的演进可视为自动驾驶技术迭代的风向标,呈现全栈自研、出软硬件的协同发展趋势:软件层面从采用Mobileye到自研Transformer+BEV和占用网络;硬件层面从与Mobileye、英伟达合作到自研FSD芯片方案。     3、大模型对自动驾驶行业的赋能与影响     自动驾驶领域的大模型发展相对大语言模型滞后,大约始于2019年,吸取了GPT等模型成功经验。大模型的应用加速模型端的成熟,为L3/L4级别的自动驾驶技术落地提供了更加明确的预期。   可从成本、技术、监管与安全四个层面对于L3及以上级别自动驾驶落地的展望,其中:成本仍有下降空间;技术的发展仍将沿着算法和硬件两条主线并进;法规政策还在逐步完善之中;安全性成为自动驾驶汽车实现商业化落地必不可少的重要因素。   各主机厂自2021年开始加速对L2+自动驾驶的布局,且预计在2024年左右实现L2++(接近L3)或者更高级别的自动驾驶功能的落地,其中政策有望成为主要催化。

成为VIP会员查看完整内容
75

相关内容

自动驾驶汽车,又称为无人驾驶汽车、电脑驾驶汽车或轮式移动机器人,是自动化载具的一种,具有传统汽车的运输能力。作为自动化载具,自动驾驶汽车不需要人为操作即能感测其环境及导航。完全的自动驾驶汽车仍未全面商用化,大多数均为原型机及展示系统,部分可靠技术才下放至商用车型,但有关于自驾车逐渐成为现实,已经引起了很多有关于道德的讨论。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
华为盘古大模型:让AI重塑千行百业,37页ppt
专知会员服务
123+阅读 · 2023年10月31日
海外模型应用复盘:国内AI奇点已至,80页ppt
专知会员服务
100+阅读 · 2023年10月29日
面向AI大模型的智算中心网络演进白皮书,30页pdf
专知会员服务
75+阅读 · 2023年5月15日
【WSDM2023教程】GNN中的自然和人工动力学,159页ppt
专知会员服务
25+阅读 · 2023年3月2日
深度强化学习理论最新进展,113页ppt
专知会员服务
73+阅读 · 2022年5月20日
Kyoto大学Toshiyuki:快速复杂控制系统的实时优化,133页ppt
【斯坦福CS329S】机器学习系统设计导论,92页ppt
专知会员服务
37+阅读 · 2021年1月19日
【经典书】概率机器人,668页pdf
专知会员服务
70+阅读 · 2020年12月16日
专知会员服务
106+阅读 · 2020年8月28日
【2022新书】深度学习归一化技术,117页pdf
专知
17+阅读 · 2022年11月25日
【KDD2020】图神经网络:基础与应用,322页ppt
【新书册】贝叶斯神经网络,41页pdf
专知
26+阅读 · 2020年6月3日
PointNet系列论文解读
人工智能前沿讲习班
17+阅读 · 2019年5月3日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
29+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
Arxiv
134+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
328+阅读 · 2023年3月31日
Arxiv
56+阅读 · 2023年3月26日
Arxiv
115+阅读 · 2023年3月24日
VIP会员
相关VIP内容
华为盘古大模型:让AI重塑千行百业,37页ppt
专知会员服务
123+阅读 · 2023年10月31日
海外模型应用复盘:国内AI奇点已至,80页ppt
专知会员服务
100+阅读 · 2023年10月29日
面向AI大模型的智算中心网络演进白皮书,30页pdf
专知会员服务
75+阅读 · 2023年5月15日
【WSDM2023教程】GNN中的自然和人工动力学,159页ppt
专知会员服务
25+阅读 · 2023年3月2日
深度强化学习理论最新进展,113页ppt
专知会员服务
73+阅读 · 2022年5月20日
Kyoto大学Toshiyuki:快速复杂控制系统的实时优化,133页ppt
【斯坦福CS329S】机器学习系统设计导论,92页ppt
专知会员服务
37+阅读 · 2021年1月19日
【经典书】概率机器人,668页pdf
专知会员服务
70+阅读 · 2020年12月16日
专知会员服务
106+阅读 · 2020年8月28日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
29+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
微信扫码咨询专知VIP会员