DriveVLM

DriveVLM是清华大学MARS实验室推出的自动驾驶研发系统，核心定位是将视觉语言模型能力融入自动驾驶流程，提升复杂场景下的感知与决策表现。该系统具备场景语义描述、多维度场景分析、分层驾驶规划三类核心功能，同时推出混合架构的DriveVLM-Dual版本，平衡大模型推理能力与传统自动驾驶系统的空间计算、实时响应优势。目标用户覆盖自动驾驶领域研究人员、高校相关专业师生、自动驾驶企业技术研发团队，可用于自动驾驶算法迭代、长尾场景处理方案验证、大模型在自动驾驶领域的落地研究等场景，相关实验成果已在nuScenes、SUP-AD公开数据集以及量产实车环境中完成验证。

主要功能

• 场景语义描述：系统接入车载多视角摄像头采集的道路画面后，视觉语言模型会自动识别画面中的车辆、行人、交通标识、道路结构等元素，将视觉信息转化为结构化的自然语言描述，标注各元素的位置、状态与行为趋势，帮助研发人员快速理解自动驾驶系统对当前道路环境的感知结果，也为后续的场景分析环节提供标准化的输入信息。
• 多维度场景分析：获取场景描述结果后，系统会结合预设的驾驶规则、交通法规知识库以及历史驾驶数据，对当前场景的风险等级、潜在冲突点、特殊场景属性进行判断，可识别施工路段、临时交通管制、非机动化交通参与者违规通行等长尾复杂场景，输出场景特征标签与风险提示，为后续的规划决策环节提供参考依据。
• 分层驾驶规划：完成场景分析后，系统会按照全局路径规划、局部行为决策、底层运动控制三个层级输出驾驶方案，全局层面优化长距离行驶路线，局部层面判断变道、避让、跟车等驾驶行为，底层层面输出油门、刹车、转向的具体控制参数，各层级决策可追溯对应的场景依据，方便研发人员对决策逻辑进行调试与优化。
• 双架构混合系统：针对纯视觉语言模型空间推理能力不足、算力需求高的问题，平台提供DriveVLM-Dual混合架构方案，将视觉语言模型的语义理解能力与传统自动驾驶系统的高精度空间计算、实时响应模块结合，既保留大模型处理复杂长尾场景的优势，又满足自动驾驶对响应速度、空间定位精度的要求，适配实车部署需求。
• 公开数据集验证：平台已在nuScenes、SUP-AD两类公开自动驾驶数据集上完成效果验证，用户可直接下载平台提供的数据集测试脚本，在对应数据集上复现系统的感知、决策表现，也可上传自定义的测试数据集，对比DriveVLM与其他自动驾驶方案的处理效果，为算法选型提供量化参考。
• 实车部署适配：DriveVLM-Dual版本提供量产车部署的适配方案，支持对接常见的车载传感器、域控制器硬件，用户可根据自身车辆的硬件配置调整模型推理精度、算力分配策略，将系统部署到实车中进行真实道路测试，验证系统在实际驾驶场景中的稳定性与适配性。

怎么使用

1. 第一步，访问DriveVLM官方网站，在首页导航栏找到“文档”板块，查阅系统架构介绍、环境配置要求相关内容，了解不同版本系统的适用场景与依赖条件，明确自身的使用需求。第二步，在“下载”板块获取对应版本的系统代码、预训练模型文件以及测试数据集样本，按照文档指引在本地服务器或测试设备上完成开发环境的搭建与部署。第三步，使用平台提供的示例测试脚本，加载nuScenes或SUP-AD数据集的样本数据运行系统，查看场景描述、分析、规划各环节的输出结果，验证系统运行是否正常。第四步，若需要测试自定义场景，可按照平台规定的格式上传自有道路测试数据，调整模型推理参数，运行系统并导出各环节的处理结果，评估系统在目标场景下的表现。第五步，若进行实车部署，参考平台提供的硬件适配文档，对接车辆的传感器与控制接口，完成系统联调后在封闭测试场地开展测试，逐步扩展到公开道路测试场景。

适合什么人群

• 自动驾驶领域科研人员（算法创新研究场景）
• 高校车辆工程/计算机专业师生（课程实践/课题研究场景）
• 自动驾驶企业算法研发团队（方案迭代验证场景）
• 自动驾驶测试工程师（实车场景测试场景）
• 智能交通领域研究人员（车路协同方案研究场景）
• 自动驾驶初创企业技术团队（原型系统搭建场景）

总结

这是由国内出色高校实验室推出的自动驾驶前沿研究项目，核心特色是将大语言模型与计算机视觉能力结合，为自动驾驶场景理解提供新的技术路径。和传统纯规则驱动的自动驾驶系统不同，该项目借助视觉语言模型的语义理解能力，能更好地处理交通场景中的模糊信息与长尾场景，比如无标识路口的行人意图判断、临时施工路段的规则适配等传统方案处理效果不佳的场景。平台同时提供了纯大模型架构与混合架构两个版本，既满足学术研究中对大模型自动驾驶方案的探索需求，也兼顾了产业端对系统实时性、可靠性的要求，相关实验结果已经在公开数据集和实车环境中完成验证，可复用性较强。对于想要探索大模型在自动驾驶领域落地的研究人员和技术团队来说，该项目提供了完整的参考框架与可复现的方案，能够降低相关技术的研发门槛。

价格与免费额度

DriveVLM所有核心代码、预训练模型、文档资料均面向公众免费开放，无功能使用限制，用户可自由下载用于非商业性质的研究、学习场景。若用于商业落地场景，需联系清华大学MARS实验室获取商用授权，授权费用根据应用场景、使用范围单独评估。建议学术研究用户直接使用免费开放版本即可满足需求，有商业化落地需求的企业可提前与实验室团队沟通授权相关事宜。

优点与不足

能帮你做的 8 件事

1. 01场景语义描述
2. 02多维度场景分析
3. 03分层驾驶规划
4. 04双架构混合系统
5. 05自动驾驶场景的常用方案
6. 06视觉语言模型场景的常用方案
7. 07自动驾驶领域科研人员（算法创新研究场景）的日常效率工具
8. 08先用免费额度验证需求再决定付费

更新历史

• 2026.06.14DriveVLM 收录进 Toolifai 目录
• 页面资料核验与信息更新

常见问题