LEO
LEO是基于大型语言模型开发的多模态多任务具身智能代理项目官网，核心定位为面向3D环境交互的通用AI研究成果展示平台
LEO是基于大型语言模型开发的多模态多任务具身智能代理项目官网，核心定位为面向3D环境交互的通用AI研究成果展示平台。平台支持3D视觉语言对齐技术演示、3D具身任务效果展示、相关训练数据集信息查询三类核心功能，主要面向AI研究人员、机器人开发从业者、高校计算机相关专业师生三类用户，可用于3D具身智能技术调研、多模态AI模型性能参考、机器人任务规划方案设计等场景。项目公开了两阶段训练框架的技术细节，以及在3D字幕生成、3D场景问答、具身导航、机器人操作等多个任务中的实验结果，为相关领域的技术研发提供参考依据。
- 适用对象
- AI研究人员（具身智能方向技术调研）
- 主要功能
- 技术框架展示、任务效果演示
- 计费方式
- 付费
- 平台
- 网页
- 已收录
- 2026.06.14（136 天）
阅读目录
编辑评测与站内热度
编辑综合评分
满分 5 分
六维指标基于站内真实数据（热度、社区反馈、资料完整度、可达性核验等）综合评估，非用户投票。
全站热度排名
#4751
分类内排名
#92 / 165
累计站内点击
—
近 7 日点击
—
排名与点击为站内真实统计口径，反映 Toolifai 用户行为，非编辑评分。
LEO是什么，怎么使用？
约 5 分钟LEO是基于大型语言模型开发的多模态多任务具身智能代理项目官网，核心定位为面向3D环境交互的通用AI研究成果展示平台。平台支持3D视觉语言对齐技术演示、3D具身任务效果展示、相关训练数据集信息查询三类核心功能，主要面向AI研究人员、机器人开发从业者、高校计算机相关专业师生三类用户，可用于3D具身智能技术调研、多模态AI模型性能参考、机器人任务规划方案设计等场景。项目公开了两阶段训练框架的技术细节，以及在3D字幕生成、3D场景问答、具身导航、机器人操作等多个任务中的实验结果，为相关领域的技术研发提供参考依据。
主要功能
- 技术框架展示：用户进入网站后可直接查看LEO的两阶段训练架构说明，第一阶段为3D视觉语言对齐模块，介绍了如何将3D点云、视觉图像与文本语义特征进行统一映射；第二阶段为3D视觉语言动作指令调整模块，说明了如何让模型理解自然语言指令并输出适配3D环境的动作序列。每个模块都配有对应的技术原理图和训练流程说明，帮助用户清晰理解模型的核心实现逻辑。
- 任务效果演示：网站提供多个3D具身任务的实际效果展示板块，包含3D字幕生成、3D场景问答、具身推理、室内导航、机器人物体操作五类典型任务。用户可点击对应任务分类，查看输入示例（如3D场景点云、自然语言指令）与模型的输出结果，对比不同任务下的模型响应准确率与动作合理性，直观了解模型的实际性能表现。
- 数据集信息公开：网站详细介绍了项目训练使用的大规模多模态3D数据集，包含物体级和场景级两个层级的标注数据，标注内容涵盖3D物体属性、场景语义关系、自然语言指令、对应动作序列四类信息。用户可查看数据集的规模、标注规则、覆盖场景类型等信息，同时可获取数据集的申请使用方式，为自身相关模型训练提供数据参考。
- 实验结果查询：网站设置了实验结果展示板块，分类呈现LEO在多个公开3D具身智能基准测试集上的表现数据，包含不同任务类型的准确率、成功率、响应延迟等量化指标。用户可将其与同类型模型的公开测试结果进行对比，客观评估该模型在各类3D交互任务中的性能水平，为相关技术选型提供数据支撑。
- 论文资源下载：网站提供项目相关的学术论文下载入口，论文完整阐述了模型的技术细节、训练过程、实验设计与结果分析内容。用户可直接下载PDF版本的论文，同时可获取论文的引用格式说明，方便研究人员在自身学术成果中引用该项目的相关结论，满足学术研究的资料获取需求。
- 代码开源指引：网站提供项目相关代码的开源仓库跳转入口，包含模型推理代码、训练脚本、测试工具三类资源，同时配有详细的环境配置说明与运行示例教程。用户可根据指引获取代码资源，在本地环境复现模型的推理效果，或是基于开源代码进行二次开发，适配自身的3D交互任务需求。
怎么使用
- 1. 访问官网首页后，先浏览顶部的核心介绍区域，了解LEO项目的基本定位、核心能力与主要应用方向，对项目形成整体认知。2. 点击技术框架板块，查看两阶段训练架构的详细说明，配合原理图理解3D视觉语言对齐、指令微调的具体实现逻辑。3. 进入任务演示板块，选择感兴趣的3D具身任务分类，查看输入示例与模型输出结果，直观了解模型在不同场景下的表现。4. 若需要相关资源，可跳转至数据集、论文、代码对应板块，按照页面指引获取数据集申请方式、论文下载链接或开源代码仓库地址。5. 若有技术相关疑问，可查看页面底部的团队联系方式，通过提供的邮箱渠道与项目研发团队取得联系，咨询相关问题。
适合什么人群
- AI研究人员（具身智能方向技术调研）
- 机器人开发从业者（机器人任务规划方案设计）
- 高校计算机专业师生（多模态AI课程学习参考）
- 3D视觉研发人员（3D语义理解技术方案参考）
- 自然语言处理工程师（多模态指令理解技术研究）
- AI产品经理（具身智能相关产品设计调研）
总结
这是一个聚焦3D具身智能领域的学术项目展示平台，项目核心是将大语言模型的推理能力与3D视觉感知能力结合，构建能够理解、交互3D环境的智能代理。和普通的多模态AI项目不同，它不再局限于2D图像与文本的交互，而是直接面向三维空间的感知、推理与动作执行，覆盖从场景语义理解到机器人实际操作的全链路任务。平台不仅公开了完整的技术框架，还提供了从数据集到实验结果的全链条信息，相关的开源资源也为从业者的二次开发提供了支持。对于关注具身智能、3D多模态交互、机器人智能等方向的从业者和研究者来说，这个项目的公开内容具备较高的参考价值，其两阶段训练的思路也为同类模型的研发提供了可借鉴的路径。同时项目展示的各类任务实验结果，也能帮助相关人员了解当前3D具身智能技术的发展水平，为自身的研发或学习方向调整提供参考。
价格与免费额度
该项目为学术开源项目，所有公开的介绍内容、论文、开源代码均可免费访问与使用，无功能限制。数据集需要用户按照页面指引提交申请，审核通过后可免费获取用于非商业研究用途。项目无付费版本，若需用于商业场景，用户需要自行联系项目研发团队获取授权，确认相关使用规则与合作方式。个人非商业研究使用推荐直接使用公开的开源资源即可，商业应用建议提前与团队沟通授权事宜。
优点与不足
优点
- 技术披露完整，从训练框架、数据集到实验结果均有详细说明，信息透明度较高
- 任务演示覆盖场景全面，包含理解、推理、导航、操作等多个具身交互典型场景，参考性较强
- 配套资源丰富，提供论文、数据集申请渠道、开源代码等多项资源，支持用户复现与二次开发
- 实验数据公开详细，包含多个基准测试集的量化结果，方便用户客观评估模型性能
不足
- 网站仅提供项目展示功能，不支持在线直接调用模型进行自定义3D任务推理
- 数据集未完全开放直接下载，需要通过申请流程获取，获取门槛相对较高
- 当前演示任务均为预设示例，不支持用户上传自定义3D场景与指令测试模型效果
- 网站内容以学术性说明为主，对缺乏相关技术背景的普通用户来说理解难度较大
能帮你做的 8 件事
- 01技术框架展示
- 02任务效果演示
- 03数据集信息公开
- 04实验结果查询
- 05具身智能场景的常用方案
- 06多模态AI场景的常用方案
- 07AI研究人员（具身智能方向技术调研）的日常效率工具
- 08在网页等多端直接使用
更新历史
- LEO 收录进 Toolifai 目录
- 页面资料核验与信息更新
常见问题
LEO模型支持哪些类型的3D具身任务？
LEO模型目前支持五大类3D具身相关任务，第一类是3D字幕生成，可根据输入的3D场景点云数据，生成对应的场景语义描述文本；第二类是3D场景问答，可针对3D场景中的物体属性、空间关系、场景逻辑等问题输出对应的回答；第三类是3D推理任务，可基于场景信息完成逻辑推理，比如判断物体的放置合理性、规划物体移动的前置条件等；第四类是具身导航任务，可根据自然语言导航指令，生成在3D场景中的移动路径；第五类是机器人操作任务，可根据物体操作指令，输出对应的机器人动作序列，完成抓取、移动物体等操作。
项目的训练数据集包含哪些类型的内容？
项目使用的数据集包含物体级和场景级两个层级的多模态标注数据，覆盖1000+常见室内物体、200+不同类型的室内场景。每个数据样本包含3D点云数据、对应视角的RGB图像、语义标注文本、自然语言指令、对应动作序列五类信息。标注内容涵盖物体的属性、物体之间的空间关系、场景的整体语义、不同难度的交互指令以及对应的标准执行动作，既包含简单的物体识别相关标注，也包含复杂的长序列操作任务标注，可支撑多类3D具身任务的模型训练需求。
是否可以直接使用LEO的代码部署自己的具身代理？
用户可以基于开源的代码进行本地部署，部署需要满足对应的环境要求，首先需要配置支持CUDA的PyTorch环境，安装3D点云处理相关的依赖库，之后按照代码仓库中的说明下载预训练权重，即可运行基础的推理Demo。如果需要适配自定义的3D场景或者自定义任务，需要根据自身需求调整数据输入格式，同时可基于开源的训练脚本，使用自有的数据集对模型进行微调，适配特定场景的任务需求。需要注意的是，开源代码仅提供基础的框架，实际部署到实体机器人上时，还需要适配对应机器人的硬件控制接口，完成动作序列到机器人控制指令的转换。
LEO和普通的多模态大模型有什么区别？
普通的多模态大模型主要面向2D图像、文本、音频等模态的交互，通常不具备3D空间的感知与理解能力，无法处理3D点云输入，也无法生成适配3D空间的动作序列。而LEO专门针对3D场景进行了优化，第一阶段的训练实现了3D视觉特征与语言特征的对齐，能够理解3D点云对应的语义信息，第二阶段的指令微调让模型能够将自然语言指令映射到3D空间中的动作，支持需要三维空间感知、空间推理、实体交互的任务，可直接应用于具身导航、机器人操作等需要和3D物理世界交互的场景，这是普通多模态大模型不具备的能力。
如何申请使用项目的训练数据集？
用户可在网站的数据集板块找到申请入口，点击后会跳转至申请表单页面，需要填写申请人的姓名、所属机构、研究方向、数据集使用用途等信息，提交后项目团队会在7-14个工作日内进行审核。审核通过后，用户会收到包含数据集下载链接的邮件，数据集仅可用于非商业的学术研究用途，不可用于任何商业场景。如果是商业用途需要使用数据集，需要在表单中注明商业使用的具体场景，团队会单独进行评估，确认是否可以授权以及对应的使用规则。
项目后续的更新计划有哪些？
项目团队后续会从三个方向进行更新，第一是扩展数据集的覆盖范围，增加室外场景、更多类型的物体以及更复杂的交互任务标注，提升数据集的丰富度；第二是优化模型性能，提升复杂3D场景下的推理准确率、长序列任务的执行成功率，同时降低模型的推理延迟；第三是扩展模型支持的任务类型，增加多轮交互、多智能体协作等相关任务的支持，同时会适配更多类型的机器人硬件平台，提供更完善的硬件接口适配方案。相关的更新内容会第一时间在该官网同步，用户可以持续关注网站的公告板块获取最新信息。
开始使用 LEO
从官方入口了解最新功能与使用方式。
由 Toolifai 编辑维护
欢迎产品方补充截图、功能介绍与官方资料。更新和纠错由编辑审核后发布。
