Diffusion as Shader
Diffusion as Shader（简称DaS）是香港科技大学等高校研究团队开发的3D感知视频生成控制模型工具站，核心定位是为视频创作与3D内容生产领域提供基于扩散模型的多任务控制解决方案
Diffusion as Shader（简称DaS）是香港科技大学等高校研究团队开发的3D感知视频生成控制模型工具站，核心定位是为视频创作与3D内容生产领域提供基于扩散模型的多任务控制解决方案。核心功能包括支持网格到视频生成，可将3D网格素材转化为写实或风格化的连续视频内容；支持相机路径自定义控制，生成符合指定镜头运动逻辑的动态视频；支持运动迁移与对象属性编辑，可在保留原有3D空间逻辑的前提下修改对象外观、动作参数。目标用户覆盖CG从业者、影视动画制作人员、VR内容开发者、AI生成技术研究人员、高校计算机相关专业学生等，适用于影视片段预演、VR场景内容生成、3D动画效果测试、AI视频生成学术研究等多个场景。
- 适用对象
- 影视动画制作人员(影视片段预演)
- 主要功能
- 网格转视频生成、相机路径控制
- 计费方式
- 免费增值，部分功能付费
- 平台
- 网页
- 已收录
- 2026.06.14（147 天）
阅读目录
编辑评测与站内热度
编辑综合评分
满分 5 分
六维指标基于站内真实数据（热度、社区反馈、资料完整度、可达性核验等）综合评估，非用户投票。
全站热度排名
#12201
分类内排名
#292 / 631
累计站内点击
3
近 7 日点击
3
排名与点击为站内真实统计口径，反映 Toolifai 用户行为，非编辑评分。
Diffusion as Shader是什么，怎么使用？
约 4 分钟Diffusion as Shader（简称DaS）是香港科技大学等高校研究团队开发的3D感知视频生成控制模型工具站，核心定位是为视频创作与3D内容生产领域提供基于扩散模型的多任务控制解决方案。核心功能包括支持网格到视频生成，可将3D网格素材转化为写实或风格化的连续视频内容；支持相机路径自定义控制，生成符合指定镜头运动逻辑的动态视频；支持运动迁移与对象属性编辑，可在保留原有3D空间逻辑的前提下修改对象外观、动作参数。目标用户覆盖CG从业者、影视动画制作人员、VR内容开发者、AI生成技术研究人员、高校计算机相关专业学生等，适用于影视片段预演、VR场景内容生成、3D动画效果测试、AI视频生成学术研究等多个场景。
主要功能
- 网格转视频生成：用户上传已完成3D跟踪的网格文件后，可选择对应风格或写实生成选项，系统会基于3D感知扩散模型处理输入的网格空间信息，自动生成对应内容的连续视频，输出视频会保留原始网格的空间结构与运动逻辑，避免出现物体错位、穿模等常见生成问题。
- 相机路径控制：用户可在工具界面内自定义相机的运动路径、焦距、角度等参数，系统会将参数与扩散生成过程结合，生成的视频完全符合设定的镜头运动逻辑，整个过程无需额外调整3D场景的其他元素，可快速预览不同镜头呈现效果。
- 运动迁移生成：用户上传带有运动信息的源3D视频片段与目标对象素材，系统会提取源内容的运动轨迹与时序逻辑，将其迁移到目标对象上生成新的视频内容，生成过程会保留目标对象的外观特征与3D空间属性，运动过渡自然无断层。
- 对象属性编辑：用户在已有的3D跟踪视频基础上，可修改指定对象的材质、颜色、纹理等属性参数，系统会在保持原有视频的空间结构、运动逻辑、光影关系不变的前提下重新生成对应片段，无需对整段视频重新制作。
- 少量数据微调：用户有个性化生成需求时，仅需上传少量对应风格或场景的3D跟踪数据对模型进行微调，短时间内即可让模型适配特定的生成需求，无需准备大规模训练数据集，降低自定义生成的门槛。
- 时序一致性优化：系统在生成过程中会通过3D感知能力对帧与帧之间的空间关系、运动逻辑进行校验，自动修正生成过程中可能出现的画面闪烁、物体位置漂移、动作不连贯等问题，提升生成视频的整体流畅度。
怎么使用
- 第一步，进入Diffusion as Shader官网首页，浏览页面中的功能说明与效果展示案例，确认工具的能力范围符合自身的使用需求，提前准备好符合要求的3D跟踪素材或相关参数文件。第二步，在功能选择区域选择对应要使用的任务类型，可选类型包括网格转视频、相机控制生成、运动迁移、对象编辑等，点击对应选项进入功能操作页面。第三步，按照页面提示上传对应的输入素材，如3D网格文件、参考视频片段、自定义相机参数文件等，确认素材格式符合平台要求后完成上传，等待系统解析素材信息。第四步，根据自身需求调整生成参数，可选择生成视频的风格、分辨率、时长、生成步数等，也可设置是否开启时序一致性优化、空间逻辑校验等额外选项，确认参数无误后提交生成请求。第五步，等待系统完成生成处理，处理时长根据素材大小与参数设置有所不同，生成完成后可在线预览效果，确认符合预期后可下载生成的视频文件，若效果不佳可调整参数重新提交生成。
适合什么人群
- 影视动画制作人员(影视片段预演)
- CG内容创作者(3D动画效果测试)
- VR内容开发者(VR场景动态内容生成)
- AI生成技术研究人员(视频生成模型研发)
- 高校计算机专业学生(扩散模型相关课题研究)
- 游戏内容开发者(游戏过场动画快速制作)
总结
这是由香港科技大学等高校研究团队推出的学术类AI视频生成工具站点，和普通的文本生成视频工具不同，它的核心特点是将3D感知能力融入扩散模型的生成过程，解决了过往AI生成视频普遍存在的空间逻辑混乱、时序一致性差的问题。其统一架构支持多种视频控制任务的设计，让用户无需在多个工具之间切换，即可完成从3D素材到成片的多个环节处理，少量数据即可微调的特性也降低了个性化场景的适配成本。目前站点上已经公开了多个不同场景的生成效果案例，涵盖写实、二次元、赛博朋克等多种风格，也提供了相关的技术论文供有需求的用户查阅，对于需要将3D素材转化为动态视频的从业者，以及研究AI视频生成技术的人员来说，这个站点的内容和工具能力都有较高的参考与使用价值。
价格与免费额度
Diffusion as Shader属于学术开源项目，所有核心功能代码完全免费对外开放，用户可直接从站点获取相关代码资源自行部署使用，无功能使用时长、生成次数方面的限制，也不存在付费解锁的隐藏功能。目前项目暂未推出商业化的付费版本，也没有相关的付费增值服务，用户如果需要定制化适配服务可联系研究团队沟通合作。建议个人研究、非商业用途的用户直接使用开源版本即可，有商业落地需求的企业可与开发团队沟通官方合作支持方案。
优点与不足
优点
- 具备3D感知生成能力，生成视频的空间逻辑与时序一致性表现较好
- 统一架构支持多种视频控制任务，覆盖网格转视频、相机控制等多类需求
- 支持少量数据微调适配个性化场景，无需大规模训练数据集即可实现定制化生成
- 站点公开完整的技术论文与效果案例，可供技术研究人员查阅参考
不足
- 暂未提供在线交互操作界面，普通用户需要部署本地环境才可使用功能
- 对输入素材有要求，需要提供带3D跟踪信息的素材才可完成生成，普通2D素材无法直接使用
- 生成速度受硬件配置影响较大，普通消费级显卡生成高分辨率视频耗时较长
- 当前相关教程较少，新手用户上手需要具备一定的3D建模与AI模型部署基础
能帮你做的 8 件事
- 01网格转视频生成
- 02相机路径控制
- 03运动迁移生成
- 04对象属性编辑
- 05AI视频生成场景的常用方案
- 063D内容创作场景的常用方案
- 07影视动画制作人员(影视片段预演)的日常效率工具
- 08先用免费额度验证需求再决定付费
更新历史
- Diffusion as Shader 收录进 Toolifai 目录
- 页面资料核验与信息更新
常见问题
使用Diffusion as Shader需要具备什么基础条件？
如果仅需要查看效果案例与技术论文，仅需普通浏览器访问站点即可，不需要额外条件。如果需要使用工具的生成功能，首先需要具备一定的3D内容基础，能够制作或获取带3D跟踪信息的输入素材，其次需要掌握基础的AI模型部署能力，能够按照项目提供的部署文档在本地配置运行环境，硬件方面推荐配备显存16G以上的NVIDIA显卡，以保障生成的运行速度，如果使用显存较低的设备，可能会出现生成卡顿、无法生成高分辨率视频的情况。
Diffusion as Shader支持直接导入普通2D视频进行编辑吗？
目前不支持直接导入普通2D视频进行编辑，该模型的核心逻辑是基于3D感知信息进行生成控制，输入素材需要包含完整的3D跟踪数据，包括场景的空间结构、物体的3D坐标、运动轨迹、相机参数等信息。如果只有普通2D视频，需要先通过第三方3D重建工具对视频进行处理，提取对应的3D跟踪信息并生成对应的网格文件后，才可以导入到Diffusion as Shader中进行后续的生成与编辑操作，否则系统无法识别素材的空间逻辑，无法完成正常的生成流程。
生成的视频内容可以用于商业用途吗？
该项目的开源协议为MIT协议，用户基于开源代码生成的视频内容，版权归用户所有，可自行使用，也可用于商业场景。需要注意的是，如果用户使用的输入素材、参考素材存在版权问题，对应的版权风险需要用户自行承担，建议在使用前确认所有输入素材的版权合规性。如果是企业需要将该模型集成到自身的商业产品中，建议提前联系开发团队确认相关授权细节，避免后续出现授权纠纷。
微调模型需要准备多少数据，微调过程耗时多久？
微调所需的数据量根据具体的需求场景有所不同，通常仅需要10到20组对应的3D跟踪素材即可完成适配，每组素材包含对应的3D网格文件与参考效果片段即可，不需要准备数百上千组的大规模数据集。微调的耗时根据硬件配置有所差异，使用显存24G的NVIDIA显卡，微调适配单一场景通常只需要1到2小时即可完成，微调完成后即可使用适配后的模型生成对应风格或场景的内容，无需每次生成都重新微调。
Diffusion as Shader和普通的AI视频生成工具有什么区别？
普通的AI视频生成工具大多基于2D图像的扩散模型，生成过程中没有3D空间感知能力，容易出现物体穿模、位置漂移、动作逻辑混乱、帧间闪烁等问题，也很难实现精准的相机控制、对象属性编辑等操作。而Diffusion as Shader在生成过程中会引入3D空间信息作为约束，生成的视频会严格遵循输入的3D空间逻辑，时序一致性表现更好，同时支持多种精准的控制任务，能够实现网格到视频的定向生成、自定义相机路径、运动迁移、对象属性编辑等普通视频生成工具无法实现的功能，更适合对空间逻辑有要求的3D内容生产场景。
开始使用 Diffusion as Shader
从官方入口了解最新功能与使用方式。
由 Toolifai 编辑维护
欢迎产品方补充截图、功能介绍与官方资料。更新和纠错由编辑审核后发布。
