Toolifai logo
Toolifai 编辑整理

Go with the Flow

图像生成视频视频生成

Go with the Flow 是由 Netflix Eyeline Studios 等机构研究人员开发的视频生成技术开源项目，核心是通过扭曲噪声替代传统高斯噪声，实现视频扩散模型的运动模式可控生成

Go with the Flow 是由 Netflix Eyeline Studios 等机构研究人员开发的视频生成技术开源项目，核心是通过扭曲噪声替代传统高斯噪声，实现视频扩散模型的运动模式可控生成。项目支持图像到视频、文本到视频两类主流生成场景，无需修改原始扩散模型架构即可接入，不会额外增加推理阶段计算成本，可对视频内物体位移、相机运动轨迹实现精确调控。适合AI视频生成领域的研究人员、内容创作团队、技术开发人员使用，可应用于影视内容预演、短视频内容制作、AI创意实验、学术研究复现等多种场景。

访问官网
图像生成视频热度第 28 / 127 名官网检测异常收录证明开发者认领
官网预览官网首页：Go with the Flow 界面预览（ 截图）1 / 1
适用对象
AI视频研究人员（学术实验、技术复现场景）
主要功能
运动模式控制、图像转视频生成
已收录
2026.06.14（138 天）
阅读目录

编辑评测与站内热度

全站热度排名

#4751

分类内排名

#28 / 127

累计站内点击

1

近 7 日点击

1

排名与点击为站内真实统计口径，反映 Toolifai 用户行为，非编辑评分。

Go with the Flow是什么，怎么使用？

约 4 分钟

Go with the Flow 是由 Netflix Eyeline Studios 等机构研究人员开发的视频生成技术开源项目，核心是通过扭曲噪声替代传统高斯噪声，实现视频扩散模型的运动模式可控生成。项目支持图像到视频、文本到视频两类主流生成场景，无需修改原始扩散模型架构即可接入，不会额外增加推理阶段计算成本，可对视频内物体位移、相机运动轨迹实现精确调控。适合AI视频生成领域的研究人员、内容创作团队、技术开发人员使用，可应用于影视内容预演、短视频内容制作、AI创意实验、学术研究复现等多种场景。

主要功能

  • 运动模式控制：用户可以通过预设或自定义的运动向量场，生成对应的扭曲噪声输入到视频扩散模型中，无需调整模型内部结构，即可让生成视频中的物体、背景按照预设的运动轨迹动态变化，运动控制精度可匹配像素级位移需求，不会出现传统生成模式下运动杂乱无章的问题。
  • 图像转视频生成：用户上传单张静态图像作为起始帧，设置对应的运动控制参数后，即可生成连贯的动态视频内容，静态图像中的元素会按照预设的运动逻辑呈现自然的动态效果，适合将概念图、插画等静态内容快速转化为动态视频素材。
  • 文本转视频生成：用户输入描述视频内容的文本提示词，同时搭配对应的运动控制参数，模型即可生成同时匹配文本内容描述和预设运动规则的视频内容，兼顾画面内容的准确性和运动逻辑的合理性，无需额外的后期运动调整步骤。
  • 无架构修改适配：该技术可直接对接现有主流开源视频扩散模型，用户不需要对原有模型的网络结构、权重参数进行任何修改，仅需要在输入噪声阶段替换为生成的扭曲噪声即可实现运动控制功能，大幅降低了技术落地的适配成本。
  • 零额外计算成本：扭曲噪声的生成过程仅在推理前的预处理阶段完成，计算量远低于视频模型推理本身的消耗，在模型推理阶段不会增加任何额外的计算步骤，生成单条视频的耗时与使用传统高斯噪声的生成模式基本一致，不会提升运行的硬件要求。
  • 开源代码支持：项目提供完整的开源代码实现，包含运动向量生成、扭曲噪声计算、模型对接的完整示例脚本，用户可以直接下载代码在本地环境部署运行，也可以基于开源代码进行二次开发，适配不同的业务场景需求。

怎么使用

  1. 第一步，访问项目官网页面，找到代码仓库跳转入口，将项目源码克隆到本地设备，按照文档说明配置Python运行环境，安装PyTorch、Diffusers等必需的依赖库，确保环境版本与项目要求匹配。第二步，准备需要使用的基础视频扩散模型权重，可以选择平台推荐的开源预训练模型，也可以使用自己微调后的专属模型权重，将权重文件放置到项目指定的目录下，完成模型加载路径的配置。第三步，根据生成需求选择对应功能，若使用图像转视频功能则上传准备好的静态起始图像，若使用文本转视频功能则输入对应的文本提示词，同时设置视频的时长、分辨率等基础参数。第四步，配置运动控制参数，可以选择预设的运动模板，也可以自定义运动向量场来指定物体、相机的运动轨迹，系统会自动根据参数生成对应的扭曲噪声文件，确认参数无误后提交生成任务。第五步，等待模型推理完成后，在输出目录查看生成的视频文件，若运动效果不符合预期可以调整运动参数重新生成，也可以导出对应的运动控制配置文件，用于后续同类型视频的批量生成。

适合什么人群

  • AI视频研究人员（学术实验、技术复现场景）
  • 影视内容制作团队（影视预演、概念片生成场景）
  • 短视频创作者（动态素材制作、创意视频生成场景）
  • AI技术开发人员（视频生成工具开发、功能集成场景）
  • 游戏研发团队（游戏过场动画、动态场景生成场景）
  • 广告创意团队（广告片demo制作、创意可视化场景）

总结

这一项目是视频扩散模型可控生成领域的代表性研究成果，针对现有视频生成模型运动逻辑不可控、后期调整成本高的痛点，提出了不需要修改模型架构的轻量化解决方案，对于降低AI视频生成的落地门槛有明显作用。项目由流媒体平台的专业研究团队开发，技术方案经过了实际场景的验证，相比同类可控生成技术，不会额外增加推理成本的特点更加适合大规模商业化落地场景。目前项目完全开源开放，不仅提供了完整的可运行代码，还附带了详细的技术论文和使用示例，无论是学术研究人员进行技术复现，还是开发人员将功能集成到自有产品中，都可以快速上手。对于内容创作群体来说，该技术可以大幅提升AI生成视频的可用性，减少动态效果不符合预期的问题，降低视频内容的制作周期和成本。

价格与免费额度

该项目为完全开源的技术项目，所有代码和功能均可免费使用，没有功能限制，也不存在付费版本，用户可以非商业或商业用途使用该技术，仅需要遵守项目对应的开源协议要求。如果用户需要官方团队提供定制化的技术支持、适配开发服务，可以联系项目开发团队协商相关服务的费用，适合有技术能力的团队直接部署使用，没有技术储备的团队可以寻求第三方技术服务商协助落地。

优点与不足

优点

  • 不需要修改原有视频扩散模型的架构和权重，适配现有主流开源模型的成本低
  • 推理阶段无额外计算开销，生成视频的耗时与传统生成模式基本一致
  • 运动控制精度较高，可实现像素级的物体运动和相机轨迹调控
  • 代码完全开源，附带完整的使用示例和技术文档，部署和二次开发难度低
  • 同时支持图像转视频和文本转视频两类主流生成场景，适用范围广

不足

  • 目前仅提供代码实现，没有可视化操作界面，非技术用户使用门槛较高
  • 自定义运动向量场需要用户具备一定的运动学相关知识，普通用户难以配置出符合预期的参数
  • 对硬件有一定要求，生成高分辨率视频需要较高显存的GPU支持
  • 没有内置大量预设运动模板，初始使用需要用户自行调整参数积累经验

能帮你做的 7 件事

  1. 01运动模式控制
  2. 02图像转视频生成
  3. 03文本转视频生成
  4. 04无架构修改适配
  5. 05视频生成场景的常用方案
  6. 06AI生成场景的常用方案
  7. 07AI视频研究人员（学术实验、技术复现场景）的日常效率工具

更新历史

  • Go with the Flow 收录进 Toolifai 目录
  • 页面资料核验与信息更新

常见问题

使用这个技术需要具备什么技术基础？

如果只是运行官方提供的示例代码，需要具备基础的Python环境配置能力，了解PyTorch框架的基本使用方法，能够按照文档说明完成依赖安装、模型权重下载、参数配置等步骤。如果需要进行二次开发或者自定义运动控制逻辑，还需要掌握视频扩散模型的基本原理、计算机视觉中运动向量相关的知识，能够理解扭曲噪声的生成逻辑，才可以根据自身需求修改代码适配不同的场景。如果是非技术用户，暂时无法直接使用该项目，需要等待基于该技术开发的带有可视化界面的工具上线。

有帮助吗

该技术支持哪些主流的视频扩散模型？

目前官方已经验证支持Stable Video Diffusion系列、ModelScope Text-to-Video系列等主流开源视频扩散模型，原则上所有基于噪声输入的扩散类视频生成模型都可以适配。如果用户使用的是其他开源视频扩散模型，只需要按照项目文档中的说明，在模型的噪声输入阶段将默认的高斯噪声替换为项目生成的扭曲噪声即可，不需要对模型的其他部分进行修改。对于闭源的视频生成模型，由于无法修改输入噪声的生成逻辑，暂时无法直接适配该技术。

有帮助吗

生成10秒1080P的视频需要什么样的硬件配置？

生成视频的硬件需求和使用的基础视频扩散模型要求一致，以Stable Video Diffusion 1.1版本生成10秒1080P视频为例，需要显存不低于16GB的NVIDIA GPU，在该配置下生成单条视频的耗时大约在2到3分钟左右。如果使用更低显存的GPU，可以开启梯度检查点、半精度推理等优化选项，最低可以在8GB显存的GPU上运行，但生成速度会有所降低。如果没有本地GPU设备，也可以将项目部署到云服务器的GPU实例上运行，选择对应显存配置的云主机即可。

有帮助吗

生成的视频可以用于商业用途吗？

该项目本身的代码采用MIT开源协议发布，用户可以将代码用于商业用途，不需要支付费用，也不需要提前获得官方的授权。但需要注意的是，生成视频的版权还需要结合使用的基础模型的协议、输入的素材版权来确定，如果使用的基础模型禁止商用，或者输入的静态图像、文本提示词存在侵权问题，生成的视频同样不能用于商业场景。建议用户在商业使用前，确认基础模型和输入素材的版权合规性，避免出现相关的法律风险。

有帮助吗

可以实现多人或者多物体的独立运动控制吗？

目前版本的技术支持对画面中不同区域设置不同的运动向量，理论上可以实现多个物体的独立运动控制，用户只需要在生成运动向量场的时候，为不同物体对应的画面区域设置不同的位移参数即可。但如果不同物体之间存在遮挡关系，需要用户在配置运动向量的时候考虑前后遮挡的逻辑，否则可能会出现物体穿模等生成问题。后续版本的开发计划中也会加入分层运动控制的相关工具，降低多物体独立运动的配置难度，提升复杂场景下的生成效果。

有帮助吗

该技术和其他视频运动控制技术有什么区别？

目前主流的视频运动控制技术大多需要对视频扩散模型进行微调，或者在推理阶段加入额外的控制模块，会增加模型的推理成本，同时适配不同模型的时候需要重新微调，落地成本较高。而该技术仅需要修改输入的噪声类型，不需要调整模型本身的结构和权重，也不会增加推理阶段的计算开销，适配不同模型的成本很低。相比同类技术，该方案的部署成本更低，运行效率更高，更适合大规模的商业化落地场景，同时运动控制的精度也可以达到同类技术的同等水平。

有帮助吗

开始使用 Go with the Flow

从官方入口了解最新功能与使用方式。

前往官网

由 Toolifai 编辑维护

欢迎产品方补充截图、功能介绍与官方资料。更新和纠错由编辑审核后发布。

参考来源官方产品介绍最近核验
提交资料更新邮件反馈

大家对 Go with the Flow 的点评

加载中…

写点评

每周三，一封 AI 工具周刊

编辑精选本周值得试的新工具与真实用法，5 分钟读完，已连续更新 5 期。

每周一封，随时可退订。往期内容见AI 工具周刊归档。

同类替代工具

Seedance 2.0

Seedance 2.0是字节跳动推出的多模态AI视频生成平台，核心定位是帮助用户创作可控性强、内容一致性高且音画同步的高质量视频内容。平台支持文本生成视频、图像生成视频、视频风格迁移、音频匹配生成等多项功能，同时提供片段长度调节、镜头运镜控制、角色形象一致性保留等精细化调整选项。目标用户覆盖影视内容创作者、短视频运营者、广告策划人员、新媒体从业者、学生创作群体等，可应用于微电影创作、商业广告片制作、短视频内容产出、课程教学演示视频制作、创意内容原型验证等多种场景，满足不同用户对AI视频生成的多样化需求。

#AI视频生成#多模态AI#文本生成视频
对比

Seedance 2

Seedance 2是字节跳动推出的多模态AI视频生成工具，核心定位为依托先进多模态AI技术，将文本、图像等输入转化为高清专业级视频内容。平台支持文本生成视频、图像生成视频、自定义分辨率输出、视频风格调整、视频时长控制等核心功能，可生成最高8K分辨率的视频内容。目标用户覆盖影视内容创作者、新媒体运营人员、独立视频制作人、广告创意从业者、艺术设计师以及高校传媒专业学生，适用场景包含影视概念片预制作、新媒体短视频创作、广告创意小样生成、艺术视觉内容创作、课堂多媒体内容制作等多个领域。

#AI视频生成#多模态AI#文本生成视频
对比

Seedance 3.0

Seedance 3.0是由字节跳动提供技术支持的AI视频生成工具，核心定位为面向内容创作者提供从文本或图像生成高清视频的服务。核心功能包括文本生成视频、图像生成视频、视频帧延续生成、镜头风格迁移以及剧本分镜转成片，支持创作者自定义视频时长、镜头运动和画面风格。目标用户覆盖影视行业创作者、新媒体内容生产者、独立内容创作者和广告营销人员，适用于影视前期概念片制作、短视频内容产出、广告创意视频小样生成、个人创意内容可视化等多种场景。

#AI视频生成#文本生成视频#图像生成视频
对比

Stable Video Diffusion AI

Stable Video Diffusion AI是专注于AI视频生成的在线工具站点，基于Stable Video Diffusion技术框架打造，为用户提供图像转视频、文本生成视频、视频风格迁移等核心能力。站点无需本地部署复杂模型，用户通过浏览器即可访问使用，适合内容创作者、设计从业者、影视制作人员等群体，可用于制作短视频素材、广告创意demo、游戏场景动画、教育科普视频等多种内容，帮助用户降低视频创作的技术门槛，提升内容产出效率。

#AI视频生成#图像转视频#文本生成视频
对比

更多同类选择见图像生成视频分类页，按分类整理全部替代方案与两两对比。

热门对比

Go with the Flow vs Seedance 2.0Go with the Flow vs Seedance 2Go with the Flow vs Seedance 3.0Go with the Flow 的替代品

大家还在搜

视频生成工具AI生成工具可控生成工具图像转视频工具文本转视频工具开源项目工具

推荐产品

推广
通义灵码通义灵码是阿里云推出的AI编程辅助工具，依托通义大模型技术能力，为开发者提供全流程编程效率提升服务。核心功能包括智能代码补全、自然语言转代码、代码缺陷检测与优化、交互式编程问答等，可对接多款主流IDE环境，适配多种常见编程语言。面向各类软件开发从业者、计算机相关专业学生、编程爱好者等群体，适用于日常业务功能开发、代码调试排错、技术方案选型参考、编程学习入门等多种场景，帮助用户减少重复编码工作量，降低代码出错概率。DeepSeek-R1-Lite-PreviewDeepSeek-R1-Lite-Preview是深度求索（DeepSeek）推出的聚焦推理能力的AI模型预览版本，核心定位是为用户提供具备长链条逻辑推导能力的智能交互服务。核心功能包括数学问题推理求解、多领域逻辑任务处理、透明化思考过程展示，可将每一步推导逻辑同步呈现给用户。目标用户覆盖科研人员、教育工作者、开发者、学生、企业技术人员等群体，适用于数学题解验证、技术问题推导、逻辑类任务原型开发、推理类AI应用功能测试等场景，帮助用户完成需要复杂逻辑思考的相关任务。CueMeCueMe是面向全场景写作需求的智能写作平台，依托人工智能技术为用户提供个性化的内容生成与写作辅助服务。平台支持多体裁内容创作、写作风格适配、内容校对润色三大核心功能，目标用户覆盖学生、职场人、内容创作者、学术研究者等群体，可满足课程论文撰写、商业文案输出、自媒体内容创作、日常随笔打磨等多场景写作需求，帮助用户降低内容生产门槛，优化写作效率与输出质量。Anthropics TechnologyAnthropics Technology是一家聚焦安全人工智能研发与应用的科技公司，核心推出了大语言模型Claude系列产品，为用户提供大模型文本处理、多模态交互、企业级AI部署等多种解决方案。核心功能包含大模型文本生成与处理、多模态内容理解、企业专属AI部署、API接口调用、安全对齐AI研发，面向企业开发者、内容创作者、科研人员、产品经理等不同用户群体，可应用于企业内部文档处理、科研文献整理、内容创作辅助、智能客服搭建等多种场景，兼顾AI能力与安全可控的使用需求。Qwen ChatQwen Chat是阿里通义推出的聚合多系列Qwen大模型的AI交互平台，核心定位为一站式AI生产力工具。核心功能包含多模型同步对话对比、多格式文档问答解析、可交互人工制品生成三大模块，同时支持图像内容理解、HTML内容预览等扩展能力。目标用户覆盖学生、教育工作者、开发者、内容创作者、职场办公人员、研究人员等多个群体，可满足知识点答疑、文档内容提取、代码开发辅助、内容创作生成、办公资料处理等多种使用场景，为不同需求的用户提供多元的AI交互服务。Qwen-Image AIQwen-Image AI是阿里巴巴推出的AI图像生成平台，核心定位为面向中文用户的高精度AI图像创作工具，依托通义千问技术体系，支持中文文本生成图像、精准中文文本渲染、图像编辑拓展等功能。平台主打高真实感图像生成与准确的中文文字生成能力，可满足不同创作场景的图像需求。目标用户覆盖平面设计师、内容创作者、电商运营人员、学生、手工创作者、商业品牌策划人员等，适用于商业宣传图制作、社交内容配图创作、设计概念图生成、带中文文字的文创产品设计等多种使用场景。MidjourneyMidjourney是知名AI图像生成平台，核心定位为通过自然语言输入生成高质量视觉作品的创作辅助工具。其核心功能包含文本生成图像、局部画面重绘、多轮迭代优化，可满足不同创作阶段的调整需求。该平台主要面向创意领域从业者及爱好者，可广泛应用于概念设计、插画创作、游戏原画产出、广告创意视觉落地、当代视觉艺术探索等多个场景，帮助创作者降低视觉落地的执行门槛，拓展创意表达的边界。DeepSeekDeepSeek是国内专注于大模型技术研发的公司推出的智能对话产品，核心搭载DeepSeek-R1推理模型与DeepSeek-V3通用模型，支持深度逻辑推理、多场景代码生成、复杂数学问题解答等能力，模型开源开放可本地部署。产品面向技术开发人员、科研工作者、学生群体、职场办公人员等用户，可满足代码调试、学术研究、习题解答、方案推导等多场景使用需求，为用户提供高效的智能辅助服务。ClaudeClaude 是 Anthropic 开发的 AI 助手，以安全性和对话质量著称。支持超长上下文窗口（200K tokens）、多模态理解（图像/文档）、代码编写、数据分析、创意写作等功能。Claude 在推理准确性、指令遵循和减少幻觉方面表现优秀，适合专业写作、编程辅助和复杂分析任务。醒图醒图是面向全年龄段用户的移动端图片编辑工具，核心定位是降低修图操作门槛，满足日常人像修饰、风景调色、创意排版等多元修图需求。核心功能包含智能人像美化，可实现肤色、脸型、五官的精细化调整；海量滤镜特效库，覆盖日系、复古、清透等多种风格；一键构图裁剪，适配朋友圈、小红书、短视频封面等多平台尺寸要求。目标用户覆盖普通社交平台用户、自媒体创作者、学生群体、摄影爱好者等，可用于日常自拍修饰、旅行照片调色、产品图基础优化、作业配图排版等多个场景。