ACE: All-round Creator and Editor Following Instructions via Diffusion Transformer

ACE: All-round Creator and Editor Following Instructions via Diffusion Transformer，ACE是由阿里通义实验室推出的基于扩散Transformer架构的多模态视觉生成与编辑工具，核心定位为支持多任务联合处理的全能创意内容生成平台。核心功能包括支持长上下文指令理解的统一条件输入、多场景图像生成与编辑能力、多模态指令自动生成服务。目标用户覆盖AI图像研发人员、内容创作者、产品设计师、高校计算机专业师生等群体，适用于多模态视觉模型研发测试、创意海报设计、图像内容二次编辑、AI生成应用原型搭建等多种场景，能够帮助用户简化视觉内容处理流程，提升生成任务的处理效率。

主要功能

• 长上下文条件输入：平台搭载Long-context Condition Unit（LCU）模块，用户可输入多轮对话文本、参考图像、局部修改标注等混合类型的长条件信息，系统无需拆分条件即可统一识别，能够理解跨模态的复杂需求，降低用户拆解生成指令的成本，提升复杂生成需求的匹配准确度。
• 多任务联合训练：支持文本生成图像、图像局部编辑、风格迁移、构图调整等多种视觉生成任务的联合训练，用户无需针对单个任务单独训练模型，可在同一框架下同时优化多个生成任务的效果，减少重复训练的资源消耗，提升模型多场景适配能力。
• 训练数据自动生成：内置多模态大语言模型数据生成模块，用户输入任务方向和数据需求描述后，系统可自动生成符合训练要求的标注指令数据，解决细分场景训练数据不足的问题，降低用户自行收集标注数据的人力和时间成本。
• 视觉聊天系统搭建：提供预训练模型接口和简易部署工具，用户可基于ACE的核心能力快速搭建响应图像创建请求的对话系统，无需自行整合多模块工具，避免传统视觉代理繁琐的组件拼接流程，缩短AI图像交互应用的开发周期。
• 生成效果对比测试：内置多维度生成效果评估工具，用户上传生成结果和参考标准后，系统可从语义匹配度、图像清晰度、风格一致性等多个维度自动评分，还支持与同类型生成模型的效果横向对比，帮助用户快速迭代生成方案。
• 开源模型下载部署：提供不同参数量的预训练模型文件下载，支持本地部署和云端部署两种模式，用户可根据自身设备算力选择适配的模型版本，部署过程提供详细的环境配置指引和常见问题解决方案，降低用户的部署门槛。

怎么使用

1. 第一步，访问ACE项目官网https://ali-vilab.github.io/ace-page，在首页浏览项目介绍、核心能力说明和效果展示案例，初步了解平台的功能覆盖范围和适用场景。第二步，找到页面中的资源下载入口，根据自身算力条件和使用需求，选择对应参数量的预训练模型文件、部署包和配套文档下载到本地设备。第三步，按照官方提供的部署指引完成环境配置，安装所需的依赖库，完成模型的本地加载或云端服务的部署启动，确认运行环境无报错。第四步，进入功能操作界面，可选择输入文本指令、上传参考图像、添加局部修改标注等混合条件信息，设置生成分辨率、风格偏好、迭代次数等参数后提交生成请求。第五步，等待生成完成后查看结果，可对效果进行多维度评估，若不满意可调整参数或补充指令重新生成，也可将模型能力接入自有应用中进行二次开发。

适合什么人群

• AI视觉研发人员（多模态生成模型研究场景）
• 内容创作者（创意图像生成与编辑场景）
• 产品设计师（产品原型视觉稿生成场景）
• 高校计算机专业师生（AI生成技术学习与实验场景）
• 独立应用开发者（AI图像交互应用搭建场景）
• 电商运营人员（商品宣传图制作与修改场景）

总结

这款由阿里通义实验室推出的视觉生成项目，最大的特点是打破了传统扩散模型单任务适配的局限，通过统一的长上下文条件单元实现了多模态指令的统一处理，用户不需要再为不同的图像生成、编辑任务切换不同的模型框架，这一点对于研发人员和创作者来说都能减少很多不必要的流程。它内置的数据生成能力也解决了很多细分场景训练数据不足的痛点，不需要用户花费大量时间去收集和标注数据，就能快速针对特定场景优化模型效果。同时项目完全开源开放，支持本地部署，对于想要搭建自定义AI图像生成服务的开发者来说，提供了成熟的基础框架，不需要从零开始搭建模型结构，能够大幅缩短开发周期。目前项目已经在多个视觉生成基准测试中取得了不错的表现，适用场景覆盖了从学术研究到商业内容生产的多个领域，是多模态生成领域值得关注的开源项目。

价格与免费额度

ACE为完全开源的学术项目，所有核心模型、代码和部署工具均免费开放使用，无功能限制，也不收取任何使用费用，用户可自行下载部署进行非商业或商业用途的二次开发。官方暂未推出付费版本，也不提供付费的技术支持服务，相关使用问题可通过项目的GitHub仓库提交issue寻求社区协助，适合具备一定技术能力、想要自主搭建视觉生成服务的用户使用，无需支付额外成本即可获取完整的项目资源。

优点与不足

能帮你做的 8 件事

1. 01长上下文条件输入
2. 02多任务联合训练
3. 03训练数据自动生成
4. 04视觉聊天系统搭建
5. 05AI图像生成场景的常用方案
6. 06扩散Transformer场景的常用方案
7. 07AI视觉研发人员（多模态生成模型研究场景）的日常效率工具
8. 08在网页等多端直接使用

更新历史

• 2026.06.14ACE: All-round Creator and Editor Following Instructions via Diffusion Transformer 收录进 Toolifai 目录
• 页面资料核验与信息更新

常见问题