PortraitGen
PortraitGen是由中国科学技术大学3D视觉团队研发的2D肖像视频4D编辑工具，核心定位是将普通2D肖像视频转换为可编辑的4D高斯场，实现多模态下的肖像内容创作
PortraitGen是由中国科学技术大学3D视觉团队研发的2D肖像视频4D编辑工具，核心定位是将普通2D肖像视频转换为可编辑的4D高斯场，实现多模态下的肖像内容创作。核心功能包括2D视频转4D高斯场生成、多模态肖像编辑、表情与结构一致性保留，目标用户覆盖影视制作人员、数字内容创作者、三维建模从业者、高校相关领域研究人员等，可应用于影视特效角色修改、数字人内容制作、肖像类短视频二次创作、数字遗产人像还原等多种场景，降低3D肖像内容制作的技术门槛。
- 适用对象
- 影视特效制作人员(影视角色肖像修改场景)
- 主要功能
- 2D转4D高斯场、多模态编辑支持
- 计费方式
- 免费增值，部分功能付费
- 平台
- 网页
- 已收录
- 2026.06.14（145 天）
阅读目录
编辑评测与站内热度
编辑综合评分
满分 5 分
六维指标基于站内真实数据（热度、社区反馈、资料完整度、可达性核验等）综合评估，非用户投票。
全站热度排名
#4751
分类内排名
#20 / 75
累计站内点击
2
近 7 日点击
2
排名与点击为站内真实统计口径，反映 Toolifai 用户行为，非编辑评分。
PortraitGen是什么，怎么使用？
约 4 分钟PortraitGen是由中国科学技术大学3D视觉团队研发的2D肖像视频4D编辑工具，核心定位是将普通2D肖像视频转换为可编辑的4D高斯场，实现多模态下的肖像内容创作。核心功能包括2D视频转4D高斯场生成、多模态肖像编辑、表情与结构一致性保留，目标用户覆盖影视制作人员、数字内容创作者、三维建模从业者、高校相关领域研究人员等，可应用于影视特效角色修改、数字人内容制作、肖像类短视频二次创作、数字遗产人像还原等多种场景，降低3D肖像内容制作的技术门槛。
主要功能
- 2D转4D高斯场：用户上传普通单视角2D肖像视频后，系统会自动追踪视频中的SMPL-X人体与面部系数，结合神经高斯纹理机制，将2D帧序列转换为带时间维度的4D高斯场表示，无需额外多视角拍摄设备，即可生成可自由调整视角的3D动态肖像资源。
- 多模态编辑支持：支持文本描述、参考图像、姿态参数调整等多种输入方式进行肖像编辑，用户输入“将人物表情调整为微笑”的文本指令，或上传特定发型的参考图，系统即可在4D高斯场基础上完成对应属性的修改，适配不同创作需求的输入习惯。
- 面部结构保留：内置多模态人脸感知编辑模块，编辑过程中会自动识别原肖像的面部轮廓、五官比例等个性化特征，调整表情、发型、妆容等属性时不会丢失人物原有辨识度，避免出现编辑后人像与原人物相似度下降的问题。
- 迭代数据集更新：采用迭代数据集更新策略，编辑生成的内容质量符合标准后会自动补充到训练数据集中，随着使用量增加，表情生成的自然度、不同人种面部特征的适配性会逐步优化，长期使用下生成效果会更贴合各类用户需求。
- 快速生成导出：完成编辑调整后，系统可快速渲染导出不同视角、不同时长的动态肖像视频，也支持导出4D高斯场原始数据供后续三维软件二次加工，导出速度相比传统神经辐射场相关工具效率更高，减少用户等待时间。
- 表情质量优化：针对大表情动态场景下的面部形变问题做了专门优化，追踪面部运动系数时会对肌肉牵动的纹理变化做拟合，编辑夸张表情时不会出现面部穿模、纹理扭曲的情况，适合制作表情丰富的动态数字人内容。
怎么使用
- 第一步，访问PortraitGen官网，在首页浏览技术说明文档与效果演示样片，确认工具功能符合自身使用需求，提前准备好时长10-30秒、面部清晰无大面积遮挡的2D肖像视频。第二步，点击页面中的上传入口，将准备好的2D肖像视频上传至系统，等待系统完成视频解析、面部关键点追踪与SMPL-X系数提取，过程中不要关闭页面避免上传中断。第三步，解析完成后进入编辑界面，可选择文本指令输入、参考图上传、参数手动调整三种方式进行编辑，例如输入修改表情、调整发型的相关需求，上传对应参考素材。第四步，提交编辑指令后等待系统生成预览效果，若对效果不满意可调整指令或参数重新生成，也可微调面部结构保留的权重参数，平衡编辑效果与人物辨识度。第五步，确认最终效果后，选择需要的导出格式与分辨率，导出编辑后的动态肖像视频或4D高斯场原始数据，导出完成后即可下载到本地使用。
适合什么人群
- 影视特效制作人员(影视角色肖像修改场景)
- 数字人创作者(动态数字人内容生产场景)
- 三维建模从业者(3D肖像模型快速制作场景)
- 高校计算机视觉研究者(4D生成技术研究参考场景)
- 短视频创作者(肖像类短视频特效制作场景)
- 数字遗产从业者(已故亲人肖像动态还原场景)
总结
这是一款由学术团队研发的肖像视频编辑技术工具，和市面上普通的2D人脸特效工具不同，它的核心能力是把普通单视角2D视频直接升级为可编辑的4D高斯场，用户不需要掌握复杂的三维建模技术，也不需要配备多视角拍摄设备，就能完成3D动态肖像的生成与编辑。工具针对人像辨识度保留做了专门优化，编辑过程中不会丢失人物原本的面部特征，解决了很多AI肖像编辑工具修改后人物“脸歪”、辨识度下降的痛点。同时它的技术方案公开了相关论文与实现逻辑，对于相关领域的研究人员来说也有很高的参考价值，既可以作为内容创作的实用工具，也可以作为技术研究的参考案例。
价格与免费额度
PortraitGen当前处于学术演示阶段，向所有用户开放免费使用权限，免费版支持上传时长30秒以内、分辨率1080P及以下的2D肖像视频，单用户每日可提交3次编辑任务，导出的内容可用于非商业用途。目前尚未推出商用付费版本，后续计划推出的付费版将支持更长视频上传、更高分辨率导出、商用授权等权益，价格尚未公布，有商用需求的用户可以关注官网后续通知，个人非商业创作使用免费版即可满足基础需求。
优点与不足
优点
- 支持单视角2D视频直接生成4D动态肖像，无需多视角拍摄设备支持
- 编辑过程中保留人物个性化面部结构，维持原有辨识度
- 支持文本、参考图、参数调整等多模态输入方式，适配不同操作习惯
- 导出效率高于传统神经辐射场类工具，减少渲染等待时间
- 技术方案与相关论文公开，可作为学术研究的参考资源
不足
- 当前仅支持正面、面部无大面积遮挡的视频，侧颜、遮挡较多的视频处理效果不佳
- 免费使用阶段有上传视频时长限制，长视频需要分段处理
- 界面偏向学术工具风格，没有图形化拖拽编辑功能，新手需要一定学习成本
- 导出的4D数据仅适配部分主流三维软件，部分小众软件兼容性不足
能帮你做的 8 件事
- 012D转4D高斯场
- 02多模态编辑支持
- 03面部结构保留
- 04迭代数据集更新
- 05肖像视频编辑场景的常用方案
- 064D高斯场生成场景的常用方案
- 07影视特效制作人员(影视角色肖像修改场景)的日常效率工具
- 08先用免费额度验证需求再决定付费
更新历史
- PortraitGen 收录进 Toolifai 目录
- 页面资料核验与信息更新
常见问题
上传的2D肖像视频有什么要求？
当前版本建议上传时长10-30秒、分辨率不低于720P的视频，视频中人物保持正面朝向镜头，面部无口罩、帽子等大面积遮挡，光线均匀无过曝或过暗的情况，尽量避免快速的头部晃动。如果视频中人物侧颜占比超过30%、或者面部有大面积遮挡，系统追踪SMPL-X系数的准确率会下降，可能导致生成的4D肖像出现形变、纹理扭曲等问题，影响最终编辑效果。
编辑后的内容可以用于商业用途吗？
当前免费演示阶段生成的内容仅可用于非商业的个人学习、研究用途，若需要用于商业场景，需要提前联系研发团队获取商用授权，避免出现版权纠纷。后续推出商用付费版本后，付费用户将获得对应等级的商用授权，可根据自身需求选择合适的版本，商用授权范围会在付费页面明确标注，用户可以根据自身的使用场景选择对应的授权等级。
导出的4D高斯场数据可以导入其他三维软件吗？
当前导出的4D高斯场数据支持导入Blender、Unity、Unreal Engine等主流三维与游戏引擎，用户导出时可以选择对应软件的适配格式，导入后可以继续进行材质调整、场景融合等二次编辑。部分小众三维软件目前还没有做专门适配，导入可能会出现数据读取失败的问题，后续版本会逐步增加更多软件的适配支持，用户可以关注官网的更新日志。
编辑后人物辨识度下降怎么办？
编辑页面提供了“面部结构保留权重”的调整滑块，默认权重为0.7，如果出现编辑后人物辨识度下降的情况，可以将权重调高到0.8-0.9，系统会更倾向于保留原人物的面部轮廓与五官特征，平衡编辑效果与相似度。如果调整权重后仍然无法满足需求，可以上传更多同一人物的不同角度照片作为辅助参考，系统会结合参考照片优化特征匹配，提升最终生成内容的人物辨识度。
支持多人肖像的视频处理吗？
当前版本仅支持单人物的肖像视频处理，如果视频中出现多个人物，系统会默认选择画面中占比最大的人物进行追踪与生成，其他人物会被视为背景处理，无法进行针对性编辑。后续版本会逐步增加多人肖像的处理支持，用户可以关注官网的功能更新通知，有多人处理需求的用户暂时可以将视频中的人物分别裁剪后单独处理，再通过后期软件进行合成。
开始使用 PortraitGen
从官方入口了解最新功能与使用方式。
由 Toolifai 编辑维护
欢迎产品方补充截图、功能介绍与官方资料。更新和纠错由编辑审核后发布。
