JoyHallo
JoyHallo是专注于数字人视频生成的技术项目，核心定位为面向多场景的普通话数字人生成解决方案
JoyHallo是专注于数字人视频生成的技术项目，核心定位为面向多场景的普通话数字人生成解决方案。项目基于29小时真实场景普通话视频数据集训练，可实现音频驱动的唇部动作同步生成，支持医疗等垂直领域话术的数字人内容输出，同时具备跨语言视频生成能力。目标用户覆盖内容创作者、医疗科普机构、在线教育从业者、企业宣传部门等群体，可应用于科普视频制作、在线课程录制、品牌宣传内容产出、多语言跨境内容制作等多个场景。
- 适用对象
- 医疗科普创作者(制作健康知识宣讲视频)
- 主要功能
- 普通话数据集、音频特征嵌入
- 计费方式
- 免费增值，部分功能付费
- 平台
- 网页
- 已收录
- 2026.06.14（139 天）
阅读目录
编辑评测与站内热度
编辑综合评分
满分 5 分
六维指标基于站内真实数据（热度、社区反馈、资料完整度、可达性核验等）综合评估，非用户投票。
全站热度排名
#4751
分类内排名
#12 / 34
累计站内点击
1
近 7 日点击
1
排名与点击为站内真实统计口径，反映 Toolifai 用户行为，非编辑评分。
JoyHallo是什么，怎么使用？
约 4 分钟JoyHallo是专注于数字人视频生成的技术项目，核心定位为面向多场景的普通话数字人生成解决方案。项目基于29小时真实场景普通话视频数据集训练，可实现音频驱动的唇部动作同步生成，支持医疗等垂直领域话术的数字人内容输出，同时具备跨语言视频生成能力。目标用户覆盖内容创作者、医疗科普机构、在线教育从业者、企业宣传部门等群体，可应用于科普视频制作、在线课程录制、品牌宣传内容产出、多语言跨境内容制作等多个场景。
主要功能
- 普通话数据集：项目采集京东健康国际有限公司员工的29小时普通话视频构建jdh-Hallo数据集，覆盖不同年龄层、日常对话与专业医疗话题两类说话风格，数据来源真实场景，可支撑模型学习符合真实表达习惯的唇部动作、面部表情与肢体姿态特征，降低生成内容的违和感。
- 音频特征嵌入：模型采用中国wav2vec2模型处理输入音频，可精准识别普通话语音中的韵律、停顿、发音特点，将音频内容转化为可被生成模块调用的特征向量，降低语音与动作不匹配的概率，适配带有专业术语、方言口音的普通话音频输入。
- 半解耦结构设计：模型采用半解耦结构分别捕捉唇部、表情、姿态三类特征，同时保留三类特征之间的关联关系，既可以单独调整某一类特征的表现，也能保证整体动作的自然协调性，相比传统全耦合结构，信息利用效率更高，推理速度提升14.3%。
- 跨语言生成支持：除普通话外，模型可适配英语音频输入生成对应数字人视频，无需额外针对英语做大规模数据集训练，即可实现英语发音与唇部动作的基本同步，满足跨境内容制作、多语言版本宣传物料产出的需求。
- 医疗场景适配：训练数据包含大量专业医疗话题内容，模型可准确识别医疗领域专业术语的发音特征，生成符合专业讲解场景的数字人姿态与表情，适配医疗科普内容、健康知识宣讲视频的制作需求，降低专业内容生成的违和感。
- 开源可部署：项目代码与基础模型权重开源开放，用户可直接下载部署到本地服务器，也可基于自有数据集对模型做微调，适配自身业务的个性化需求，无需依赖第三方云服务接口即可完成数字人视频的生成流程。
怎么使用
- 第一步，访问JoyHallo项目主页，在下载专区获取最新版本的模型权重、开源代码包与配套的部署说明文档，根据设备环境配置对应的Python依赖库与运行框架。第二步，准备待生成的音频文件，支持普通话或英语的WAV、MP3格式，若有专业领域内容可提前整理相关话术文本作为辅助输入。第三步，运行模型预处理模块，上传音频文件后系统自动完成音频特征提取，可根据需求选择预设的数字人形象，也可上传自定义的数字人模型文件。第四步，设置生成参数，可分别调整唇部同步精度、表情丰富度、姿态动作幅度等选项，若有特定场景需求可选择对应训练风格的微调模型。第五步，启动生成任务，待任务完成后可预览输出的数字人视频，支持导出MP4格式文件，若效果不符合预期可调整参数重新生成。
适合什么人群
- 医疗科普创作者(制作健康知识宣讲视频)
- 在线教育从业者(录制学科课程与培训内容)
- 企业宣传人员(制作品牌介绍与产品讲解视频)
- 跨境内容运营(制作多语言版本海外宣传物料)
- AI技术研发人员(研究数字人生成相关算法)
- 短视频创作者(批量产出口播类短视频内容)
总结
这个项目是数字人生成领域内聚焦垂直场景的技术方案，和通用型数字人工具不同，它的训练数据专门纳入了医疗专业话题内容，对于医疗科普、健康宣讲类内容的适配性更高，在专业术语的唇部同步表现上更贴合真实表达习惯。它采用的半解耦结构在推理效率上有明显提升，普通配置的服务器也能完成常规视频的生成，同时跨语言生成能力可以满足部分用户制作多语言内容的需求。项目完全开源，支持用户基于自有数据微调，对于有个性化数字人制作需求、不想依赖第三方SaaS服务的团队来说，是一个可自定义程度较高的技术选项。不过目前项目还没有提供可视化的操作界面，需要用户具备一定的代码部署能力，更适合有技术基础的团队或个人使用。
价格与免费额度
JoyHallo为开源项目，基础版本完全免费开放，用户可直接下载代码与基础模型权重使用，无功能与生成时长限制，允许二次开发与商业使用。目前项目没有推出官方付费版本，若需要官方提供定制化微调、部署落地等技术服务，可联系项目团队沟通需求，费用根据服务内容单独核算。个人学习或小规模内容产出使用免费版本即可满足需求，有大量定制化生成需求的企业可额外采购官方技术服务。
优点与不足
优点
- 训练数据包含医疗专业话题内容，对医疗类口播视频的适配性更高，专业术语的唇部动作同步效果更自然
- 采用半解耦结构设计，推理速度提升14.3%，对部署设备的性能要求更低，普通服务器即可完成生成任务
- 支持跨语言生成，无需额外大规模训练即可适配英语音频输入，可满足多语言内容制作需求
- 项目代码与基础模型完全开源，支持用户基于自有数据集微调，可自定义程度高，无需依赖第三方服务
- 采用中国wav2vec2模型做音频嵌入，对普通话的识别适配性更好，可兼容带方言口音的普通话输入
不足
- 目前没有提供可视化操作界面，需要用户具备代码部署与运行能力，普通用户上手门槛较高
- 默认提供的数字人形象数量较少，若需要定制化形象需用户自行准备3D模型文件，没有配套的形象制作工具
- 训练数据来源相对有限，针对其他垂直领域（如法律、金融）的专业内容生成效果未经过充分验证
- 没有提供云端生成服务，用户需要自行准备部署设备，对于单次生成需求的用户来说使用成本较高
能帮你做的 8 件事
- 01普通话数据集
- 02音频特征嵌入
- 03半解耦结构设计
- 04跨语言生成支持
- 05数字人生成场景的常用方案
- 06AI视频制作场景的常用方案
- 07医疗科普创作者(制作健康知识宣讲视频)的日常效率工具
- 08先用免费额度验证需求再决定付费
更新历史
- JoyHallo 收录进 Toolifai 目录
- 页面资料核验与信息更新
常见问题
使用JoyHallo生成视频需要什么配置的设备？
基础运行的最低设备配置为8G显存的NVIDIA显卡、16G运行内存、50G以上可用存储空间，可满足1080P分辨率、1分钟以内视频的生成需求。若需要生成更长时长、更高分辨率的视频，推荐使用16G以上显存的显卡，32G以上运行内存，可大幅提升生成速度。部署在Linux或Windows系统下均可运行，需要提前配置好PyTorch、CUDA等相关依赖环境，按照官方提供的部署文档完成环境配置后即可正常使用。
JoyHallo支持自定义数字人形象吗？
支持自定义数字人形象，用户可上传符合格式要求的3D数字人模型文件，系统可适配不同的形象参数。上传的模型需要包含基础的面部骨骼绑定、唇部 blendshape 配置，否则可能出现动作无法正常映射的问题。若用户没有自行制作3D模型的能力，也可以使用项目提供的几个默认形象，默认形象均经过测试，动作同步效果更稳定。后续项目团队也计划开放更多预设形象供用户选择，降低自定义形象的门槛。
生成医疗相关内容的效果怎么样？
由于训练数据集包含大量专业医疗话题的真实对话视频，模型对医疗领域术语的发音特征、讲解时的常用表情与姿态学习更充分，生成医疗科普、健康宣讲类内容时，唇部与语音的同步度更高，表情姿态更符合专业讲解的场景，违和感更低。如果是非常细分的小众科室专业内容，建议用户补充少量自有科室的讲解视频数据对模型做微调，可进一步提升生成内容的匹配度，更好地适配细分场景的需求。
跨语言生成支持哪些语言？
目前经过官方验证的跨语言支持为英语，输入标准英语音频即可生成对应同步的数字人视频，无需额外针对英语做训练。对于日语、韩语等其他语言，目前没有经过充分的效果验证，用户可自行尝试输入对应语言的音频，部分语言可实现基础的唇部同步，但效果可能不如普通话和英语稳定。后续项目团队计划补充更多语言的测试与适配，逐步提升多语言支持能力。
生成的视频可以用于商业用途吗？
基于开源版本生成的视频可用于商业用途，无需向项目团队支付费用，但需要遵守开源协议的相关要求，保留项目的版权声明信息。若用户对模型做了二次微调后用于商业场景，也需要遵守对应开源协议的规定。需要注意的是，若使用自定义的数字人形象，需要确保该形象的版权合规，避免出现侵权问题，因形象版权产生的纠纷由用户自行承担。如果是大规模商业使用，建议提前咨询项目团队确认使用规范。
开始使用 JoyHallo
从官方入口了解最新功能与使用方式。
由 Toolifai 编辑维护
欢迎产品方补充截图、功能介绍与官方资料。更新和纠错由编辑审核后发布。
