OmniHuman v2

4.2

字节的人像加音频驱动模型,给一张人物图和一段声音,生成口型和表情对得上的说话视频

官网在新窗口打开。价格和功能以官网为准。

OmniHuman v2官网首页截图
fal.ai 首页截图

OmniHuman v2是什么

做对白戏最费事的是让角色开口说话还不出戏。OmniHuman 是字节跳动的人像动画模型,v2 在 fal 平台上以接口形式提供:上传一张人物图和一段音频,得到一段 MP4,人物的情绪和动作会跟着声音走。

输入很简单。图片支持常见的 jpg、png、webp 等格式,音频支持 mp3、wav、m4a 等,页面的试用表单还有一个必填的提示词栏,但没解释它具体起什么作用。输出时长和分辨率页面没写,示例是一段约 9 秒的视频,具体上限以官方说明为准。

它和只做嘴型对齐的工具不同,思路是让整个人的表情和动作配合声音,适合半身、全身的说话镜头。本页给出的价格是每秒生成视频 0.105 美元,按时长计费,而不是包月。

主要功能

  • 图加音频出视频一张人物图配一段音频即可生成说话视频,不需要先拍参考视频
  • 情绪随声音变化官方描述人物的情绪和动作与音频保持关联,不只是嘴在动
  • 常见格式直接传图片支持 jpg、png、webp 等,音频支持 mp3、wav、m4a 等
  • 队列式接口通过 fal 的队列 API 调用,便于批量跑多句台词
  • 按秒计费页面标价每秒 0.105 美元,生成多长付多长

在 AI 短剧里怎么用

用在对白镜头:先用图片模型定好角色的正脸或半身定妆图,再用配音工具出每句台词,把图和音频逐句送进来生成说话片段,最后在剪辑软件里和动作镜头穿插。因为按秒收费,建议先拿一两句短音频试角色是否稳定,再批量跑整场戏。大幅度打斗或走位镜头要交给视频生成模型。

适合谁,不适合谁

适合:要做口播或对白特写、有现成角色定妆图并愿意按秒付费的短剧和短视频团队
要注意:按秒计费,长对白成本累积快;时长与分辨率上限页面未写明;平台需海外网络,本页也没有给出许可条款

常见问题

OmniHuman v2 怎么收费?

fal 页面标价是每秒生成视频 0.105 美元,按成片时长计费。是否有免费额度、不同分辨率是否差价,页面没写,以官网为准。

OmniHuman v2 能生成多长的视频?

页面没有写明最长时长和分辨率,示例是一段约 9 秒的片段。实际上限取决于输入音频和平台限制,接入前建议先用短音频试跑确认。

OmniHuman v2 能商用吗?

fal 页面把它标为可用于商用推理,但没有列出具体许可条款。正式商用前请查阅字节官方与 fal 的服务条款,并确认人物图的使用授权。

同类工具

用过 OmniHuman v2?

到 TVLab 社区说说你的用法、踩过的坑,或者问问别人怎么调参数。