生成文章、生成美女图、TTS 文转语音之後,当然是要将三者结合了!HeyGen 就是一个结合三种人工智能生成技术的平台,帮大家在短时间内生成一条有广东话主播做介绍的影片,用来做 Presentation 印象分加不少!
HeyGen 网站:按此
HeyGen 提供 ChatGPT 对白生成和修改、主播图像生成、文字转语音以至生成影片的一条龙服务,更能运用 AI 来为虚拟主播加上配合对白的嘴形和一点小动作,例如边说身体边有轻微摇摆之类。而且生成速度非常快,生成虚拟角色每次 15-30 秒,生成 18 秒影片也只在 3 分钟内完成。
HeyGen 提供免费试用,登记後可使用所有公开虚拟主播头像、所有影片样式、上传照片作主播、虚拟主播换脸和完成影片编辑器功能,并可以生成 1 分钟影片,不过影片会有水印。之後就按量收费,Essential 用户最便宜月费为 US$24(约港币 $188),可以生成合共 10 分钟影片,并移除了水印。而 Pro 用户更可以生成长达 15 分钟的影片。
生成步骤Part 1. 建立虚拟主播
- 虽然大家可以透过 HeyGen 的文生图功能来生成虚拟主播,不过外国人标准未必对大家的胃口。笔者还是使用惯用的 Stable Diffusion WebUI 以 chilledReGenericV3 模型,生成一位东方美女作主播。由於影片有 1920×1080 解像度,所以需要适当地放大生成图像,并利用插件如 PBRemTool 来生成透明背景的 PNG 图像。
- 登入 HeyGen 页面,确认「How do you want to create videos today?」是选择了「Start with an Avatar(由虚拟主播开始)」,然後就在「My Avatar」下选择「TalkingPhoto」,并按「Upload or generate photo(上载或生成照片)」 。
- 如果你有正面的照片想亲自上镜,或者上传自己在 Midjourney 或 Stable Diffusion 生成的虚拟主播的话,就按「Upload」;而如果想一试 HeyGen 自己的图像生成能力的话就可以按「Generate」。
- 完成上载之後,就将滑鼠移动到虚拟主播身上,点击左下角的「Create an avatar template」建立主播样式。
- 这里可以设定虚拟主播的呈现方式,如 Original 原图模样、方形框或圆形。而最重要的就是在 Voice 栏选择广东话、语音速度和语调。
- 在 Voice Library 里选择「Chinese」,当中会包含大陆的普通话、台湾的国语和香港的广东话,不过广东话只有一男两女声线可供选择,虽然比较生硬的,不过在混合多语言上还是很流畅的(只要句子通顺的话)。
- 按「Save as Template」就可以会储存了一个虚拟主播样式 Avatar Template。
Part 2. 生成影片
- 点击刚才设定好的 Avatar Template,在弹出的预览框中把鼠标移至右边的「+Create Video」上,就可以选择生成横向 1920×1080、或直向 1080×1920 影片。
- 进入影片编辑画面,上方的画框预设已加入主播,大家可以以拖放的方式加入更多图像,例如这影片就加入背景、画框和标志。
- 介面中段就用作编辑对白,虽然每个场面只可以有 5 段对白,但只要使用 Shift+Enter 转行,每一段就可以有多行。另外,大家还可以按下面的 ChatGPT 标志,让 ChatGPT 为大家修改对白。
- 介面最下面是影片时间线,也是 HeyGen 的一大特点。每条影片可以分成多个场面,编辑期间可以前後调配或复制场面。可以按时间线的播放掣来预览影片,不过直至按右上角的「Submit」掣落实影片虚拟主播也不会有动作。
- 完成编辑後,就可以按右上角的「Submit」掣来生成影片。这里要注意两件事:1. 确认 Submit 後就会扣减 Credit 时间;2. Submit 後的影片不能再编辑,只可以复制影片当作全新影片来修改。
完成的影片
- 生成过程可以在左边栏选择「Video」来查看,完成後可以将影片上传到社交平台或者下载原片,也可以预览影片、修改字幕。不过只有付费用户才可以下载 .srt 字幕档。
HeyGen 生成影片的步骤简单,介面有足够说明,生成速度快捷,又有各种生成式 AI 在不同步骤提供支援,想制作不一样的展示影片实在容易得多。