最全合集!AI 视频生成产品推荐&实战教程!
若从生成方式分类,AI 视频生成包含:
- 文生视频、图生视频(Runway、Pika labs、SD + Deforum、SD + Infinite zoom、SD + AnimateDiff、Warpfusion、Stability Animation)
- 视频生视频:又分逐帧生成(SD + Mov2Mov)、关键帧+补帧(SD + Ebsynth、Rerender A Video)、动态捕捉(Deep motion、Move AI、Wonder Dynamics)、视频修复(Topaz Video AI)
- AI Avatar+语音生成:Synthesia、HeyGen AI、D-ID
- 长视频生短视频:Opus Clip
- 脚本生成+视频匹配:Invideo AI
- 剧情生成:Showrunner AI
若从产品阶段和可用维度分类:
此类产品适合专业创作者进行电影、MV、宣传片等艺术作品中,有操作简单的 Pika labs、Runway,也有基于 Stable Diffusion 能力延伸的插件。这些产品能够被学习并掌握,因此本节内容除了产品介绍,还会有实践教学的部分。
1. Runway
该产品年初在互联网爆火,泥塑人物的风格化视频想必大家都不陌生:
Runway 在 2023 年初推出的 Gen-2 代表了当前 AI 视频领域最前沿的模型。能够通过文字、图片等方式生成 4s 左右的视频。Runway 致力于专业视频剪辑领域的 AI 体验,同时也在扩展图片 AI 领域的能力。目前 Runway 支持在网页、iOS 访问,网页端目前支持 125 积分的免费试用额度(可生成约 105s 视频),iOS 则有 200 多,两端额度貌似并不同步,想要更多试用次数的朋友可以下载 iOS 版本。
①Gen-1 和 Gen-2 的区别和使用方法
Gen-1
Gen-1 的主要能力有:视频生视频(Video 2 Video)、视频风格化、故事版(将实体模型风格化)、遮罩等其中,仅支持视频生视频是 Gen-1 和 Gen-2 的最大差异。
Gen-1 参数设置: https://help.runwayml.com/hc/en-us/articles/15161225169171
也可以看这个视频学习 Gen-1 的详细设置方式: https://youtu.be/I4OeYcYf0Sc
Gen-2
Gen-2 的主要能力有:文生视频(Text 2 Video )、Prompt+图像生成视频(Text + Image to Video )也支持无 Prompt 直接图片转视频(Image to Video),通常图生视频时,更推荐使用 Image to Video。想要使用 Gen-2,点击顶部的 Start with Image、Start with Text 即可。
2 Pika labs
该产品目前推出了 Beta 版本,支持免费、不限次数地文生视频、图生视频,和 Runway 一样, 生成的视频会带上官方水印。Pika labs 很少披露其产品、技术的详细情况,官网也没有花精力好好做,在国内外的影响力都没有 Runway 大,但其生成效果足以站上 AI 视频的牌桌。
优秀案例:
近期 x 上一个创作者发布的庆祝星球大战 100 周年的短片做的非常成功:
3. D-ID
①产品特点
D-ID 来自一家以色列 AI 创业公司,该公司此前推出的“Deep Nostalgia”(将老照片中失散已久的亲人的脸动画化)和“LiveStory”(在动画照片中添加音频,让照片中的人讲述自己的生活史)等项目曾在 Tiktok 等社交媒体上疯传。D-ID 主打方向同样是 AI Avatar 生成视频,比起 Synthesia、HeyGen AI、D- ID 提供了更多 credits(20 个)让用户试用。除了 AI 视频生成器之外,该公司还提供与 Microsoft PowerPoint 兼容的 AI Presenters,允许用户将虚拟演示者添加到幻灯片中并创建更具吸引力和互动性的演示文稿。
官网地址: https://app.heygen.com
4. Invideo AI 脚本生成+视频匹配
①产品特点
该产品能够在数十秒时间内轻松实现 Prompt 转视频,并且支持通过编辑器进行后期更改。过去类似科技、财经、资讯类重脚本内容的视频在制作时需花费大量时间寻找视频素材、还需注意视频版权问题。未来可以使用 Invideo AI 类的产品快速、低成本地进行视频画面制作。
官网地址: https://ai.invideo.io
Opus Clip 长视频转短视频
②产品特点
支持上传长视频地址,自动将长视频转换为适合不同平台的短视频,支持自动生成字幕、符号表情、调整视频大小、并且能够自动识别人物主体,适合播客、长视频作者、营销人员使用。在多种视频内容和平台并存的流媒体时代,该工具很好的切中了创作者痛点。上线短短 3 个月便拥有了 40 万+用户,生成 3000 万+个剪辑。
官网地址: https://www.opus.pro/#ai-emoji-generator
5. Wonder Dynamics AI 动捕
①产品特点
发力 CG 场景,支持自动将 CG 角色动画、打光合成到真实场景中。使用流程主要为:自动识别视频中的人物动作,用户可选择扣除或者替换成 CG 形象,CG 形象会直接替换视频中的所有场景,节约了大量的逐帧 VEX(视频编辑和合成)工作。目前普通用户仅支持试用官网模板,官方提供的 CG 形象都偏科幻类、动画题材。
②官方案例
官方 Twitter: https://twitter.com/DemNiko1/status/1683932450907652096
官方网站 : https://wonderdynamics.com/#features
6. Move AI AI 动捕
由一家成立于 19 年的英国公司推出,该产品主打通过手机拍摄视频画面实现动作捕捉,无需佩戴动捕设备即可获取动作捕捉数据,能够极大降低 3D 动画制作成本。
(目前测试版应用还比较简陋,公开可下载的 Move AI 版本目前也不再接受新用户注册,全部功能开放使用应该还需要一定时间)
官网地址: https://www.move.ai/
①使用方法
Move AI 支持多台移动端设备同时录制视频,视频上传到 web 端后进行动作检测,支持导出为 FBX 等格式的文件,并导入 iClone 8、Blend、Maya 等软件中,驱动模型进行动作播放。
目前无法实践测试效果,找了半年前的一个测评案例给大家看下,by JSFILMZ: https://www.youtube.com/watch?v=PDFqN_pvEUE
该产品若开放使用,会对电影、游戏 3D 动画制作、虚拟主播直播、影视剧制作等场景会产生深刻影响。Move AI 强调和其他动捕使用手机拍摄短片,这也让我看到了在游戏和产品设计工作中大幅降低 3D 动画制作成本的可能。未来设计师可能只需要拍摄特定动作并映射到制作好的 3D 模型中,快速制作动画方案。