您现在的位置是:首页 > 正文

最全合集!AI 视频生成产品推荐&实战教程!

2024-01-12 16:18:31阅读 359

若从生成方式分类,AI 视频生成包含:

  1. 文生视频、图生视频(Runway、Pika labs、SD + Deforum、SD + Infinite zoom、SD + AnimateDiff、Warpfusion、Stability Animation)
  2. 视频生视频:又分逐帧生成(SD + Mov2Mov)、关键帧+补帧(SD + Ebsynth、Rerender A Video)、动态捕捉(Deep motion、Move AI、Wonder Dynamics)、视频修复(Topaz Video AI)
  3. AI Avatar+语音生成:Synthesia、HeyGen AI、D-ID
  4. 长视频生短视频:Opus Clip
  5. 脚本生成+视频匹配:Invideo AI
  6. 剧情生成:Showrunner AI

若从产品阶段和可用维度分类:

 

一、专业领域工作流

此类产品适合专业创作者进行电影、MV、宣传片等艺术作品中,有操作简单的 Pika labs、Runway,也有基于 Stable Diffusion 能力延伸的插件。这些产品能够被学习并掌握,因此本节内容除了产品介绍,还会有实践教学的部分。

1. Runway

该产品年初在互联网爆火,泥塑人物的风格化视频想必大家都不陌生:

Runway 在 2023 年初推出的 Gen-2 代表了当前 AI 视频领域最前沿的模型。能够通过文字、图片等方式生成 4s 左右的视频。Runway 致力于专业视频剪辑领域的 AI 体验,同时也在扩展图片 AI 领域的能力。目前 Runway 支持在网页、iOS 访问,网页端目前支持 125 积分的免费试用额度(可生成约 105s 视频),iOS 则有 200 多,两端额度貌似并不同步,想要更多试用次数的朋友可以下载 iOS 版本。

 

①Gen-1 和 Gen-2 的区别和使用方法

Gen-1

Gen-1 的主要能力有:视频生视频(Video 2 Video)、视频风格化、故事版(将实体模型风格化)、遮罩等其中,仅支持视频生视频是 Gen-1 和 Gen-2 的最大差异。

 

Gen-1 参数设置: https://help.runwayml.com/hc/en-us/articles/15161225169171

也可以看这个视频学习 Gen-1 的详细设置方式: https://youtu.be/I4OeYcYf0Sc

Gen-2

Gen-2 的主要能力有:文生视频(Text 2 Video )、Prompt+图像生成视频(Text + Image to Video )也支持无 Prompt 直接图片转视频(Image to Video),通常图生视频时,更推荐使用 Image to Video。想要使用 Gen-2,点击顶部的 Start with Image、Start with Text 即可。

 

2 Pika labs

 

该产品目前推出了 Beta 版本,支持免费、不限次数地文生视频、图生视频,和 Runway 一样, 生成的视频会带上官方水印。Pika labs 很少披露其产品、技术的详细情况,官网也没有花精力好好做,在国内外的影响力都没有 Runway 大,但其生成效果足以站上 AI 视频的牌桌。

优秀案例:

近期 x 上一个创作者发布的庆祝星球大战 100 周年的短片做的非常成功:

 

 

 

3. D-ID

 

①产品特点

D-ID 来自一家以色列 AI 创业公司,该公司此前推出的“Deep Nostalgia”(将老照片中失散已久的亲人的脸动画化)和“LiveStory”(在动画照片中添加音频,让照片中的人讲述自己的生活史)等项目曾在 Tiktok 等社交媒体上疯传。D-ID 主打方向同样是 AI Avatar 生成视频,比起 Synthesia、HeyGen AI、D- ID 提供了更多 credits(20 个)让用户试用。除了 AI 视频生成器之外,该公司还提供与 Microsoft PowerPoint 兼容的 AI Presenters,允许用户将虚拟演示者添加到幻灯片中并创建更具吸引力和互动性的演示文稿。

 

官网地址: https://app.heygen.com

 

4. Invideo AI 脚本生成+视频匹配

 

①产品特点

该产品能够在数十秒时间内轻松实现 Prompt 转视频,并且支持通过编辑器进行后期更改。过去类似科技、财经、资讯类重脚本内容的视频在制作时需花费大量时间寻找视频素材、还需注意视频版权问题。未来可以使用 Invideo AI 类的产品快速、低成本地进行视频画面制作。

官网地址: https://ai.invideo.io

 

Opus Clip 长视频转短视频

 

②产品特点

支持上传长视频地址,自动将长视频转换为适合不同平台的短视频,支持自动生成字幕、符号表情、调整视频大小、并且能够自动识别人物主体,适合播客、长视频作者、营销人员使用。在多种视频内容和平台并存的流媒体时代,该工具很好的切中了创作者痛点。上线短短 3 个月便拥有了 40 万+用户,生成 3000 万+个剪辑。

官网地址: https://www.opus.pro/#ai-emoji-generator

 

5. Wonder Dynamics AI 动捕

①产品特点

发力 CG 场景,支持自动将 CG 角色动画、打光合成到真实场景中。使用流程主要为:自动识别视频中的人物动作,用户可选择扣除或者替换成 CG 形象,CG 形象会直接替换视频中的所有场景,节约了大量的逐帧 VEX(视频编辑和合成)工作。目前普通用户仅支持试用官网模板,官方提供的 CG 形象都偏科幻类、动画题材。

②官方案例

 

 

官方 Twitter: https://twitter.com/DemNiko1/status/1683932450907652096

官方网站 : https://wonderdynamics.com/#features

6. Move AI AI 动捕

由一家成立于 19 年的英国公司推出,该产品主打通过手机拍摄视频画面实现动作捕捉,无需佩戴动捕设备即可获取动作捕捉数据,能够极大降低 3D 动画制作成本。

(目前测试版应用还比较简陋,公开可下载的 Move AI 版本目前也不再接受新用户注册,全部功能开放使用应该还需要一定时间)

官网地址: https://www.move.ai/

 

①使用方法

Move AI 支持多台移动端设备同时录制视频,视频上传到 web 端后进行动作检测,支持导出为 FBX 等格式的文件,并导入 iClone 8、Blend、Maya 等软件中,驱动模型进行动作播放。

 

目前无法实践测试效果,找了半年前的一个测评案例给大家看下,by JSFILMZ: https://www.youtube.com/watch?v=PDFqN_pvEUE

该产品若开放使用,会对电影、游戏 3D 动画制作、虚拟主播直播、影视剧制作等场景会产生深刻影响。Move AI 强调和其他动捕使用手机拍摄短片,这也让我看到了在游戏和产品设计工作中大幅降低 3D 动画制作成本的可能。未来设计师可能只需要拍摄特定动作并映射到制作好的 3D 模型中,快速制作动画方案。

 

 

网站文章

  • RunwayML最新发布,30多种AI魔法工具 AI视频

    RunwayML最新发布,30多种AI魔法工具

    RunwayML发布了新功能和更新,在使用Runway时可提供更多控制、更高保真度和更强表现力。推出motion brush运动画笔,Gen-2风格预设、更新的相机控制等,这些功能都来自于他们一系列的...

    2024-01-11 10:57:27
  • Screenshot to Code自动生成网站代码 其它

    Screenshot to Code自动生成网站代码

    现在,一个名为Screenshot to Code的GitHub开源项目将这一工作自动化,它可以仅通过一张网页设计图就生成可用的前端代码,让你的开发效率获得数倍提升。 https://github.c...

    2024-01-11 01:12:19
  • ElevenLabs—语音合成语音克隆的一个好东西 AI音频

    ElevenLabs—语音合成语音克隆的一个好东西

    ElevenLabs 是国外一个火爆的AI文字转语音平台,目前已完成测试阶段并推出了正式版。借助先进的多语言人工智能技术,ElevenLabs 可以自动识别包括中文在内的28种语言,并将其转换为逼真的...

    2024-01-11 00:43:58
  • Opus Clip一键生成多个短视频,让你能更高效的短视频制作! AI视频

    Opus Clip一键生成多个短视频,让你能更高效的短视频制作!

    Opus Clip 的优点在于,它可以自动识别视频中的精彩片段,提取出亮点,并将它们无缝地重新排列,制作成可以单独存在的吸引人的短视频。此外,它还能自动添加字幕、调整视频布局、平滑过渡效果和添加强有力...

    2024-01-11 00:20:54
  • 强大的文本转视频工具-Invideo AI AI视频

    强大的文本转视频工具-Invideo AI

    in video是一款非常强大的在线视频编辑工具,它提供海量的素材和模板特效帮助没有专业的视频剪辑技巧的普通人也能够快速制作出来高质量的视频内容。

    2024-01-10 22:41:09
  • Pika Art 一个文生视频AI工具来啦! AI视频

    Pika Art 一个文生视频AI工具来啦!

    Pika是近期热门的人工智能初创公司Pika Labs推出的AI视频生成和编辑工具,该工具可以将任何创意转化为视频,用户只需输入文字或图像,即可快速生成3D动画、动漫、卡通、电影等风格的视频。该AI视...

    2024-01-09 23:41:25
  • DiffusionBee:Mac上的神奇AI画画大师! AI图片

    DiffusionBee:Mac上的神奇AI画画大师!

    探索DiffusionBee,Mac上的免费、离线运行的AI画画工具,为您的创意之旅注入无限可能! 亮点: Mac专属:DiffusionBee专为Mac电脑打造,让AI画画触手可及!(抱歉Windo...

    2024-01-09 10:01:56
  • Notion AI:开启智能助手,重新定义工作流程 AI文本

    Notion AI:开启智能助手,重新定义工作流程

    Notion AI是一个AI写作工具,它可以为您提供优秀的写作服务。它可以集成到您的概念工作区中,帮助您更轻松地完成工作。Notion AI还有其他强大的功能,可以帮助您更好地管理您的工作。 在线办公...

    2024-01-09 01:26:56
  • Monica:GPT-4 驱动的全能 AI 助手 — 跨界搜索、写作、翻译与智能交互的未来 AI文本

    Monica:GPT-4 驱动的全能 AI 助手 — 跨界搜索、写作、翻译与智能交互的未来

    Monica是一款集合了Chatgpt 3.5和4.0 cloud、谷歌Bard等多个主流大圆模型的AI工具,所以它的文案生成质量可想而知。 这个工具需要谷歌浏览器添加插件使用,所有对使用者又特定要求...

    2024-01-09 00:45:32
  • tensor.art替代midjourney使用免费生成AI图片 AI图片

    tensor.art替代midjourney使用免费生成AI图片

    用midjourney来生成AI图片相信大家多少都听过也试过,但当试用期过了之后就必须要付费才可以继续使用一个月最低要10美金。 这对于刚接触AI生成图片的朋友们可能会有些负担,毕竟还在练习跟学习的阶...

    2024-01-08 23:21:41