嗨呀大家吼!这里是IT之家,我是浪歌。
Stable Diffusion作为目前最火的“文生图”开源 AI,最近一年受到很多人的关注,只需要一句 Prompt(提示词),就能在你的电脑上生成 N 多图片,别提多好用了。
而就在上周,Stable Diffusion 的开发公司 Stability AI,又放了个大招!
【资料图】
Stability AI 推出了一款新的文本生成动画工具包 Stable Animation SDK,支持文本、文本 + 初始图像、文本 + 视频多种输入方式。
Stability AI 官方介绍,目前该 AI 支持三种视频生成模式:
1、 文本转动画:用户输入提示词 (Prompt)并调整各种参数以生成动画,和 Stable Diffusion 的“文生图”功能相似。
2、 文本输入 + 初始图像输入:用户提供一个初始图像,该图像作为动画的起始帧。图像与文本提示词(Prompt)结合,生成最终的输出动画。
3、 视频输入 + 文本输入:用户提供一个初始视频作为动画的基础。通过调整各种参数,根据文本提示词生成最终的输出动画。
另外,Stable Animation SDK 提供了 多种模板风格可以选择,例如 3D 模型、仿真胶片、动漫、电影、像素风格等等。
而 Stable Animation 的使用也非常简单,例如你输入一句“一条有红色鳞片和绿色眼睛的龙”,Stable Animation 模型就会根据描述,生成匹配的 3D 模型,用户还可以通过添加或更改属性(如颜色、形状、大小、纹理、姿势等)来修改模型。
另外,Stable Animation 并不仅限于生成静态模型。它还允许使用自然语言命令对它们进行动画处理。例如,可以在描述中写道“让龙喷火”或“让龙飞起来”,该模型就会生成逼真的动画和栩栩如生的效果。
Stable Animation 最大的亮点就是降低了影视作品的产出难度。可能有IT之家的小伙伴还记得,之前有一个 YouTube 团队 Corridor ,就使用 Stable AI 的文字生成图片 AI Stable Diffusion,超低成本做了一部短篇动画出来。
由于特效实在太出彩了,短短三周,这个视频就收获了近 300 万播放量,27 万人点赞。
要知道,这只是一个 11 人小团队,花了 3 万美元成本制作出来的,这可比工业化影视生产效率高太多了。
而且,他们使用的 Stable Diffusion 是一个 AI 绘图软件,要做成动画只能一帧一帧的生成,还要自己训练模型 Lora,还是挺费劲的。
有了能自动生成视频的 Stable Animation,不仅能够进一步降低成本,对服化道、人员的需求也更低。
以后的视频大片,真有可能让几个人的小团队做出来。
另外,Stable Animation 的价格也不算太贵,大部分人都可以负担的起。
Stable AI 官网介绍,10 美元可抵 1000 积分,而在 Stable Diffusion v1.5 模型下,在默认设置值(512x512 分辨率,30steps)下,生成 100 帧(大约 8 秒)视频将消耗 37.5 积分。
官方也给出了一个按照不同分辨率,生成 100 帧影片的价格表:
根据这个表,浪歌计算了一下,哪怕是高清视频(1024X1024) 一分钟也不过 1.35 美金,约合 9.45 元人民币。
这个价格,动画公司真的是拍马也追不上啊!
如果你觉得 Stable Animation 效果还差强人意,别急,还有一个更猛的视频生成 AI。
初创公司 Runaway 在今年推出了文字生成视频的 AI 模型 Gen-2,只要短短的一句话或者一张照片,就能生成一段视频。
官方介绍, Gen-2 可以让用户用任意的图像、视频或文本,生成酷炫大片,不管任何风格,Gen-2 都可以驾驭。
喜欢日系二次元?没问题!
想要真人出镜?搞起来!
比起 Stable Animation,Gen-2 的玩法更加多样:
1・一个描述语句,就能生成任意风格的视频
2・输入一幅图,再补充一句说明,按照你的需求,AI 会把图片中的部分元素修改,再转化为视频。
3・图像直接出视频,由 AI 直接把静态图变成视频。
另外还有视频特效化(通过引导词和辅助图片给视频增加特效),视频动漫化(将真人视频转化为动画)等多个实用功能。
基本你能想象的到的 AI 视频功能,Gen-2 都提供,以后影视行业“一人成军”真的不是梦了。
虽然 Gen-2 更加强大,但是价格也更贵了。Runway 是按照套餐包收费的,最便宜的套餐一年也要近千元人民币。
不过 Runway 的 Gen AI 目前也有很多限制,例如生成速度极慢, 5 秒钟的视频需要三分钟左右,另外生成的视频有时会比较抽象。
不过,就像 AI 绘图刚出来时各种“抽象画风”一样,浪歌相信随着时间推移,AI 视频生成肯定也会越来越完美。
等到那个时候, 你在抖音快手上刷到的视频, 很有可能都 不是真人演的了 。
小米 Civi 3 新品发布会将在 5 月 25 日下午 14:00 点正式发布,IT之家网站 & App 将会同步直播,欢迎观看!
另外,近期还有不少热门内容, 点击下方蓝字即可查看:
【好物】小米13 Ultra手机限定色6399元+12期免息,先科家用落地扇34元狂促 ChatGPT炒股一年回报超500%,基金经理难逃下岗 苹果iOS 16.5 Bug频发:多款iPhone续航缩水,官方配件都“抽风” 小米Civi 3官宣:机身迈巴赫?AI这回要让导演失业了 ↓↓↓