Gen-2重磅发布“运动画笔”,可制作视频连环画啦!

转载
358 天前
6651
AI梦工厂

文章转载来源:AI梦工厂

原创:AIGC开放社区

图片来源:由无界AI 生成

专注AIGC领域的专业社区,关注微软OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!

著名生成式AI平台Runway在官网宣布,其文生视频产品Gen-2正式发布运动画笔、预设风格、更新导演模式和优化图像模型4个功能。

其中,运动画笔成为本次更新的最大亮点,用户只需要对上传的图片指定区域进行涂抹,就能让生成的视频按照特定轨迹运动,而其他没有涂抹的区域完全静止。

依靠运动画笔加上运动相机这两个强大功能,制作“视频连环画”将变得非常容易,同时又能精准控制生成视频的内容真的太香了。

简单来说,这就是一个可视化视频动态控制,相当于AE、PR里的视频轨迹移动。但对于没有专业技术背景的小伙伴们来说很方便。

免费体验地址:https://app.runwayml.com/login


运动画笔


「AIGC开放社区」通过免费账户体验了一下该功能。1)上传高清图片,这里我上传了一张2560*1440*96 dpi的高清图片。

2)上传完成后,点击“Motion Brush”按钮,启动运动画笔功能。

3)下面会出现Horizontal、Vertical和Proximity三个参数,分别是控制运动的水平、垂直和近距离三种移动方法。

4)涂抹要运动的区域,我们只选择太阳,其他的一律不动,然后选择下面的三个参数。

这里我们想让太阳继续向上提升,所以,提升了这三个参数分别是2.1、4.0、1.8。

如果你想让太阳往下走,就负向选择这三个参数即可。

5)点击“Save”然后生成视频。我们可以看到太阳在稳定的向上升起,而视频中的其他物体是完全静止的。

需要注意的是,我们可以在单一图片进行多个区域涂抹,次数无限制。同时可以与运动相机搭配使用,二者在功能方面没有任何冲突。


预设风格


通常我们很难控制Gen-2输出的视频风格,需要很详细的参数才能实现。

现在,Gen-2内置了动画、3D卡通、像素艺术、电影效果、广告等十多种预设风格。

在文本生成视频过程中,我们直接选择预设风格即可。例如,行走的机器霸王龙,荒漠,沙丘,然后选择3D卡通风格。

同样,该功能对于制作视频连环画很有帮助,可以控制整体风格。需要注意的是,目前只支持文本到视频,图像到视频还无法使用。


更新导演模型


Gen-2的导演模式的高级摄像机控制进行了更新,现在可以实现更精细的控制。

现在,我们可以使用详细参数来更精确地调整相机移动,来增加或减少移动。


优化图像模型


现在,Gen-2在文本到图像、图像到图像和图像变化中,提供了更高的保真度、更高的一致性和更高分辨率的图像生成。

也就是说你使用2K、4K等超高清图片生成内容时,输出的也可以匹配同样的分辨率,这对于制作图像到视频时帮助巨大。

本文素材来源Runway官网,如有侵权请联系删除