StableVideoDiffusion来了!普通人拍大片指日可待

转载
356 天前
6843
新火种

文章转载来源:新火种

作者:小岩

随着技术的不断进步,AI领域取得了巨大的突破。特别是在图片生成这个赛道,AI目前能做到的成绩超乎想象。或许就在1年以前,很多人,特别是一些专业从业者对AI绘画的印象还停留在“元素要靠东拼西凑”“废图率太高”“成品无法直接使用”等方面,但如今,高质量AI绘图软件的表现完全可以颠覆你的固有认知。

而Stable Diffusion便是其中的典型代表。用Stable Diffusion完成的AI绘图,不仅能够精准地呈现人体姿态和画面层次感,还拥有复杂的三维结构,更支持用户对图片细节进行调整。

如今,Stable Diffusion的官方Stability AI走得更远了。不仅在AI绘画领域表现优秀,还推出了Stable Video Diffusion,这款技术不仅具有强大的3D合成功能,更可以为视频制作带来巨大的变革。也就是说,它的出现大大降低了视频拍摄的门槛,让普通人也可以轻松拍大片。


什么是Stable Video Diffusion?


Stable Video Diffusion是一种先进的视频合成技术,它能够将真实场景与虚拟物体完美地融合在一起,呈现出非常逼真的效果。这种技术可以应用于电影制作,游戏开发,广告创意等多个领域,从而为视频制作带来更多的可能性和创造性。

与传统的视频合成技术相比,Stable Video Diffusion最大的优势显然是物美价廉。先说“物美”,因为AI软件本身采用了深度学习的方法,对大量数据进行训练,使得合成的视频更加真实,自然。同时,这一AI技术还可以实现对细节的完美还原,例如物体的纹理、光线和阴影等等,可以说是十分逼真。再来说“价廉”,以前需要耗费大量人力物力来完成的视频制作工作,如今可能只需要通过Stable Video Diffusion就可以了,这就大大降低了成本。

Stable Video Diffusion的另一个重要特点是能够实现3D合成。通过这项技术,制作人员可以创建出各种神奇的场景和效果,例如将现实中的物体搬到虚拟场景中,或者将多个虚拟物体组合在一起。这为电影制作带来了更多的创意空间和可能性。

除了电影制作和游戏开发外,Stable Video Diffusion还很有可能在广告创意领域发挥重要的作用。广告商可以利用这项技术创造出各种独特的场景和效果,吸引消费者的注意力。


3D合成引发关注,网友纷纷表示:进步太快!


根据Stable Video Diffusion官方网站Stability AI显示的信息,全新SVD(简称)支持文本到视频,图像到视频的生成;支持物体从单一视角到多视角的转化,也就是大家所期待的3D合成。

尽管Stable Video Diffusion目前只是发布了基础模型,但已经受到了外界的广泛关注和好评,网友们普遍表示“进步太快”。官方透露,“正计划继续扩展,建立类似于Stable Diffusion的生态系统”。不过,对于官方发布的Demo,很多网友并不觉得有多惊艳,甚至认为其中存在缺陷,诸如光影不对;帧与帧之间有闪烁等等。

以下就是官方所发布的Demo,大家自行感受一下。

目前,Stable Video Diffusion的论文代码权重已经上线。根据介绍,SVD基于Stable Diffusion 2.1,使用了约6亿个样本的视频数据集预训练了基础模型。它可以轻松适应各种下游任务,包括通过对多视图数据集进行微调从单个图像进行多视图合成。

需要说明的是,Stability AI官方明确表示,Stable Video Diffusion仅限于研究,不适用于实际或商业应用。所以,它还不具备被大规模应用的条件。不过,官方已经开放了用户候补名单注册,这意味着我们普通小白也可以使用上这项技术,过一过“一键拍大片”的瘾。​


视频生成迎来大爆发,谁会成为最后的赢家?


最近一段时间,视频生成领域呈现出一种“混战”的局面,各种优秀产品冒头,大有百家争鸣的势头。

前有PikaLabs开发的文生视频AI。

之后Moonvalley推出了自己的作品,它素有“史上最强大的视频生成AI”。

最近Gen-2的推出了“运动笔刷”功能,轻松实现“指哪画哪”。

再加上如今惊艳亮相的Stable Video Diffusion,我们可以预见,AI视频生成领域竞争十分领域,大家卷的如火如荼,很难说谁会成为最后的赢家。

视频生成领域隶属于生成式AI技术的范畴。随着AI技术的不断发展,生成式AI行业正在逐渐崛起。目前,该行业处于高速发展的阶段,市场规模不断扩大,预计未来依旧会继续保持快速增长的速度。根据市场研究机构的数据显示,预计到2029年,行业的市场规模将达到100亿美元。

这会是一块肉眼可见的,极其美味的大蛋糕。