不用20张图!只用一张图就能生成AI头像,这个来自中国团队的项目太好用了

转载
296 天前
10132
AI梦工厂

文章转载来源:AI梦工厂

原文来源:硅星GenAI

作者|椰子

图片来源:由无界 AI生成

前两天,一个来自小红书的大佬发了个新项目——InstantID,是用一张你的随意角度的照片,就能生成一个 AI 头像。

比如这样:

它的使用非常简单,打开 Hugging Face 上的 Demo 页面:https://huggingface.co/spaces/InstantX/InstantID

然后上传一张图片、写或者不写 prompt都可以、点击 Submit 等待 30 秒左右就可以拿到图片了。

在不了解技术细节的初体验下,方便、快速、效果好是第一印象。不需要像之前的同类产品那样,需要特定角度的照片或者是很多张照片,一张足矣。

这个项目说是 AI 个性化图片生成领域的重磅炸弹显得有点一惊一乍的,毕竟现在 AI 界每天值得“震撼”的新闻太多了。

但 InstantID 这个项目在 X 上,一众大佬都关注到了这款产品,比如Yann LeCun:

Yann LeCun想要一个钢铁侠的衣服,于是这个项目的作者亲自下场,做了一组漫威LeCun宇宙:

据InstantX Team表示,他们采用的即插即用(plug-and-play)模块只需使用单张面部图像就能处理各种风格的图像个性化工作,同时确保人物面部的高保真效果。几位团队成员都亲自下场做了一系列自己的 AI 头像:

和其他同类型的产品相比,InstantID有几点不同:

首先,InstantID不训练 UNet,因此可以保留原始文本到图像模型的生成能力,并与社区中现有的预训练模型和 ControlNets 兼容;其次,InstantID不需要在测试时进行调整,因此对于特定的字符,不需要收集多张图像进行微调,只需要推断一次单一图像。而且在实际应用中不难发现,InstantID实现了更好的人脸保真度,并保留了文本的可编辑性。

通过风格的选择,可以用一张图实现多个风格的变换。

除了出色的一致性之外,还可通过提示词进行二次加工,同时也展现了与现有 ControlNet的兼容性。

在有多张参考图像的前提下,会取 ID 嵌入的平均值作为图像提示。其实一张图的时候效果就已经很不错了。

在官方的 Paper 中,还探讨了几个有趣的使用案例。其中包括视图合成,InstantID 可以在保持角色一致性的同时创建新的视角和角度。比如创建一张 20% 泰勒斯威夫特和 80%杨幂长相的图片。

以及 InstantID 无缝融合多种身份特征的能力,能管理涉及多个角色的复杂场景。这些应用都展现了 InstantID 在各种创意和实际环境中的多功能性和有效性。比如像是人类与萌宠相结合:

在论文中还有一些跟过去原有技术的对比,感兴趣的可以直接在官方页面查看:

https://instantid.github.io/

目前可以查到的,InstantX Team的主要成员之一王浩帆,是一名来自小红书的研究工程师(research engineer),主页链接:

https://haofanwang.github.io/

之后我们会持续关注InstantX Team这个团队的进展,也会有更多这样的新项目分享给大家,有好的项目也欢迎各位向我们安利。