YannLeCun发来肯定：腾讯人像照片生成可以随便玩了

转载

297 天前

8116

机器之心

文章转载来源：机器之心

原文来源：机器之心

图片来源：由无界 AI生成

AI 帮你成为百变星君。

这一次，Yann LeCun 首次跻身「百变大咖」。身穿钢铁侠的衣服、戴着酷酷的墨镜面无表情地注视着你，一身古装在故宫门前打卡留念……

就连本人也出来转发并喊话，「左下角这幅文艺复兴时期的画，是我的最爱。」

性感女神寡姐身穿紫色巫师服注视着远方，还可以戴着圣诞帽和你对视：

身穿太空服的奥特曼看起来萌萌的，把头发染成红色也毫无违和感

上述研究便是来自南开大学、腾讯等机构提出 PhotoMaker，这是一种高效的个性化文本到图像生成方法。相关论文《PhotoMaker：Customizing Realistic Human Photos via Stacked ID Embedding 》于去年 12 月放出，刚刚，项目也已经开源。不到一天时间，星标量高达 650+。

项目地址：https://github.com/TencentARC/PhotoMaker?continueFlag=98363d6ac1beafe515190e50d2c40427

PhotoMaker 除了生成逼真的人像，还能进行其他风格的生成，如草图、漫画、动画等。

不同人物身份也能进行混合，创造出一个全新的人物形象。赫本和爱莎公主的组合版兼顾了两者的特点：

改变照片人物的年龄、性别也不是不可以：不知 LeCun 对这次生成的女装有何感想。

图源：https://twitter.com/xiaohuggg/status/1746861416743928103

这项研究可以人人试玩，操作也非常简单，分为 4 步：

首先是上传一张图片，一张就可以了，不过多张效果会更好，上传图片中的人脸应该占据图像的大部分。
第二步是输入文本提示，操作过程中确保使用触发词 img，例如 man img、woman img 或 girl img。
第三步是选择喜欢的风格模板（内置有十多种）。
最后一步是单击 Submit 按钮，等待生成。

以上生成过程如果有操作不当的地方，PhotoMaker 都会进行提示，不用怕自己操作失误。

体验中，我们输入一张马斯克的照片，提示语为「A man img wearing aspacesuit」，风格为漫画形式，等待几秒就可以了，效果看起来还不错。

试玩地址：https://huggingface.co/spaces/TencentARC/PhotoMaker?continueFlag=98363d6ac1beafe515190e50d2c40427

这项研究背后用到了哪些技术，我们接着往下看。

研究介绍

论文地址：https://arxiv.org/pdf/2312.04461.pdf

PhotoMaker 这种高效的个性化文本到图像生成方法，它主要将任意数量的输入 ID 图像编码成一个堆叠 ID 嵌入，以保留 ID 信息。这样的嵌入作为统一的 ID 表征，不仅可以全面封装相同输入 ID 的特征，而且还可以适应不同 ID 的特征以供后续集成。这为更有趣和实用价值的应用铺平了道路。

如图 1 所示，PhotoMaker 不仅能进行常见的重新构建，还能改变输入人像的属性（例如，配饰和表情），从输入 ID 生成完全不同视角的人类照片，甚至修改输入 ID 的性别和年龄（见图 1）。

PhotoMaker 还为用户生成定制人像提供了许多可能性。虽然在训练过程中构建堆叠 ID 嵌入的图像来自同一 ID，但在推理过程中可以使用不同的 ID 图像来形成堆叠 ID 嵌入，以合并和创建新的定制 ID。合并的新 ID 可以保留不同输入 ID 的特征。例如，PhotoMaker 可以生成看起来像马斯克的斯嘉丽，或者生成一个将某人与知名 IP 角色混合的定制 ID，见图 1（c）。

为了推动 PhotoMaker 的训练，研究者提出了一个面向 ID 的数据构建 pipeline 来组装训练数据。在通过所提出 pipeline 构建的数据集的帮助下，PhotoMaker 展示出比测试时微调基础方法更好的 ID 保留能力，同时提供了显著的速度提升、高质量的生成结果、强大的泛化能力和广泛的应用范围。图 2 (a) 展示了 PhotoMaker 的概览。图 2 (b) 展示了相关的数据构建 pipeline。

如图 3 与表 1 所示，在定性及定量实验中，PhotoMaker 可以很好地满足生成高质量图像的能力，同时确保 ID 的高保真度。

PhotoMaker 还可以将上世纪甚至古代的人物带到当代，为他们「拍照」，如图 4 (a) 所示。与 PhotoMaker 相比，Dreambooth 和 SDXL 都难以生成现实中没有出现过的逼真人物图像。此外，由于 DreamBooth 过度依赖定制图像的质量和分辨率，因此在使用旧照片进行定制生成时，DreamBooth 很难生成高质量的结果。

如果用户输入的是不同 ID 的图片， PhotoMaker 可以很好地整合不同 ID 的特征，形成一个新的 ID。从图 5 可以看出，DreamBooth 和 SDXL 都无法实现身份混合。相比之下，无论输入的是动漫 IP 还是真人，无论性别如何，PhotoMaker 都能在生成的新 ID 上很好地保留不同 ID 的特征。