在微博之夜一战封神的「AI消除」,揭开手机摄影的新篇章

转载
317 天前
7054
雷科技

文章转载来源:雷科技

原文来源:雷科技

图片来源:由无界 AI生成

坦白讲,小雷对微博之夜一向不关注,但最近两天也不得不被吸引,倒不是因为哪一位明星、红人,而是作为微博之夜合作伙伴的 OPPO 进行了一轮宣传,展示了一些利用生成式 AI 技术消除照片中部分物体的样张。

比如拍摄辛芷蕾(《繁花》李李饰演者)手持 Find X7 Ultra 的这张,用 AI 自动消除右侧的手臂和左下角的遮挡物。

图/ OPPO

又比如这张传播到已经有「电子包浆」版本的照片中,也用 AI 消除了左侧的摄影灯,保留模特和灯光氛围。

图/ OPPO

再有在这张照片中,通过 AI 消除去掉了旁边多余的人,保留了被摄主体和背景。

图/ OPPO

14 日凌晨,微博 CEO 王高飞(@来去之间)还转发了 OPPO 中国区总裁刘波的微博,其中一张就是它。

图/微博

AI 消除功能其实一点都不稀奇,在 2021 年甚至更早,华为、谷歌、小米等厂商就看到了很多用户手机里因为各种遮挡导致的「废片」,并顺势推出了 AI 消除功能,谷歌的「魔术橡皮擦」、小米的「魔法路人消除」都一度引起过网上的热议。

魔术橡皮檫(谷歌相册),图/谷歌

不过也必须要说,比起三四年前 AI 消除的效果和能力,今天 AI 的水平显然高了不止一个档次,就说 OPPO 放出的样张,乍看之下几乎看不出任何 P 图痕迹。

但你以为小雷要吹 OPPO 了?实则不然。

因为进步的不只是 OPPO,在最新生成式 AI 技术的加持下,谷歌、小米等厂商的 AI 消除能力也都迎来了质的变化。

图/雷科技

比如小雷今天上午用小米 13 拍这张,画面里有不少行人,通过澎湃 OS 上的 AI 自动消除功能,同样也能实现比较好的效果。

生成式 AI 带来的当然不只是自动消除照片「障碍物 」的功能,从更大的角度,凭借 AI 对于语言、图像理解的飞跃性进步,我们很可能在未来几年看到,新一轮的 AI 浪潮将彻底改变大众对于手机影像的理解,甚至是智能手机产品本身。


从计算摄影到 AI 计算摄影


数码发烧友应该还对几年前的华为「月亮门」记忆深刻。

最初,华为宣称可以通过 P30 Pro 拍到清晰的月亮照片,而第一批上手的人也「发现」P30 Pro 拍摄的「月亮」照片确实很清晰。

但有媒体很快在实验中发现 P30 Pro 拍出了很多不存在月亮细节,质疑华为直接是将月亮细节 P 上去,完全不能代表其算法和影像实力。

事情的真相并不复杂,很多测试都能发现 P30 Pro 在月亮模式下确实存在「P 图」的情况。但除了「月亮门」事件本身,事件还引发了关于「计算摄影的合理使用范畴」的大量讨论,无数摄影爱好者、普通手机摄影用户都在发表自己的看法。

不过今天回头来看,当时人们对于计算摄影的想象力还是太小了。

2022 年 AI 绘画刚火的时候,互联网上已经有一部分人开始或担忧、或调侃地说:AI 要上位了,画师和摄影师要退位了。

到了 2023 年,AI 生成的照片《电工》已经获得了索尼世界摄影大奖的冠军,另一部 AI 绘画作品《太空歌剧院》也夺下了美国科罗纳州博览会「数字艺术」单元的一等奖。

不仅是在各类评选大奖上,AI 也开始实质性地影响创作市场,影响到大量中低水平创作者的工作和生活。

截止到目前,DALL·E 已经更新了第三版,Midjourney 也升级到了 V6,两大图像模型的生成图像质量比起年初惊艳世人时,又提高了不止一个档次。

这种变化从一开始就注定要改变手机摄影的方式。从 AI 重绘(比如 AI 动漫:用动漫风格重绘照片)到 AI 扩图,再到 AI 消除,手机厂商也注定需要重新改造照片功能,甚至重新思考未来手机影像的发展路径。


大模型「改造」手机影像


7 月,美图在齐发 7 款基于旗下视觉大模型——奇想智能的 AI 工具之后,很快又在美图秀秀就上线了「AI 移除」功能,基于生成式 AI 技术,用户只要「框选」或「涂抹」就能自动移除照片中不需要的元素。

10 月,谷歌宣布搭载 Tensor G3 芯片的 Pixel 8 Pro 将支持离线运行「魔术橡皮擦」,通过端侧大模型的计算推理,更多基于图像生成而非融入背景的方式达到更好的物体消除消除。

同月底,小米在澎湃 OS 内测的社区贴中宣布,「小米 AI 编辑」功能首批应用大模型,功能包括智能扩图和魔法消除 Pro,前者可以实现对构图不好的图片进行扩展和自动构图,后者可以实现对游客照中的路人进行无痕消除。

图/小米社区

之后我们又看到了 vivo X100 系列、OPPO Find X7 系列陆续发布,两款手机也都是通过大模型技术实现 AI 消除的功能。

诚然,即便在 OPPO 最新放出的样张中你也能发现,基于大模型的 AI 消除也并不完美。比如在这组同一场景的样张中,背景墙玩偶的脚就被大模型「猜错」了。

说到底,生成式 AI 的底层逻辑就是基于各种信息的推测,当然也会存在推测错误的情况。但公允地说,如今 AI 消除功能(基于大模型)的效果和适用性毫无疑问都实现了大踏步的进步。

而且不止于拍后编辑,在 Pixel 8 Pro 内置了一个专门用于图像处理的模型,可以为图库中放大之后的图片生成更加清晰的细节。

甚至,我们可以想象在手机上建立专属的人像模型。

作为国内可能第一个破圈的 AI 原生工具,妙鸭相机虽然热度早已不再,但依然有很大的参考价值。众说周知,妙鸭相机在生成 AI 写真之前需要用户先上传超过 20 张真人照片,以此生成专属人像模型。

写真不关键,关键是真人模型,图/妙鸭相机

比起在妙鸭相机在云端建立人像模型造成的隐私担忧,在手机上使用端侧大模型无疑是更好的选择。在建立个人人像模型之后,用户不仅可以生成写真,也可以模拟不同地方的旅行照片(如去)或者其他用途。

而更进一步,生成式 AI 技术要改变也不只是手机影像。


在大模型上重新思考智能手机


2023 年春季钉峰会上,钉钉宣布全面接入千问大模型,要用一条「/」(斜杆)解决所有问题。钉钉总裁叶军当时就坦言,钉钉的产品非常臃肿,但智能化给了一个机会去实现换道超车。

金山办公 CEO 章庆元也说,Office 一直是很复杂的,很多功能的学习成本很高,AI 能大幅降低使用门槛。

钉钉也好,WPS 也罢,其实都是看到了生成式 AI 在「智能涌现」后带来的人机交互革命,过去、现在和未来开发的所有功能,至少不会在图形交互层面成为用户的学习门槛和负担。

智能手机其实也一样。

都说智能手机很「傻瓜」,但实际上很多智能手机对于中老年用户并不算特别友好,更遑论对障碍人士。特别是在国产手机系统中,厂商针对用户开发了大量的功能,但很多功能的层级太深或是使用方式太复杂,往往让用户真正获益。

至少在华为、OPPO、小米最新版本系统中,我们已经看到厂商通过大量的数据训练以及系统底层接口和权限的调用,完全可以让 AI 助手成为真正的「用机助手」,不管是对普通用户,还是对手机不熟悉的长辈和不方便用机的障碍人群,无疑都是一件好事。

但这也只是大模型带来的冰山一角。2024 年,所有手机厂商都需要向用户证明,AI 融入硬件带来的体验升级,就像 OPPO 首席产品官刘作虎说的,大模型其实就是带来了一个前所未有的能力,手机厂商要利用好这个能力,服务好用户。