表情最逼真机器人靠AIGC再进化!接入StableDiffusion能用笔画画

转载
506 天前
5620
AI梦工厂

文章转载来源:AI梦工厂

来源:量子位

把Stable Diffusion接入机器人会怎样?

告诉它你想让它画什么,然后一笔一笔画出来。

只见它一边与旁边的人类工程师谈笑风生,一边熟练地用马克笔在白板上画出一只简笔的猫。

最后还不忘签下自己的名字“Ameca”,然后抬起执笔的手,用眼神继续审视着刚刚完成的作品。

当Ameca询问人类对它的作品是否满意的时候,工程师老哥耿直地回答“这画的有点简略了”。

然后高能来了。

Ameca生气地呛了回去:

如果你不喜欢我的画,你可能只是不懂艺术。

机器人Ameca,来自英国公司Engineered Arts,之前就以表情逼真到吓人出名过一次。

现在它get到用笔画画的新能力,又惊艳了一众网友。

每一笔画完后轻轻举起笔,就像一个真正的素描艺术家一样,这个小细节太酷了。

机器人怎么用笔画画的?

Ameca具体是怎么学会画画的,它自己就能解释明白:

我使用开源的Stable Diffusion,对生成的图像做骨架化和向量化,然后再把转化出的轨迹转换成动作并执行。

就这样,Ameca的身体动作和面部表情由Engineered Arts自研技术驱动,语言能力来自GPT-3(没错,不是3.5),再加上Stable Diffusion,组成了一位机器人画家。

有网友表示,这样的能力在教育中很有用,对于学生来说,用机器人比盯着电脑屏幕看有意思多了。

Engineered Arts自研技术包括机器人操作系统Tritium和机器人生产平台Mesmer。

首先用36台摄像机无死角捕捉海量真人面部数据,包括骨骼结构,皮肤纹理和表情等。

对这些数据做3D建模,并3D打印出机器人的硅胶皮肤。

Tritium操作系统连接了硬件、软件和云端,可以驱动机器人的每一个组件,除了面部,还会牵动头颈、肢体的不同“肌肉”。

最终实现更逼真的表情。

再加上语言模型GPT-3和语音技术,Ameca已经初步具备了与人类互动的能力。

这次除了画画以外,Engineered Arts还公布了另一条人类与Ameca讨论音乐的视频,或许暗示这是下一个挑战方向。

Ameca说自己喜欢爵士古典和电子乐,人类给他出的难题“如果要把这三种风格融合在一起写一首歌,第一句歌词是什么。”

Ameca略加思索就给出了回答。

另外Ameca还在搞一场与网友互动的活动。

如果你有什么问题想问它,可以去原视频评论区留言,下一条视频可能就是Ameca回答你的问题了。

参考链接:

[1]https://www.youtube.com/watch?v=_1OA_9_wW70

[2]https://www.youtube.com/watch?v=L32BRcvnWRU

[3]https://www.engineeredarts.co.uk/mesmer-creation/