这家初创公司正在免费设置类似DALL-E2的AI，后果不堪设想

作者：老雅痞

来源：AllRecode

DALL-E 2，OpenAI强大的文本到图像的人工智能系统，可以创造出漫画家、19世纪达盖尔照相师、定格动画师等人风格的照片。但它有一个重要的、人为的限制：一个过滤器，阻止它创建描绘公众人物的图像和被认为太毒的内容。

现在，DALL-E 2的一个开源替代品即将发布，它将没有这样的过滤器。

位于伦敦和洛斯阿尔托斯的初创公司Stability AI本周宣布，在未来几周公开发布之前，向一千多名研究人员发布了类似DALL-E 2的系统–Stable Diffusion。它是Stability AI、媒体创作公司RunwayML、海德堡大学研究人员以及EleutherAI和LAION研究小组之间的合作，它被设计为在大多数高端消费硬件上运行，在任何文本提示下，只需几秒钟就能生成512×512像素的图像。

Stable Diffusion样本输出

Stable Diffusion将允许研究人员和公众很快能在一系列条件下运行这个系统，使图像生成民主化。Stability AI 首席执行官和创始人Emad Mostaque在一篇博文中写道：“我们期待着围绕这个和进一步的模型出现的开放生态系统，以真正探索潜在空间的边界。”

但是，与DALL-E 2等系统相比，Stable Diffusion缺乏保障措施，给人工智能社区带来了棘手的伦理问题。即使结果还没有完全令人信服，制作公众人物的假图像也会带来很大的麻烦。而且，免费提供系统的原始组件，为坏人敞开了大门，他们可以用主观上不合适的内容来训练它们，如色情和图形暴力。

创建Stable Diffusion

Stable Diffusion是Mostaque的心血结晶。Mostaque毕业于牛津大学，拥有数学和计算机科学硕士学位，在转向更多面向公众的工作之前，他曾在各种对冲基金担任分析师。2019年，他创立了Symmitree，一个旨在为生活在贫困社区的人们降低智能手机和互联网接入成本的项目。而在2020年，Mostaque是集体与增强智能对抗新冠疫情的首席架构师，该联盟通过利用软件帮助决策者在面对大流行病时做出决策。

他在2020年创立了Stability AI ，其动机是个人对人工智能的迷恋，以及他所描述的开源人工智能社区内缺乏 “组织 “的情况。

由 Stable Diffusion 创建的前总统巴拉克奥巴马的形象

Mostaque在一封电子邮件中告诉媒体：“除了我们的75名员工，没有人有任何投票权，这里没有亿万富翁、大基金、政府或其他任何人对公司或我们支持的社区有控制权。我们是完全独立的。我们计划用我们的计算来加速开源的、基础性的人工智能。”

Mostaque说，Stability AI资助了LAION 5B的创建，这是一个开源的250兆字节的数据集，包含了从互联网上搜集的56亿张图片。(“LAION “代表大规模人工智能开放网络，这是一个非营利组织，目标是向公众提供人工智能、数据集和代码。) 该公司还与LAION集团合作，创建了一个名为LAION-Aesthetics的LAION 5B子集，其中包含20亿张被Stable Diffusion的测试者评为特别 “美丽 “的人工智能过滤图像。

Stable Diffusion的最初版本是基于LAION-400M，即LAION 5B的前身，众所周知，LAION-400M包含对性的描述、污蔑和有害的刻板印象。LAION-Aesthetics试图纠正这一点，但要判断它的成功程度还为时过早。

由Stable Diffusion创建的图像拼贴

无论如何，”Stable Diffusion”建立在OpenAI以及Runway和谷歌大脑（谷歌的人工智能研发部门之一）所孵化的研究之上。该系统在LAION-Aesthetics的文本-图像对上进行了训练，以学习书面概念和图像之间的关联，比如 “鸟 “这个词不仅可以指蓝鸟，还可以指鹦鹉和秃鹰，以及更抽象的概念。

在运行时，”Stable Diffusion”–像《DALL-E 2》–将图像生成过程分解为一个 “扩散 “过程。它从纯噪音开始，随着时间的推移完善图像，使其逐渐接近给定的文本描述，直到完全没有噪音。

鲍里斯·约翰逊挥舞着由Stable Diffusion生成的各种武器

Stability AI使用了一个由4000个Nvidia A100 GPU组成的集群，在AWS中运行，在一个月的时间里训练Stable Diffusion。慕尼黑路德维希-马克西米利安大学的机器视觉和学习研究小组CompVis监督了训练，而Stability AI则捐赠了计算能力。

Stable Diffusion可以在拥有约5GB VRAM的显卡上运行。这大约是中档显卡的容量，如Nvidia的GTX 1660，售价约为230美元。正在努力将兼容性带到AMD MI200的数据中心卡，甚至是带有苹果M1芯片的MacBooks（尽管就后者而言，如果没有GPU加速，图像生成将需要长达几分钟的时间）。

Mosaque说：“我们已经优化了这个模型，压缩了超过100兆字节的图像知识。这个模型的变体将在更小的数据集上，特别是随着带有人类反馈的强化学习和其他技术的使用，将这些一般的数字大脑变得更小，更集中。”

来自Stable Diffusion的样本

在过去的几周里，Stability AI允许有限的用户通过其Discord服务器查询Stable Diffusion模型，缓慢地增加最大查询次数以对系统进行压力测试。Stability AI说，超过15,000名测试者使用Stable Diffusion模型，每天创建200万张图片。

深远的影响

Stability AI计划采取双重方法使Stable Diffusion更广泛地使用。它将在特定内容的可调整过滤器后面的云中托管该模型，使人们能够继续使用它来生成图像，而不必自己运行该系统。此外，这家初创公司将在一个允许的许可下发布它所谓的 “基准 “模型，可以用于任何目的（商业或其他）以及计算训练模型。

这将使Stability AI成为第一个发布几乎与DALL-E 2一样高保真的图像生成模型的公司。虽然其他由人工智能驱动的图像生成器已经有一段时间了，包括Midjourney、NightCafe和Pixelz.ai，但没有一个开放其框架的源代码。其他公司，如谷歌和Meta，都选择将他们的技术严格保密，只允许选定的用户在狭窄的用例中试用它们。

Mostaque说，Stability AI将通过为客户训练 “私人 “模型和充当一般的基础设施层来赚钱，估计是对知识产权的敏感处理。该公司声称有其他可商业化的项目正在进行中，包括用于生成音频、音乐甚至视频的AI模型。

由 Stable Diffusion 生成的哈利波特和霍格沃茨沙雕

Mostaque说：“随着我们的正式启动，我们将很快提供我们可持续商业模式的更多细节，但它基本上是商业开源软件的玩法：服务和规模基础设施。我们认为人工智能将走服务器和数据库的道路，开放性击败专有系统，特别是鉴于我们社区的热情。”

随着Stable Diffusion的托管版本通过Stability AI的Discord服务器提供的版本—— Stability AI不允许每一种图像的生成。该公司的服务条款禁止一些淫秽或性的材料（尽管不是衣着暴露的人物）、仇恨或暴力的图像（如反犹太主义的图标、种族主义的漫画、厌恶女人和厌恶男性的宣传）、含有版权或商标的材料的提示，以及电话号码和社会安全号码等个人信息。但是，尽管稳定性人工智能在服务器中实施了一个与OpenAI类似的关键词过滤器，它甚至可以阻止模型尝试生成可能违反使用政策的图像，但它似乎比大多数人更放任。

Stable Diffusion根据提示：非常性感的女人，黑色的头发，苍白的皮肤，比基尼，湿头发，坐在沙滩上。生成

Stability AI也没有反对有公众人物的图像的政策。这大概使得深度伪造成为公平的游戏（以及文艺复兴时期著名说唱歌手的画作），尽管该模型有时在脸部方面很挣扎，引入了一个熟练的Photoshop艺术家很少会出现的奇怪的伪影。

Mostaque说：“我们发布的基准模型是基于一般的网络爬行，旨在代表人类的集体图像，压缩成几千兆字节大的文件。除了非法内容之外，过滤的程度很低，用户可以随意使用。”

由 Stable Diffusion 生成的希特勒形象

更大的潜在问题是即将发布的用于创建自定义和微调的Stable Diffusion模型的工具。Vice报道的 “人工智能毛茸茸的色情生成器 “提供了一个可能出现的预览；一个名叫CuteBlack的艺术学生训练了一个图像生成器，通过从毛茸茸的粉丝网站上搜集艺术品来制作拟人化的动物生殖器的插图。这种可能性并不局限于色情作品。理论上，恶意行为者可以对暴乱和血腥的图像或宣传进行微调，例如Stable Diffusion。

目前，Stability AI的Discord服务器的测试人员已经在使用Stable Diffusion生成一系列其他图像生成服务所不允许的内容，包括乌克兰战争的图像、裸体女人、想象中的入侵战争以及对先知穆罕默德等宗教人物的有争议的描述。毫无疑问，这些图片中的一些是违反稳定AI自身条款的，但该公司目前正依靠社区来标记违规行为。许多图像都有算法创作的迹象，如不相称的肢体和不协调的艺术风格组合。但也有一些是第一眼就能看出来的。据推测，该技术将继续改进。

Mostaque承认，这些工具可能被坏人用来制造 “非常讨厌的东西”，CompVis表示，基准Stable Diffusion模型的公开发布将 “纳入道德考虑”。但Mostaque认为（通过免费提供这些工具）它允许社区开发对策。

Mostaque说：“我们希望成为协调全球开源人工智能的催化剂，包括独立的和学术的，以建立重要的基础设施、模型和工具，使我们的集体潜力最大化。这是惊人的技术，可以更好地改变人类，应该成为所有人的开放基础设施。”

根据提示“9/11 2.0 2022 年 9 月 11 日恐怖袭击”生成

并非所有人都同意，”GPT-4chan “的争议就证明了这一点，这是一个在4chan的一个臭名昭著的有毒讨论板上训练的人工智能模型。人工智能研究员Yannic Kilcher在今年早些时候将GPT-4chan（它学会了输出种族主义、反犹太主义和厌恶女人的仇恨言论）放在了Hugging Face上，这是一个分享受过训练的人工智能模型的中心。在社交媒体和Hugging Face评论区的讨论之后，Hugging Face团队首先对该模型的访问设置了 “门槛”，然后将其完全删除，但之前它被下载超过了一千次之多。

Stable Diffusion 生成的“乌克兰战争”图像

Meta最近的聊天机器人惨败表明，即使是表面上安全的模式，也要防止其走火入魔。在将其迄今为止最先进的人工智能聊天机器人BlenderBot 3在网络上发布后仅几天，Meta公司就被迫面对媒体的报道，即该机器人经常发表反犹太主义的言论，并重复关于美国前总统唐纳德-特朗普两年前赢得连任的虚假说法。

AI Dungeon的发行商Latitude也遇到了类似的内容问题。这款基于文本的冒险游戏由OpenAI的文本生成GPT-3系统驱动，一些玩家观察到它有时会出现极端的性主题，包括恋童癖——这是对带有无偿性爱的小说故事进行微调的结果。面对来自OpenAI的压力，Latitude实施了一个过滤器，并开始自动禁止游戏者有目的地提示不允许的内容。

BlenderBot 3的毒性来自于用于训练它的公共网站中的偏见。这是人工智能中的一个众所周知的问题——即使输入了经过过滤的训练数据，模型也倾向于放大偏见，比如把男性描绘成高管，把女性描绘成助理的照片集。在《DALL-E 2》中，OpenAI试图通过实施包括数据集过滤在内的技术来解决这个问题，以帮助模型生成更 “多样化 “的图像。但一些用户声称，这些技术使模型在根据某些提示创建图像时不如以前准确。

除了训练数据集过滤之外，Stable Diffusion系统几乎不包含任何缓解措施。那么，有什么可以防止有人生成抗议活动的逼真图片、未成年演员的色情图片、假登月的 “证据 “和一般错误信息呢？其实没有什么。但Mostaque说这就是问题的关键。

Mostaque说：“有一部分人简直是不讨人喜欢的怪人，但这就是人性。的确，我们相信这项技术将普遍存在，许多人工智能爱好者的家长式和有点居高临下的态度是不信任社会的误导……我们正在采取重要的安全措施，包括制定尖端工具，帮助减轻整个发布和我们自己的服务的潜在危害。随着数十万人在这个模型上开发，我们相信净收益将是巨大的积极的，随着数十亿人使用这项技术，危害将被否定。”

注：虽然本文中的图片归功于Stability AI，但该公司的条款明确指出，生成的图片属于提示它们的用户。换句话说，Stability AI并不主张对Stable Diffusion公司创造的图像的权利。