超级AI七年内将问世，OpenAI拟“大手笔”投入严防失控

转载

502 天前

1948

AI之势

文章转载来源：AI之势

来源：财联社

编辑黄君芝

ChatGPT开发商OpenAI周三（5日）表示，该公司计划投入大量资源，并创建一个新的研究团队，以确保其人工智能（AI）对人类来说是安全的，最终实现AI的自我监督。

OpenAI联合创始人Ilya Sutskever和负责提高系统安全性的AI一致性团队负责人Jan Leike在一篇博客文章中写道：“超级智能的巨大力量可能……导致人类被剥夺权力，甚至人类灭绝。”

“目前，我们还没有一个解决方案来操控或控制一个潜在的超智能AI，并防止它失控。”他们写道。

AI一致性（alignment）指的是AI的行为需符合设计者的利益和预期目标。

20%算力用来解决AI失控问题

他们预测，超智能AI（即比人类更聪明的系统）可能在这个十年（2030年前）就会到来，人类将需要比目前更好的技术来控制超智能AI，因此需要在所谓的“一致性研究”方面取得突破，该研究的重点是确保人工智能对人类有益。

根据他们的说法，在微软（Microsoft）的支持下，OpenAI将拿出未来四年所获算力的20%用于解决AI失控的问题。此外，该公司正在组建一个新的团队来组织这项工作，称为超级一致性团队。

据悉，该团队的目标是创建一个“人类级别”的AI研究人员，然后通过大量的计算能力进行扩展。OpenAI表示，这意味着他们将使用人类反馈来训练AI系统，训练AI系统来辅助人类评估，然后最终训练AI系统进行实际的一致性研究。

不过，这一举措刚刚宣布就受到了专家的质疑。人工智能安全倡导者Connor Leahy表示，OpenAI的计划从根本上存在缺陷，因为可达到“人类水平”的初级版AI，可能会在被用于解决AI安全问题之前失控并造成严重破坏。“

他在接受采访时说：“在构建人类水平的智能之前，你必须先解决一致性问题，否则默认情况下你无法控制它。我个人认为这不是一个特别好的或安全的计划。”

AI的潜在危险一直是AI研究人员和公众最关心的问题。今年4月，一群AI行业领袖和专家签署了一封公开信，呼吁暂停训练比OpenAI新推出的GPT-4模型更强大的人工智能系统至少6个月，理由是它们对社会和人类构成潜在风险。

一项最新的民意调查则发现，超过三分之二的美国人担心AI可能产生的负面影响，61%的人认为AI可能威胁到人类文明。

关键词：

来源：AI之势

发布人：暖色

声明：该文观点仅代表作者本人，不代表火讯财经立场。火讯财经系信息发布平台，仅提供信息存储空间服务。

如文章涉及侵权，请及时致函告之，本站将第⼀时间删除⽂章。邮箱：840034348@qq.com