让人工智能治理可验证：新加坡的AIVerify工具包

作者：JOSH LEE KOK THONG  翻译：李扬 校译：相欣奕

来源：澎湃新闻

图片来源：由无界 AI‌ 生成

近几个月来，全球对人工智能治理和监管的兴趣激增。许多人认为，需要崭新的治理和监管结构，以应对生成型人工智能系统——它们的能力让人目瞪口呆，比如OpenAI的ChatGPT和DALL-E、谷歌的Bard、Stable Diffusion等。《欧盟人工智能法案》受到普遍关注。事实上，世界各地也涌现出许多其他重要举措，包括多种人工智能治理模式及框架。

本文讲的是2022年5月发布的新加坡人工智能治理测试框架和工具包——“人工智能验证”（AI Verify），主要提炼三个关键点。① 对新加坡在人工智能治理方面的总体策略，以及该国政府在推出人工智能验证之前发布的关键举措进行总结归纳。② 对“人工智能验证”的关键加以解释。③ “人工智能验证”推出已有一年，探讨人工智能验证的未来，以及新加坡的人工智能治理和监管方法。简言之，主要观点如下：

——新加坡对人工智能治理和监管采取了温和干预的方法，《人工智能治理框架模式》为私营部门的人工智能治理制定了指南。

——“人工智能验证”（ “AI Verify”）是一个人工智能治理测试框架和工具包，2022年5月推出。尽管处于试用阶段，但它代表新加坡努力进一步发展人工智能治理和监管的全球话语，试图满足对值得信赖的人工智能系统日益增长的需求，以及促进全球人工智能监管框架的互联互通能力。

——“人工智能验证”基于国际公认的人工智能治理原则的测试框架，公司可以在测试自己的人工智能系统时使用这一测试工具包。“人工智能验证”无意定义道德标准，而通过允许人工智能系统开发人员及其所有者发布证明对其人工智能系统性能的声明，来提供可验证性。

——要想取得成功，“人工智能验证”可能需要更多认可和采用。这取决于成本、说服利益相关者相信其价值以及其与国际监管框架的相关性和协同作用等因素。

新加坡人工智能治理的总体方法概述

新加坡在《国家人工智能战略》中宣布，该国目标是“站在可扩展、有影响力的人工智能解决方案开发和部署的前沿”，希望巩固本国作为“开发、测试、部署和扩展人工智能解决方案的全球中心”的地位。提高人工智能采用率的战略中，所确定的五个“生态系统促成因素”之一，是为人工智能开发营造“进步和值得信赖的环境”——一个在创新和最小化社会风险之间取得平衡的环境。

为创造这种“进步和值得信赖的环境”，迄今为止，新加坡对人工智能监管采取了一种温和且自愿的方式。这是因为，该国认识到自身人工智能雄心的两个现实。

首先，新加坡政府将人工智能视为发展经济和提高公民生活质量的关键战略推动者。由此，新加坡在监管人工智能方面并未采取严厉措施，以免扼杀创新和投资。其次，考虑到其规模，新加坡意识到，随着人工智能治理话语、框架和法规在全球范围的发展，自身可能是价格接受者，而非价格制定者。因此，当下策略并不是刷新人工智能原理，而是“顺应世界潮流而去，无意改变世界潮流。”（“Take the world where it is, rather than where it hopes the world to be.”） 

在2022年AI Verify发布之前，新加坡的人工智能监管方法——由新加坡个人数据保护委员会（PDPC）监督——有三个支柱：

1. 人工智能治理框架模式（框架模式）。

2.人工智能和数据的合乎道德使用咨询委员会（咨询委员会）。

3.人工智能治理与数据使用研究计划（研究项目）。

以下重点介绍《框架模式》。

框架模式

《框架模式》2019年在世界经济论坛年会上首次推出，是一个自愿且不具约束力的框架，指导各组织大规模负责任地部署人工智能解决方案，并指出该框架与技术的开发阶段无关。作为指南，《框架模式》仅为私营部门实体的人工智能部署提出切实可行的建议，而公共部门对人工智能的使用，则受内部指导方针以及人工智能和数据治理工具包的约束。《框架模式》被称为“活文件”，随着技术和社会发展，其未来版本会不断发展。其基础在于技术、行业、规模和商业模型的不可预知。

本质上，框架模式以两个基本原则为指导，促进对人工智能的信任和理解。首先，在决策中使用人工智能的组织，应确保其决策过程是可解释、透明和公平的。其次，人工智能系统应该以人为中心：保护人类福祉和安全应该是设计、开发和使用人工智能的首要考虑因素。

该框架将这些指导原则转化为组织决策和技术开发过程中四个关键领域的可实施的操作：

（a） 内部治理结构和措施；

（b） 确定人类参与人工智能增强决策的水平；

（c） 运营管理；

（d） 利益相关者的互动和沟通。

下表对这些关键领域中的若干建议考虑因素、做法和措施加以归纳。

《框架模式》附带的其他举措

新加坡在2020年世界经济论坛上发布第二版《框架模式》时，附带着另两份文件：《组织实施和自我评估指南》（ISAGO）和《使用案例汇编》（汇编-第1卷和第2卷）。ISAGO是一个清单，帮助组织评估其人工智能治理流程与模型框架的一致性。《纲要》提供了在各个部门、用例和司法管辖区采用《框架模式》建议的真实例子。

总的来说，《框架模式》及其配套文件，锚定并概述了新加坡人工智能监管的实质性思路。这些举措使新加坡在2019年赢得联合国信息社会世界峰会奖，其在人工智能治理方面的领先地位得到认可。

2020年1月，是全球人工智能监管讨论的转折点。2020年1月17日，欧盟委员会透露的一份白皮书，使国际社会越发关注政府监管人工智能技术的可能性。2020年2月，欧盟委员会正式发布《人工智能白皮书》，列出创建人工智能监管框架的计划。而后几个月，欧盟委员会提出即将出台的《人工智能法案》的草案。这是政府性质的机构首次认真尝试引入实质性规则，以横向规范人工智能系统的开发和使用。可以预期，《人工智能法案》对管辖区外亦发挥影响，欧洲以外开发人工智能系统的公司可能会受到新法律的约束。

这些影响了人们对新加坡人工智能监管和治理格局未来的思考。尽管新加坡个人数据保护委员会（PDPC）保持其对人工智能监管的自愿和宽松的态度，但它承认，人工智能未来将面临更严的监督。PDPC似乎也注意到，消费者对人工智能系统和开发人员可信度的需求日益提高，需要人工智能国际标准根据监管要求，对人工智能进行基准测试和评估。此外，对人工智能监管框架互联互通性的要求也在提高。有鉴于此，新加坡开始进行开发，最终成果合并为“人工智能验证”（AI Verify）的框架。

什么是“人工智能验证”（AI Verify）

“人工智能验证”（AI Verify）由新加坡通信和信息部下属的法定委员会Infocomm Media Development Authority（IMDA）和个人数据保护委员会（PDPC）共同发布，是一个人工智能治理测试框架和工具包。运用“人工智能验证”（AI Verify），组织机构能结合技术测试和基于流程的检查，对自身的人工智能系统进行自愿评估。反过来，该系统帮助公司向利益相关者提供客观和可验证的证明，以说明自身的人工智能系统以负责任和值得信赖的方式实施。

鉴于人工智能测试方法、标准、指标和工具不断发展，“人工智能验证”（AI Verify）目前处于“最低可行产品”（MVP）阶段。这有两个含义。首先，MVP版本有技术限制，并受限于可测试或分析的人工智能模型或数据集的类型和大小。其次，随着人工智能测试能力的成熟，预计人工智能验证将不断发展。

开发“人工智能验证”MVP版本的四个目标是：

（a）首先，IMDA希望组织能够使用“人工智能验证”，确定其人工智能系统的性能基准，并向消费者和员工等利益相关方展示这些经过验证的基准，从而帮助组织增强信任。

（b）其次，鉴于其开发考虑到各种人工智能监管和治理框架，以及共同的值得信赖的人工智能原则，“人工智能验证”旨在帮助组织找到各种全球人工智能治理框架和法规的共同点。IMDA将继续与监管机构和标准组织合作，将“人工智能验证”的测试框架映射于已建立的框架中。这些努力旨在让企业在多个市场运营或提供人工智能产品与服务，同时让新加坡成为人工智能治理和监管测试的中心。

（c）第三，随着更多组织尝试“人工智能验证”并使用其测试框架，IMDA将能够整理行业实践、基准和指标。考虑到新加坡正参与全球人工智能治理平台，如全球人工智能伙伴关系和ISO/IEC JTC1/SC 42，为人工智能治理的国际标准制定提供宝贵视角，这些可促进对人工智能治理标准制定的投入。

（d）第四，IMDA希望“人工智能验证”帮助新加坡创建一个本地人工智能测试社区，由人工智能开发人员和系统所有者（寻求测试人工智能系统）、技术提供商（正在开发人工智能治理实施和测试解决方案）、咨询服务提供商（专门从事测试和认证支持），以及研究人员（正在开发测试技术、基准和实践）所组成。

澄清关于“人工智能验证”的几个潜在误解也很重要。首先，“人工智能验证”并不试图定义道德标准。它没有试图去标亮人工智能系统的分类，相反提供了可验证性，允许人工智能系统开发人员和所有者证明他们对其人工智能系统性能的声明。第二，组织使用“人工智能验证”，不能保证测试的人工智能系统没有风险或偏见，或是完全“安全”、“合乎道德”。第三，“人工智能验证”旨在防止组织无意中泄露其人工智能系统的敏感信息（如其底层代码或训练数据）。其采取了关键保障措施——“人工智能验证”将由人工智能系统开发人员和所有者自行实施自测。这允许组织机构的数据和模型保留在本组织机构的操作环境中。

“人工智能验证”如何工作

“人工智能验证”由两部分组成。其一是测试框架，它引用了11项国际公认的人工智能伦理和治理原则，分为五大支柱。其二是组织用来执行技术测试和记录测试框架中过程检查的工具包。

“人工智能验证”的测试框架

“人工智能验证”测试框架的五大支柱和十一项原则及其预期评估如下所列：

实际的测试框架，包括以下关键部分： 

（a）定义：测试框架为每个人工智能原则提供了易于理解的定义。例如，可解释性被定义为“评估导致人工智能系统决策的因素，其整体行为、结果和影响的能力”。

（b）可测试标准：对每个原则，都提供了一组可测试标准。这些标准兼顾了技术和/或非技术（如流程、程序或组织结构）因素，有助于实现该治理原则的预期结果。

以可解释性为例，给出两个可检验的准则。开发人员可运行可解释性方法来帮助用户理解人工智能模型的驱动因素。开发人员还可展示对人工智能模型的开发偏好，这些模型可以解释他们的决策，或在默认情况下可以解释。

（c）测试过程：对每个可测试的标准，“人工智能验证”提供了要执行的过程或可操作的步骤，这些步骤可以是定量的（如统计或技术测试），也可以是定性的（如在过程检查过程中产生书面证据）。

就解释性而言，技术测试可能涉及实证分析和确定特征对模型输出的贡献。基于过程的测试将记录人工智能模型的基本原理、风险评估和权衡。

（d）度量：这些是定量或定性的参数，用于衡量或为每个可测试的标准提供证据。

使用上面的可解释性示例，用于确定特征贡献的度量可检查从技术工具（如SHAP和LIME）获得的模型输出的贡献特征。选择最终模型时，基于过程的度量可作为评估的证明文件，例如风险评估和权衡练习。

（e）阈值（如适用）：在可用情况下，测试框架将为选定指标提供公认的值或基准。这些价值观或基准，可由监管机构、行业协会或其他公认的标准制定组织定义。对“人工智能验证”的MVP模型，考虑到人工智能技术快速发展、它们的用例以及测试人工智能系统的方法，没有提供阈值。然而，随着人工智能治理空间的成熟和对“人工智能验证”AI Verify的使用增加，IMDA打算整理和开发特定于上下文的指标和阈值，添加到测试框架中。

“人工智能验证”AI Verify的工具包

虽然“人工智能验证”AI Verify的工具包目前仅适用于成功注册AI Verify MVP计划的组织，但IMDA将该工具包描述为组织进行技术测试的“一站式”工具。具体而言，工具包广泛使用开源测试库。这些工具包括用于解释性的SHAP（Shapley Additive ExPlanations）、用于鲁棒性的对抗性鲁棒性工具包，以及用于公平性的AIF360和公平学习。

“人工智能验证”的用户可在其内部环境安装工具包。用户将在用户界面指导下，进行测试过程。例如，该工具包含有一个“引导公平树”，供用户识别与其用例相关的公平度量。最后，“人工智能验证”AI Verify将生成一份总结报告，帮助系统开发人员和所有者解释测试结果。对于过程检查，报告提供了一份清单，说明是否存在测试框架中规定的文件证据。然后将测试结果打包到Docker®容器，以便部署。

结论

IMDA发布AI Verify时，生成人工智能的兴趣浪潮尚未显现。随着当前的潮流，人们对人工智能系统的治理、可测试性和可信度的检验兴趣显著增长。如本文所列，“人工智能验证”AI Verify的诸般举措，正是做好准备对当前做出回应。

此前，新加坡早已证明其有能力为人工智能治理和监管的全球话语和思想领导力做出贡献。所发布的《框架模式》即为明证。“人工智能验证”AI Verify的风险当然很高，但全球对这一举措的需求也很高。要取得成功，它可能需要得到更多认可，被更多使用。这取决于几个因素。首先，该工具的可访问性至关重要：希望使用“人工智能验证”AI Verify的相关组织机构，需要能够以低成本甚至零成本使用。其次，让组织机构相信它的价值至关重要。这需要IMDA证明，“人工智能验证”AI Verify在技术和程序上是合理的，它可以有效地用于更多和更新种类和尺度的人工智能模型和数据集，且不会影响专有人工智能模型或数据集的商业敏感性。第三，也许是最重要的，它必须与国际监管框架保持互联互通性。IMDA需要确保“人工智能验证”AI Verify持续帮助组织机构在关键的新兴全球人工智能监管框架内解决问题并互联互通，如欧盟人工智能法案、加拿大人工智能和数据法案、美国NIST人工智能风险管理框架，以及新加坡本国的模型框架。