文章转载来源：Yangz
图片来源：由无界 AI生成
Reality Defender 是几家开发工具试图检测深度伪造和其他人工智能生成内容的初创公司之一，该公司今日宣布在由 DCVC 领投，Comcast、Ex/ante、Parameter Ventures 和 Nat Friedman's AI Grant 参投的 A 轮融资中筹集了 1500 万美元。
联合创始人兼首席执行官 Ben Colman 表示，这笔资金将用于在明年将 Reality Defender 的 23 人团队扩大一倍，并改进其人工智能内容检测模型。
Colman 在接受采访时表示：“新的深度伪造和内容生成方法会不断出现，无论是其带来的好处还是其可能造成的破坏程度，都会让世界大吃一惊。”“通过采用研究前瞻的思维方式，Reality Defender 可以在这些新一代方法和模式公开出现之前领先几步，主动进行检测，而不是对今天刚刚出现的情况做出反应。”
据悉，Colman 曾任高盛副总裁，他与 Ali Shahriyari 和 Gaurav Bharaj 于 2021 年共同创办了 Reality Defender 公司。Shahriyari 曾在数字转型技术咨询公司 Originate 和 AI Foundation 工作，后者是一家建立人工智能驱动的动画聊天机器人的初创公司。Bharaj 是 Shahriyari 在 AI Foundation 的同事，负责研发工作。
Reality Defender 最初是一家非营利组织。但据 Colman 称，当他们意识到深度伪造问题的严重性 -- 以及对深度伪造检测技术日益增长的商业需求 -- 之后，团队就开始寻求外部融资。
Colman 并没有夸大问题的严重性。作为 Reality Defender 的竞争对手，DeepMedia 致力于开发合成媒体检测工具。据该公司估计，与 2022 年同期相比，今年网上发布的视频深度造假数量增加了三倍，语音深度造假数量增加了八倍。
深度伪造数量的增加在很大程度上归因于人工智能生成工具的商品化。
过去，克隆声音或创建深度伪造图像或视频（即通过数字处理令人信服地替换一个人的肖像的图像或视频）需要花费数百至数千美元，而且需要数据科学知识。但在过去几年里，语音合成平台 ElevenLabs 和开源模型 Stable Diffusion（可生成图像）等平台使恶意行为者几乎不花一分钱就能发起深度伪造活动。
就在本月，臭名昭著的聊天板 4 chan 上的用户利用包括 Stable Diffusion 在内的一系列生成式人工智能工具，在网上大肆传播种族主义图片。与此同时，不良行为者还利用 ElevenLabs 模仿名人的声音，生成从备忘录和色情小说，以及仇恨言论在内的各种音频。
一些生成式人工智能平台已经实施了过滤器和其他限制措施，以打击滥用行为。但是，与网络安全一样，这也是一场猫捉老鼠的游戏。
Colman 说：“人工智能生成媒体的一些最大风险来自于社交媒体上对深度伪造材料的使用和滥用。”“这些平台没有扫描深度伪造材料的动力，因为没有立法要求它们这样做，不像立法强制它们删除儿童性虐待材料和其他非法材料。”
Reality Defender 声称可以检测到一系列深度伪造和人工智能生成的媒体，它提供了一个 API 和网络应用程序，可以分析视频、音频、文本和图像，查找人工智能驱动的修改迹象。Colman 称，Reality Defender 使用在内部数据集上训练的“专有模型”，“这些数据集是在真实世界而非实验室中创建的”，能够达到比竞争对手更高的深度伪造准确率。
“我们训练了一组深度学习检测模型，每个模型都专注于自己的方法论，”Colman 说。“我们很早以前就知道，不仅单一模型、单一模式的方法行不通，而且实验室中的准确率与真实世界中的准确率对比测试也行不通。”
但是，任何工具都能可靠地检测出深度伪造吗？这是一个悬而未决的问题。
病毒式 AI 聊天机器人 ChatGPT 背后的初创公司 OpenAI 最近撤下了其检测人工智能生成文本的工具，理由是其“准确率较低”。至少有一项研究表明，如果深度伪造的视频经过一定的编辑，深度伪造视频检测器就会被骗过。
此外，深度伪造内容检测模型还存在放大偏差的风险。
南加州大学的研究人员在 2021 年发表的一篇论文中发现，一些用于训练 Deepfake 检测系统的数据集可能不足以代表特定性别或特定肤色的人。研究合著者说，这种偏差会在深度伪造检测器中被放大，一些检测器会因种族群体的不同而显示出高达 10.7% 的错误率差异。
Colman 对 Reality Defender 的准确性有很大信心。他声称，公司积极致力于减少算法中的偏差，将“各种口音、肤色和其他不同数据”纳入检测器训练数据集。
“我们一直在训练、再训练和改进我们的检测器模型，使它们适合新的场景和用例，同时准确地反映真实世界，而不仅仅是一小部分数据或个人。”Colman 说。
不过，在没有第三方审计支持的情况下，Colman 说法是否值得相信仍未可知。不过，这种怀疑并没有影响 Reality Defender 的业务，Colman 表示，该公司业务相当稳健。Reality Defender 的客户群遍布“几大洲”的政府，以及“顶级”金融机构、媒体公司和跨国公司。
尽管存在来自 Truepic、Sentinel 和 Effectiv 等初创公司以及微软等现有公司的深度伪造检测工具的竞争，Reality Defender 的客户群仍然十分强大。
根据 HSRC 的数据，2020 年深度伪造检测软件市场的估值为 38.6 亿美元，为了保持在这一市场的地位，Reality Defender 计划推出一款“可解释人工智能”工具，让客户扫描文档，查看人工智能生成的彩色编码段落文本。此外，面向呼叫中心的实时语音深度伪造检测也即将推出，随后还将推出实时视频检测工具。
“简而言之，Reality Defender 将保护公司的底线和声誉。”Colman 说。“Reality Defender 利用人工智能对抗人工智能，帮助最大的实体、平台和政府确定媒体作品是真实的还是被操纵的。这有助于打击金融领域的欺诈行为，防止媒体机构传播虚假信息，防止政府层面传播不可逆转的破坏性材料，而这只是数百个用例中的三个。”
来源：Yangz
发布人：暖色
声明：该文观点仅代表作者本人，不代表火讯财经立场。火讯财经系信息发布平台，仅提供信息存储空间服务。
如文章涉及侵权， 请及时致函告之，本站将第⼀时间删除⽂章。邮箱：840034348@qq.com
文章总数
浏览数
商务合作：840034348@qq.com
媒体合作：840034348@qq.com
投稿合作：840034348@qq.com
微信公众号
iPhone & Android
