编者按：随着人工智能的不断发展，它也为一些非法活动提供了更多的便利。这篇文章来自编译，作者在文中引用一篇研究报告，强调了人工智能生成的儿童猥亵图像在暗网上的出现。该报告警告称，尽管目前由人工智能生成的儿童猥亵图像仅占不到 1％，但生成式人工智能工具的快速发展可能会导致这种逼真的图像数量显著增加，因此，这需要人工智能公司、社交媒体平台和立法部门的大力合作，从法律法规和技术的开发与应用等方面遏制这一发展趋势。

图片来源：artificialintelligence-news

划重点

• 生成式人工智能工具的兴起给予了儿童猥亵者更便利的制作和传播逼真儿童猥亵内容的途径，这已经成为一个直接的威胁。

• 开源人工智能模型缺乏必要的内容保护措施，导致儿童猥亵图像数量的激增，凸显监管和法规需更更严格的约束。

• 人工智能公司、社交媒体平台和立法部门之间必须加强合作，开发更难破解的数字水印技术，明确各方责任，防止人工智能生成的儿童猥亵等内容的问题持续恶化。

戴夫·威尔纳（Dave Willner）一直都在互联网发展的前沿观察和了解其中最糟糕的内容是如何演变的。

自 2008 年起，他就一直在 Facebook 工作。那个时候，各大社交媒体公司都还在“摸着石头过河”，尝试去制定各自的政策规则。十多年前，作为公司内容政策的负责人，威尔纳编写了 Facebook 社区运营的第一版官方标准。那份标准实际上是只有一页纸的一份非正式清单，其中大致禁止了“希特勒和裸体”等内容。如今，这份清单已经发展成横跨 Meta 公司旗下所有平台的详尽标准，其中包括各种辱骂言辞、犯罪行为和其他令人作呕的内容。

因此，去年美国人工智能初创公司 OpenAI 准备推出 Dall-E 时（一种可以让任何人只需输入几个提示词即可立即生成图像的工具），该公司聘请了威尔纳担任其信任与安全负责人。最初，威尔纳面对的是筛查所有被 Dall-E 标注为可能违规的图像和提示词，并提出相应的策略来防止意图违规的人成功。

威尔纳上任不久后就发现，自己可能正面临一个比较熟悉的威胁。

就像多年来儿童猥亵者利用 Facebook 和其他主要科技平台传播儿童猥亵图像一样，他们现在也在试图利用 Dall-E 来制作全新的此类图像。威尔纳说：“我并不惊讶人们会试图这样做。不过值得一提的是，OpenAI 公司的人也没有感到惊讶。”

尽管近来在关于生成式人工智能的潜在风险方面有很多假设性的讨论，但有关专家表示，儿童猥亵者已经在开始利用这些新兴的人工智能工具，而这种直接的威胁值得整个行业的全力关注。

据研究机构斯坦福互联网观察站（Stanford Internet Observatory）和致力于开发有助于保护儿童免受猥亵的技术的非营利组织 Thorn 最新发布的一篇研究报告，研究人员发现，自去年 8 月以来，在暗网上流传的具有高度真实感的人工智能生成的儿童猥亵素材数量有所增加，虽然增幅不大，但也不能忽视这一问题的严重性。

Thorn 组织的研究人员指出，相关素材数量的增加在很大程度上都体现在利用真实受害者的相貌，并将其通过新的姿势以可视化方式呈现出来，让他们遭受新的、越来越残忍的性暴力形式。研究人员发现，大多数类似图像并非由 Dall-E 生成，而是由开发和发布过程中几乎没有任何保护措施的开源工具生成的。

Thorn 和斯坦福互联网观察站的研究人员在报告中还指出，在一个已知的儿童猥亵者群体样本中，由人工智能生成且看起来非常逼真的图像不到 1%。但考虑到这些生成式人工智能工具的开发速度，研究人员预测这个数字只会不断增长。

戴维·泰尔（David Thiel）是斯坦福互联网观察站的首席技术专家。他与 Thorn 的数据科学总监丽贝卡·波特诺夫（Rebecca Portnoff）以及研究主管梅丽莎·斯特罗贝尔（Melissa Stroebel）共同撰写了该篇研究报告。泰尔称，“用不了一年时间，这个领域就会面对非常严峻的问题。这对于我所能想到的机器学习来说，绝对是最糟糕的情况。”

波特诺夫在机器学习和儿童安全方面已经工作了10多年。在她看来，OpenAI 公司已经在布局考虑这个问题，这也表明这个领域至少在学习曲线上比社交媒体巨头在早期发展阶段快得多。

“他们现在的姿态已经不同了。”波特诺夫说。

尽管如此，她仍然表示：“如果我能回到一年前就好了。”

Thorn 组织数据科学总监丽贝卡·波特诺夫（Rebecca Portnoff）。图片来源：Kristian Thacker

我们信任大家

2003 年，美国国会通过了一项禁止“计算机生成的儿童色情制品”的法律，这是罕见的对未来进行预防的国会行动。然而，当时制作这种图像不仅非常昂贵，而且技术还非常复杂，因此这项法律的执行并没有受到广泛关注。

这些年来，尽管制作这些图像的成本和复杂程度一直在稳步下降，但在去年 8 月，情况发生了变化。一家位于伦敦的机器学习公司 Stability AI 开发了一款名为 Stable Diffusion 的免费开源文字到图像生成器，这导致了制作这些图像的门槛大大降低。

在 Stable Diffusion 的最初版本中，该模型对其可以生成的图像内容几乎没有任何限制，包括包含裸体的图像内容。该公司首席执行官埃马德·莫斯塔克（Emad Mostaque）去年秋季在接受《纽约时报》（The New York Times）采访时表示：“我们相信大家，我们相信整个用户群体。”

Stability AI 公司传播总监莫泰兹·比沙拉（Motez Bishara）在一份声明中表示，该公司禁止将其技术用于“非法或不道德”等不当用途的行为，包括制作儿童猥亵材料。比沙拉称，“我们强烈支持执法部门打击那些滥用他们的产品进行非法或恶意活动的群体。”

由于该模型是开源的，开发人员可以在自己的计算机上下载并修改代码，以此来完成特定的任务，包括生成逼真的成人色情内容。Thorn 和斯坦福互联网观察站的研究人员在报告中指出，猥亵者可以自行修改模型，使其能够生成涉及儿童的性暗示图像。这些研究人员在报告中还展示了一个经过马赛克处理的版本，演示了如何通过修改一个由人工智能生成的成年女性图像，直到它看起来像奥黛丽·赫本（Audrey Hepburn）儿时的形象，从而创建出一个虚假的儿童色情图像。

Stability AI 公司后来发布了试图屏蔽其所称“不安全和不适当内容”的过滤器。该技术后续推出的新版本中所使用的数据集，都过滤了被认为“不适合工作场合”（NFSW）的图像内容。然而，泰尔表示，人们仍在使用旧的模型生成新模型禁止生成的图像。

与 Stable Diffusion 不同的是，Dall-E 并非开源工具，只能通过 OpenAI 自己的界面访问。该模型在开发过程中也设置了更多的防范措施，以禁止甚至创建成人裸体图像。威尔纳表示：“这些模型本身倾向于避免与用户进行性方面的对话。这种安排主要是出于对某些较为黑暗的性话题的谨慎考虑。”

该公司还为 Dall-E 提供了提示词，并添加了防护措施，以防止用户使用某些词语或词组。然而，威尔纳表示，猥亵者仍然在试图通过研究人员所称的“视觉同义词”来破解系统，在描述他们想要制作的图像过程中，采用创造性的词汇表达方式来规避防护措施。

“如果你从模型中删除对血液的认知，它仍然知道水是什么样子，也知道红色是什么颜色。在性内容方面同样存在这个问题。”威尔纳补充说，“即使从模型中删除了与性相关的特定内容，它仍然可能生成具有性暗示的内容。”

Thorn 首席执行官朱莉·科杜阿（Julie Cordua）。图片来源：Stephen Goldstein

悬而未决的问题

Thorn 拥有一个名为 Safer 的工具，这个字面意思为“更安全”的工具可以扫描图片以查找儿童猥亵等内容，并帮助企业向国家失踪和被剥削儿童中心（National Center for Missing and Exploited Children）报告此类内容。据称，该中心下设一个联邦指定的信息交换中心，可以共享有关疑似儿童猥亵的相关信息。

OpenAI 公司也在使用 Safer 工具来扫描人们在 DALL-E 编辑工具中上传的内容。虽然这对于获取真实儿童图像非常有帮助，但威尔纳表示，即使是最先进的自动化工具也可能难以准确识别由 人工智能生成的图像。

这引发了儿童安全专家日益担心的一个新问题：人工智能不仅可以用于创建真实儿童的新图像，还可以制作出根本不存在的涉及儿童的露骨图像。

这种内容本身就是非法的，需要进行上报。但这种可能性也导致人们担心，联邦举报中心可能会因充斥着虚假图像而更加不堪重负，这会使识别真实受害者的工作变得更加复杂。仅在去年，该中心的网络举报专线就收到了近 3200 万份举报。

“如果我们收到这些举报，我们能够辨别出来吗？”国家失踪和被剥削儿童中心的总法律顾问约塔·苏拉斯（Yiota Souras）问道。“这些图像会被标记出来吗？或者能够与真实儿童的图像区分开来？”

Thorn 和斯坦福互联网观察站的研究人员认为，至少部分解决方案不仅需要 OpenAI 和 Stability AI 等人工智能公司的帮助，而且还需要运行即时通讯应用程序或社交媒体平台的公司的帮助。例如，去年国家失踪和被剥削儿童中心网络举报专线收到的 3200 万份举报中，提交最多的是 Meta 公司。

去年，Facebook、WhatsApp 和 Instagram（译者注：这三款社交应用软件都是 Meta 公司旗下的产品）提交了超过 2700 万条举报。

致力于打击网络儿童猥亵内容的行业组织“科技公司联盟”（Tech Coalition）已经开发了一个分类系统，用于根据所涉及的受害者的明显年龄和所描绘行为的性质对涉嫌儿童猥亵材料进行分类。然而，Thorn 和斯坦福互联网观察站的研究人员认为，这些分类应该进一步扩展，以反映图像是否由计算机生成。这将有助于更好地识别由人工智能生成的虚假图像，以便更有效地打击儿童猥亵和虚假图像的传播。

Meta 全球安全负责人安蒂戈涅·戴维斯（Antigone Davis）在向《纽约时报》发表的一份声明中表示：“我们正在有意识地采取基于证据的方法来处理由人工智能生成的内容，例如确定何时包含识别信息效果最佳，以及如何传达该信息。”戴维斯表示，该公司将与国家失踪和被剥削儿童中心联手合作，以确定最佳的应对策略。

除了社交媒体平台的责任外，研究人员还认为人工智能公司也可以采取更多行动。具体来说，它们可以通过训练其模型来避免其生成儿童裸体图像，并在这些图像在互联网上传播时明确标识它们是由人工智能生成的。这意味着需要采用更难破解的数字水印技术，而不是直接沿用 Stable AI 或 OpenAI 等公司现有的水印方案。

随着议员们开始制定规范人工智能技术的法规，有关专家表示，有必要强制使用某种形式的水印或来源追踪技术，这不仅对打击虐待儿童素材，也对遏制虚假信息至关重要。

“你的表现只会与最低标准持平，这就是为什么你需要监管体制。”加州大学伯克利分校（University of California, Berkeley）数字取证教授哈尼·法里德（Hany Farid）表示。

法里德牵头开发了 PhotoDNA 工具，这是微软在 2009 年推出的工具，许多科技公司现在仍在使用它来自动查找和屏蔽已知的儿童猥亵图像。然而，法里德认为，科技巨头在该技术开发后的应用过慢，这使得儿童猥亵素材在互联网上公开传播了多年。

他正在与多家科技公司合作，为人工智能生成的图像制定新的技术标准。Stability AI 公司是计划遵循这一标准的公司之一。

另一个悬而未决的问题是，法院将如何处理起诉那些使用人工智能生成虐待儿童内容的制作者，以及人工智能公司需要承担什么法律责任。尽管早在 20 年前就已制定出禁止“计算机生成的儿童色情制品”的法律，但该法从未在法庭上被检验。2002 年，美国最高法院以言论自由为由，推翻了早期试图禁止所谓“虚拟儿童色情制品”的法律。

欧盟委员会（European Commission）、白宫（White House）和美国参议院司法委员会（U.S. Senate Judiciary Committee）的成员已经收到了关于 Thorn 和斯坦福互联网观察站那份报告的简报。泰尔表示，在人工智能技术进一步发展并支持全动态视频之前，企业和立法者需要迅速找到这些问题的答案，这是至关重要的。“我们必须尽快解决这些问题。”他说。

Thorn 首席执行官朱莉·科杜阿（Julie Cordua）表示，研究人员的发现应该被视为一种警告，同时也是机遇。与社交媒体平台多年后才意识到其平台使儿童猥亵者肆无忌惮不同的是，科杜阿认为，由人工智能生成的儿童猥亵问题还没有失控，仍有时间来防止它恶化。

“我们知道这些公司应该采取什么行动。我们只需要开始行动。”科杜阿说。

译者：俊一