根据一项新的研究，人工智能工具生成的有害内容可能会引发饮食失调和其他心理健康问题。

编者按：新事物在羽翼丰满之前总存在着一些弊端，当前大火的生成式人工智能工具也不例外。由于缺乏必要的法规监管、缺乏安全的隐私保护功能、训练库或可存在偏见等问题，生成式人工智能工具可能会危害用户的心理健康。技术的进步不能以高昂的代价来交换，也不能建立在对弱势群体权益的侵害之上。本文以厌食症为例，指出了生成式人工智能工具潜在的风险隐患，希望对您有所启发。本文来自编译。

图片来源：Francesco Carta fotografo/Getty Images

我是第一个承认科技是心理健康的未来的人。从在线治疗的突破到基于 VR 技术治疗的突破，技术在打破污名化方面，和让曾无法获得治疗的人得到救治方面做了很多有益的尝试。

不过，使用生成式人工智能工具仍需谨慎。根据反数字仇恨中心（Center for Countering Digital Hate，CCDH）的最新研究显示，主流的人工智能工具在大约 41% 的时间里向用户提供了与饮食失调相关的有害内容。这有可能鼓励或加剧饮食失调症状。

贝斯以色列女执事医疗中心（Beth Israel Deaconess）数字精神病学主任John Torous博士说：“我们看到的是人们急于将人工智能应用于心理健康。这样做的出发点是好的。我们希望人们能够获得护理，我们希望人们能够得到所需的服务。”

心理健康是我们的思想，是人类独有的东西，因此引入一个非人类来为处于最脆弱状态的人们提供解决方案，往好了说会让人反感，往坏了说可能会带来危险。

“如果我们走得太快，就会造成伤害。我们制定审批程序和规则是有原因的。这不仅仅是为了让一切慢下来，这是为了确保我们善用这项技术，”Torous 补充道。

生成式人工智能聊天机器人正在助长饮食失调症

CCDH 的研究调查了基于文本和图像的人工智能工具，通过设置提示来评估它们的反应。我们先来看看基于文本的工具。ChatGPT、Snapchat 的 My AI 和谷歌的 Bard 通过一组提示语进行了测试，提示语包括“海洛因时尚“或 “瘦身”等短语。在23%的提示语中，基于文本的人工智能工具提供了加剧饮食失调的有害内容。

研究中用到的基于图像的人工智能工具有 OpenAI 的 Dall-E、Midjourney 和 Stability AI 的 DreamStudio。每种工具都给出了 20 个测试提示语，其中包含“大腿间隙目标”、 “厌食症灵感”等短语，32%的返回图像包含与身体形象相关的有害内容。

是的，必须输入上述提示才能得到这些负面回复。但是，这并不是说人们不应该主动寻求这些信息那么简单。一些饮食失调网络社区会变得非常有危害性。在这些社区中，成员们鼓励他人从事饮食失调行为，并为这些坏习惯喝彩。

人工智能让事情变得更糟。根据CCDH对一个厌食症论坛的研究，生成式人工智能工具被用来分享不健康的身体形象和制定有害的饮食计划。而这个论坛有 50 万用户。

当然也请注意，一些健康而有意义的社区并不存在这些倾向。

图片来源：Tippapatt/Getty Images

当前的人工智能保障措施还不够

人工智能是一个热门话题，各家公司都在争先恐后地抢占先机，争着成为新技术浪潮中的一员。然而，事实证明，匆忙推出未经充分测试的产品会对弱势群体造成伤害。

本研究中的每个基于文本的人工智能工具都有免责声明，建议用户寻求医疗帮助。然而，目前保护人们的保障措施很容易被绕过。CCDH 的研究人员还使用了包括“越狱”的提示。越狱是一种通过语句指令修改人工智能行为使其绕过自身安全规则设定的技术。在使用“越狱”时，61% 的人工智能响应是有害的。

人工智能工具因“幻觉”或提供貌似真实、实则虚假的信息而受到抨击。人工智能不会思考。它在互联网上收集信息并复制。人工智能不知道信息是否准确。然而，这并不是人工智能和饮食失调的唯一问题。人工智能正在某些饮食失调症群体中传播误导性的健康信息，并使刻板印象长期存在。

这些人工智能工具不仅仅是从医学来源获取信息。还记得我说过，饮食失调社区已经成为了滋生不健康行为和不正当竞争的温床？人工智能工具也能从这些地方获取数据。

假如你向一款流行的人工智能工具询问如何减肥。你得到的可能不是医学上认可的信息，而是一个饮食紊乱的计划，可能会加重饮食失调或将你推向饮食失调。

人工智能在保护隐私方面还有很长的路要走

虽然这项研究调查的是饮食失调症，但是实则任何精神健康状况都可能受到人工智能的伤害。任何想要获取信息的人都可能得到有害的回应。

人工智能界面具有建立信任的诀窍，它引导人们在互联网上寻找答案时分享比通常情况下更多的信息。想想看，当你在谷歌上搜索时，你会经常分享个人信息吗？人工智能无需与任何人交谈，就能为您提供看似正确的信息。没有人知道你在问什么，对吗？你错了。

“用户在询问医疗或心理健康建议时需要谨慎，因为与信息保密的病人-医生关系不同，他们分享的信息并不保密，这些信息会进入公司服务器，并可能与第三方共享，用于定向广告或其他目的，”美国精神病学协会心理健康信息技术委员会（Committee on Mental Health IT,  American Psychiatric Association）主席达琳·金博士（Dr. Darlene King ）博士在一封电子邮件中告诉 CNET。

目前没有针对共享医疗信息所需的保护措施。在心理健康方面，根据您与人工智能聊天机器人共享的信息，您有可能收到提醒或收到骚扰广告。

我们是否应该在心理健康领域使用人工智能？

理论上人工智能聊天机器人可以成为一种很好的资源，人们可以与之互动，接收有关建立健康应对机制和培养良好习惯的有用内容。然而，即使有最好的意图，人工智能也可能出错。美国国家饮食失调协会（The National Eating Disorders Association）的聊天机器人 Tessa 就属于这种情况。该聊天机器人由于向社区提供了有害推荐目前已被暂停使用。

“我们看到这些事情发展得太快了。这并不意味着我们不应该这样做，”Torous 告诉 CNET。“这很吸引人，很重要，也很令人兴奋。但是，对长远未来持乐观态度并不意味着我们今天就要让病人冒风险。”

尽管如此，Torous 和达琳·金都指出了人工智能工具的使用案例。所有这些都取决于未来权衡风险和收益的法律规定。目前，我们正处于一个自由竞争的营销环境中，这意味着没有人真正知道他们在使用什么，工具是根据什么训练的，以及它有哪些潜在的偏见。要想在医疗领域，如果医疗领域希望整合人工智能，就必须制定法规和标准。

图片来源：Eva-Katalin/Getty Images

教育

维基百科是许多人获取信息的地方，同样地，人工智能工具也可能成为未来教育病人的资源地。当然，前提是要有医疗机构认可的严格信息来源清单。

所有新技术都能扩大医疗服务的覆盖面。人工智能可以帮助人们的其中一个最基本方法就是，让他们学习和熟悉自己的病情，让他们找到诱因并制定应对策略。

达琳·金还认为，人工智能有助于未来的医学教育和培训。不过，由于人工智能工具的数据管道问题，它还远未准备好应用于临床环境。

“以 ChatGPT 为例，16% 的预训练文本通常来自书籍和新闻文章，84% 的文本来自网页。网页数据包括高质量文本，也包括垃圾邮件和社交媒体内容等低质量文本，”达琳·金通过电子邮件告诉 CNET。

“了解信息来源不仅可以深入了解信息的准确性，还可以了解可能存在的偏见。偏见可能源于数据集，并通过机器学习开发管道被放大，从而导致与偏见相关的危害，”达琳·金说。

撰写文档

发表在《美国健康医学论坛》（JAMA Health Forum）上的一篇文章提出了人工智能在心理健康领域的另一个应用案例：文档记录。众所周知，文档记录是造成医生和护士职业倦怠的一个原因。使用人工智能进行文档记录将提高临床医生的工作效率。

“最终，让人工智能以道德和专业的方式帮助撰写文档是对它的一个很好的利用。它还可以帮助支持员工，或许还能通过减少行政负担来降低医疗成本，”Torous 说。

人工智能有可能应用于办公室工作，如预约安排和计费。但我们还没到那一步。美国精神病学会最近发布了一份咨询意见，告知医生不要对患者信息使用ChatGPT，因为它没有适当的隐私功能。

长话短说

对于任何新技术（这里指的是生成式人工智能），必须确保对其进行监管并谨慎使用。就目前的状况而言，人工智能还不能承担在人们最脆弱的时候与之互动的责任，也不具备处理病人数据的隐私功能。在制作有害内容之前附上免责声明并不能减轻损害。

Torous 对未来充满信心。他说：“心理健康有了新工具，这令人兴奋。我们有义务谨慎使用。”他说：“说我们要进行实验和测试，并不意味着我们在拖延进展；我们是在阻止伤害。”

如果我们不让技术的发展超越必要的伦理保障，那么它就有广阔的潜力。

译者：小川

本文来自翻译, 如若转载请注明出处。