贝里维尔机器学习研究所（BIML）最近参加了网络安全公司Calypso AI在美国华盛顿特区举行的Accelerate AI 2023大会。会议囊括了来自政府和产业界、监管部门，以及学术界的从业人员。其中一场研讨会非常应景，题为“LLM在国家安全等领域涌现的风险与机遇”。本文讨论的内容即为这场研讨会主题的延伸。

当然，以下内容绝非LLM乱编的。

大语言模型（LLM）是近期引发全球热议的一种机器学习系统。OpenAI出品和部署的ChaptGPT（又名GPT-3.5）就是个LLM，是许多文本生成式人工智能（AI）模型中最为普遍和流行的。其他生成式模型还包括图像生成器Dall-E、Midjourney和Stable Diffusion，以及代码生成器Copilot。

LLM和其他生成式工具为各种应用带来了巨大的机会，业界纷纷投身部署此类系统。LLM可以带来很多乐趣，解决科学难题，帮助解决知识管理的棘手问题，编出有意思的内容，最重要的是，有可能让世界朝着人工通用智能（AGI）和可催生大量认知科学突破的表示理论更近一步。

但是，使用目前尚未成熟的LLM，或者其他随便哪种生成式AI工具，都伴随着很现实的风险。

鹦鹉学舌与信息污染

LLM采用海量信息（3000亿词，大部分是从互联网上刮取的）训练，并通过自动联想来预测句子里的下一个词。因此，大多数科学家认为，LLM并不能真正“理解”什么，也没办法真正思考。正如一些研究人员所说的，它们就是些“随机鹦鹉”。不过，LLM确实能以令人大呼神奇的方式结合上下文生成让人惊艳的文本流，往往还挺有用。

反馈循环是各种ML模型中的一类重要问题（也是BIML数年前引入的：“[raw:8:looping]”）。当时关于此问题的讨论如下：

模型被微妙的反馈循环搞乱了。如果模型的数据输出后续又作为输入反馈进同一个模型，会出现什么情况？提示一下，据传早期的谷歌翻译就发生了这种情况，当时机器翻译的页面被用来训练机器本身。场面十分欢乐。时至今日，谷歌通过自己的策略限制了一些翻译的搜索结果。

可以想见，互联网上可被轻松抓取的大量内容如果都是质量堪忧的AI模型生成的，然后这些LLM还开始输入自己产出的东西，会是怎生情况？这不就是信息污染吗？

如今，一些AI研究人员和信息安全专业人员已经开始对信息污染问题深感担忧，远远不断喷个不停的信息污染管道听起来实在是太糟糕了。

爹味说教即服务

LLM堪称胡扯小能手。这些模型经常非常自信地表达错误观点和替代事实，并经常在对话中编造信息来证明自己给出的答案（包括似真还假的科学参考）。想象一下，如果互联网上刮取的普通知识（含有很多错误）被用来创建新内容，会造成什么后果？

这位终极“回复男”可不是未来我们想要的新闻故事撰写者。事实确实很重要，一切哪能全靠编？

复刻糟糕安全

LLM的训练数据往往在很多方面都是有倾向性的。性别歧视、种族主义、仇外心理和厌女制度都可以且将基于最初在社会进步程度较低时收集的数据集建模。倾向性是LLM的一大严重问题，而操作层面的小修小补不太可能解决这个问题。

信任深度伪造（Deepfake）

深度伪造这个生成式AI的副作用已经引发讨论一段时间了。伪造或欺骗一直都是种安全风险，但现在我们面对的是造出轻易让人信以为真的高质量伪造品的能力。例举几个明显的最坏情况：左右市场、引发战争、激化文化分歧等等。一定要注意视频的来源。

自动化一切

LLM之类生成式模型具备替代诸多工种的能力，包括低端白领工作。无数人都从自己的工作中获得足够的满足感，如果不管愿不愿意，所有这些工作都被更廉价的机器学习（ML）系统替代，会出现什么状况？比如说，本地体育报道和营销文案的编写内容创建工作就已经被此类模型替代了。应该由LLM来编写文章吗？LLM从事司法实践？那医疗诊断呢？

用好工具做坏事

生成式AI可以创建很多有趣的东西。还没玩过ChatGPT的同仁应该尝试一下。还没哪种新技术这么好玩的，问世之初的Apple ][+和Java applet都没这么有意思。

但生成式AI的强大能力也可以被用于邪恶目的。例如，如果我们让ML负责设计新型病毒，要求既具备新冠病毒的传播能力，又具有狂犬病延迟发病参数，会出现什么后果？或者，让ML负责创造出花粉自带神经毒素的植物？如果普通人都能想出这些卑鄙用法，真正的恶人携手ML展开头脑风暴又会是怎生情况？

工具本不存在道德或伦理。而且，说实话，“保护提示”的主意根本就是个做做样子的解决方案，跟用命令行过滤来保护超算访问权一样。

用破杯子装信息

现在得认真考虑数据护城河这事儿了。因为，如果ML模型（在人的帮助下）能够获得你的数据并以此训练，学习如何完美模仿你的行事风格，它还真会这么干。这会导致多种风险，最好通过仔细保护自身数据集来解决，而不是将自己的数据塞进ML模型还公开发布这一模型。在ML淘金时代，真正的金子其实是数据。

数据保护可不像听起来那么简单。不然为什么政府现行的信息分级系统老保不住保密信息？敏感数据和机密信息保护已然是项艰巨的任务，如果我们还有意用机密信息训练ML系统并面向全世界发布，后果可想而知。

如今存在数据提取和转移攻击，所以，往ML杯子里倒东西时仔细一点。

如何应对LLM风险？

那么，我们是否应该像某些技术专家出于私利地建议的那样，强行暂停ML研究几个月呢？没必要，这太蠢了。我们需要做的是识别这些风险，然后直面风险。

好消息是，我们正围绕保护ML系统构建一整个行业，即所谓机器学习安全（MLsec）。不妨看看这些新兴热门初创公司都在做些什么来管控ML风险，不过，记得要带着审慎理智的眼光看。

参考阅读
六大API安全风险
行为分析：被误解的人工智能带来的安全风险
解决AI安全问题：NIST人工智能风险管理框架
ChatGPT爆火出圈带来的AI网络安全的思考