公开信内容

公开信称，正如广泛的研究和顶级人工智能实验室所承认的，人工智能系统对社会和人类构成较大的风险。我们不应该冒着失去对文明控制的风险，将决定委托给未经选举的技术领袖。

尽管最近几个月人工智能实验室掀起AI狂潮，但目前没有人能理解、预测或可靠地控制AI系统，也没有相应水平的规划和管理。

当代人工智能系统现在在一般任务上表现与人类相当，我们必须反思——

我们是否应该让机器用宣传和谎言充斥我们的信息渠道？
我们应该自动化所有的工作，包括令人满意的工作吗？
我们是否应该发展最终可能超越我们并取代我们的非人类思维？
我们应该冒险失去对我们文明的控制吗？

OpenAI 最近关于人工智能的声明指出：「在开始训练未来系统之前，进行独立审查可能很重要，人们应该在合适的时间点限制用于创建新系统的计算增长率。」现在已经到了这个时间点。我们呼吁所有 AI 实验室立即暂停训练比 GPT-4 更强大的 AI 系统，为期至少 6 个月。

人工智能实验室和独立专家应在暂停期间，共同制定和实施一套先进的人工智能设计和开发的共享安全协议，由独立的外部专家进行严格的审查和监督。这些工作至少应该包括：

专门针对人工智能的新的、有能力的监管机构；
对高能力的人工智能系统和大型计算能力池的监督和跟踪；
帮助区分真实和合成数据的溯源、水印系统，并跟踪模型泄露；
强大的审计和认证生态系统；
对人工智能造成的伤害的责任认定；
对人工智能安全技术研究的强大公共资金；
资源丰富的机构，以应对人工智能将造成的巨大经济和政治混乱。

本次联名信最后，Let's enjoy a long AI summer, not rush unprepared into a fall（让我们享受一个漫长的 AI 盛夏，而不是毫无准备的进入深秋），这里是一个双关，秋天英文 fall 另有坠落之意。这项提议试图警醒众人不要对人工智能过度乐观，让我们毫无准备的步入坠落的深渊。

公开信链接：https://futureoflife.org/open-letter/pause-giant-ai-experiments/

大佬们在担心什么

发布公开信的“未来生活研究所”创立于2014年，一直关注“开发与人类相当的人工智能技术过程中出现的风险”，霍金、马斯克都是这家机构的科学顾问。霍金在研究所成立当年，通过公开媒体发表对于AI技术最终将取代人类的一系列“预言”。

马斯克在麻省理工学院AeroAstro百年学术研讨会上发表讲话将人工智能称之为“我们面临的最大威胁”。他说，“随着人工智能的发展，我们将召唤出恶魔。”去年12月，马斯克也在推特上公开表示，ChatGPT好得吓人，我们离强大且危险的AI不远了。上周，“人工智能教父”的 Geoffrey Hinton 受访时表示，人工智能可能发展到对人类构成威胁“并非不可想象”的地步。

3月28日，AI领域专家盖瑞·马库斯发文称，人工智能风险≠通用人工智能风险，超级智能可能会也可能不会迫在眉睫，但在短期内，需要担心“MAI（平庸人工智能）风险”。

ChatGPT之父”萨姆·阿尔特曼的话比较耐人寻味。他说，GPT系列为何会出现推理能力，OpenAI的研究者自己搞不明白。他们只知道，在不断测试中，人们忽然发现从ChatGPT开始，GPT系列开始出现了推理能力。自主意识和无序竞争会把人类卷死。

欧洲刑警组织27日对采用ChatGPT类工具进行犯罪的可能性进行了讨论，“大型语言模型检测和重现语言模式的能力不仅有助于网络钓鱼和在线欺诈，而且通常还可以用来冒充特定个人或群体的讲话风格。这种能力可能会被大规模滥用，以误导潜在受害者将他们的信任交给犯罪分子。”