服务粉丝

我们一直在努力
当前位置:首页 > 科技 >

生成式AI竞赛的背后,有一个“肮脏”的秘密

日期: 来源:36氪收集编辑:36氪

编者按:像 ChatGPT 这样的大型语言模型能帮助我们实现更好的搜索结果,给我们的生活带来便利,但它也有不好的一面:为了提升搜索体验,训练和运行大型语言模型产生的碳排放量是巨大的。本文来自编译,希望对您有所启发。

ILLUSTRATION: JACQUI VANLIEW; GETTY IMAGES


二月初,先是谷歌,然后是微软,宣布对他们的搜索引擎进行了重大改革。这两家科技巨头都在构建或购买生成式人工智能工具上投入巨资,这些工具能使用大型语言模型来理解和回答复杂的问题。现在,他们正试图将其整合到搜索中,希望能给用户提供更丰富、更准确的体验。

但对这些新工具的兴奋之情可能掩盖了一个肮脏的秘密——构建高性能人工智能搜索引擎的竞赛可能需要计算能力的大幅提升,随之而来的是科技公司所需的能源和碳排放量的大幅增加。

英国萨里大学(University of Surrey)网络安全教授艾伦·伍德沃德(Alan Woodward)表示:“已经有大量资源用于索引和搜索互联网内容,但人工智能的加入则会将做这件事所需的能源和资源提升到另一个层次。它需要高效的处理能力、存储能力和搜索能力。每当我们看到在线处理的进一步变化时,就会看到大型处理中心所需的电力和冷却资源在显著增加。”

训练大型语言模型(LLMs),比如 OpenAI 的 ChatGPT(它将为微软的必应搜索引擎提供支持),以及谷歌的同类产品 Bard,意味着在大量数据中解析和计算联系,这就是这些模型往往是由拥有大量资源的公司开发的原因。

“训练这些模型需要大量的计算能力,”西班牙拉科鲁尼亚大学的计算机科学家卡洛斯·戈麦斯·罗德里格斯(Carlos Gómez-Rodríguez)说,“现在,只有大型科技公司才能训练这些模型。”

虽然 OpenAI 和谷歌都没有说过他们各自产品的计算成本是多少,但研究人员的第三方分析估计,ChatGPT 部分基于 GPT-3 的训练消耗了 1287 兆瓦时,并导致了超过 550 吨的二氧化碳排放量,这相当于一个人在纽约和旧金山之间往返 550 次。

卡洛斯·戈麦斯·罗德里格斯表示:“这并没有那么糟糕,但你必须考虑到这样一个事实:你不仅要训练它,还要执行它,为数百万用户服务。”

投资银行瑞银(UBS)估计,ChatGPT 每天有 1300 万用户,将其作为一个独立产品使用,与将其整合到每天处理 5 亿次搜索的必应中,也有很大的区别。

加拿大数据中心公司 QScale 联合创始人马丁·布沙尔(Martin Bouchard)认为,根据他对微软和谷歌搜索计划的了解,在这一过程中添加生成式人工智能,需要“每次搜索至少增加 4 到 5 倍的计算量”。他指出,ChatGPT 目前对 2021 年底之后的事情是不理解的,这在一定程度上减少了计算需求。

但为了满足搜索引擎用户日益增长的需求,这将不得不改变。他说:“如果他们要经常重新训练模型,并添加更多参数之类的东西,计算量的规模就完全不同了。”

这将需要在硬件上进行大量投资。布沙尔说:“我们现有的数据中心和基础设施将无法应对(生成式人工智能的竞争)。计算量太大了。”

根据国际能源署(International Energy Agency)的数据,数据中心的温室气体排放量已经占到全球温室气体排放量的 1% 左右。随着云计算需求的增长,这一数字预计还会上升,但运营搜索引擎的公司已承诺将减少自身对全球变暖的净贡献。

卡洛斯·戈麦斯·罗德里格斯表示:“这绝对没有运输业或纺织业那么糟糕。但(人工智能)可能成为碳排放的一个重要来源。”

微软已经承诺到 2050 年实现碳负排放。该公司计划今年购买 150 万吨碳信用额。谷歌承诺到 2030 年在其整个业务和价值链实现净零排放。OpenAI 和微软没有回应记者的置评请求。

为了减少“将人工智能集成到搜索中”的环境足迹和能源成本,可以将数据中心转移到更清洁的能源上,以及重新设计神经网络以提高效率,减少所谓的“推理时间”(即算法在新数据上工作所需的计算能力)。

谢菲尔德大学(University of Sheffield)自然语言处理讲师纳菲思·沙达特·穆塞维(Nafise Sadat Moosavi)说:“我们必须研究如何减少这种大型模型所需的推理时间,”她致力于自然语言处理的可持续性研究,“现在是关注效率方面的一个好时机。”

谷歌发言人简·帕克(Jane Park)告诉《连线》杂志,谷歌最初发布的 Bard 版本是由一个轻量级大型语言模型提供支持的。

帕克说:“我们还发表了一项研究,详细介绍了最先进的语言模型的能源成本,包括早期和更大版本的 LaMDA。我们的研究结果表明,将高效的模型、处理器和数据中心与清洁能源相结合,可以将[机器学习]系统的碳足迹减少 1000 倍。”

问题是,至少在谷歌的情况下,为了获得在搜索准确性上的微小进步,而付出所有额外的计算能力和麻烦是否值得。但是穆塞维说,虽然关注 LLMs 产生的能源和碳足迹很重要,但我们也需要注意到大型语言模型的积极方面。

她说:“这对终端用户来说是件好事。因为之前的大型语言模型并不是每个人都能使用得到的。”

译者:Jane


相关阅读

  • AI聊天机器人赛场上,谷歌微软谁将更胜一筹?

  • 编者按:谷歌的新聊天机器人“Bard”的发布失败,导致谷歌直接损失超 1600 亿美元。然而专家认为微软所应用的 ChatGPT 技术也容易出错。另一方面,我们看到公众对聊天机器人增强
  • 三问ChatGPT如何影响人工智能的未来

  • ChatGPT在技术路径上采用的是“大数据+大算力+强算法=大模型”路线,又在“基础大模型+指令微调”方向探索出新范式,其中基础大模型类似大脑,指令微调是交互训练,两者结合实现逼
  • ChatGPT狂飙的冷思考 专家共话智能社会如何治理

  • 讲坛现场封面新闻记者 陈彦霏“预测未来5年中国哪座城市发展得最好?”“成都市文化产业未来该如何发展?”“给成都写一首七言律诗。”“请证明下我思故我在这个哲学命题。”2
  • 一文看懂2023 CES:最佳科技盘点

  • 元宇宙百花齐放,人工智能贯穿一切。编者按:2023 年美国拉斯维加斯消费电子展(CES)于 1 月 5 日至 8 日举行。看看有哪些最佳的展品吧!文章来自编译,希望对您有所启发。在经历了艰

热门文章

  • OPPO k1的低价高配真实么?网友:不看不知道

  • 近日OPPO一款新机OPPO k1,摒弃了高价低配,就连自家老大哥r17都要怼一下。更是放弃了请代言人,以往的OPPO手机还没出来,各路流量小生,花样美男的代言就先来了。还有线下销售人员的
  • 一招教你手机无限制成为一台新设备

  • 大家平时用手机去注册app,肯定会遇到检测设备异常,交易关闭,等问题 这个都是手机已经不止1-2次注册过此app,不断更换手机仅是一个暂时的方法,却不是长久之计,手机总归会用完
  • 从零开始如何开网店

  • 随着互联网的高速发展,人们的生活发生了翻天覆地的变化,生活节奏越来越快,网购已经成为家家户户生活中离不开的一种购物方式了。网购的发展使得越来越多的人想要涉足电商事业,那

最新文章

  • 生成式AI竞赛的背后,有一个“肮脏”的秘密

  • 编者按:像 ChatGPT 这样的大型语言模型能帮助我们实现更好的搜索结果,给我们的生活带来便利,但它也有不好的一面:为了提升搜索体验,训练和运行大型语言模型产生的碳排放量是巨大
  • 青春年华拒毒有我 全民携手共筑禁毒长城

  • 为充分发挥禁毒教育基地宣传的主流阵地作用,提高青少年禁毒意识,增强青少年识毒、防毒、拒毒能力,2月24日上午,三岔街道联合辖区派出所组织三岔湖高级中学30余名学生代表参
  • 轮台县第二小学:向着新目标 奋楫再出发

  • 轮台县第二小学2022——2023年第二学期班主任例会深耕厚植春当首,踔厉奋发行为先。为了进一步增强班级管理工作的针对性和实效性,让新学期班级工作更加规范、有序开展。2023年
  • AI聊天机器人赛场上,谷歌微软谁将更胜一筹?

  • 编者按:谷歌的新聊天机器人“Bard”的发布失败,导致谷歌直接损失超 1600 亿美元。然而专家认为微软所应用的 ChatGPT 技术也容易出错。另一方面,我们看到公众对聊天机器人增强
  • 云南河泊所遗址考古工作专家咨询会在晋宁召开

  • 2月25日至26日,石寨山国家考古遗址公园项目晋宁河泊所遗址考古工作专家咨询会在云南省昆明市晋宁区召开。会议由云南省文化和旅游厅(云南省文物局)主办,云南省文物考古研究所与
  • 合力开出幸福花

  • 常德日报记者 杨荣国/文 王明睿/图 2月27日上午,石门县夹山镇杨坪社区陶家岗屋场前的一块小山坡上,几位村民正忙着给新栽培的橘树培育新肥。“大家抓紧时间施肥,现在天气好,正是