服务粉丝

我们一直在努力
当前位置:首页 > 财经 >

国产版GPT接踵而来,算力平台谁来支撑?

日期: 来源:第一财经收集编辑:钱童心


19.03.2023

本文字数:1886,阅读时长大约3.5分钟


导读:在国产版GPT接踵而至的背景下,目前国内的算力平台还不足以提供支撑,这也成为制约我国大模型发展的重要瓶颈。

作者 | 第一财经 钱童心

上周,百度推出基于大模型的AI聊天机器人“文心一言”,成为国内首个冲进GPT赛道的互联网企业。3月18日,第一财经记者从达观数据获悉,该公司自主研发的大型语言模型“曹植”系统也取得突破性进展,有望成为国内大规模语言模型中首批可落地的产业应用级模型。


在国产版GPT接踵而至的背景下,目前国内的算力平台还不足以提供支撑,这也成为制约我国大模型发展的重要瓶颈。



垂直大模型也需要上千张GPU


据介绍,“曹植”与ChatGPT和“文心一言”这类更加通用的大语言模型不同,是专注于垂直、专用领域的模型,目标是赋能金融、政务、制造等多个垂直领域。


达观数据创始人CEO陈运文对第一财经表示:“‘曹植’在垂直领域内的理解和生成的任务上都达到了很好的效果。目前在一些技术细节方面还在调优,未来达观数据将建立多个垂直领域的专用语言大模型,整体功能会很有特色。”


他举例称,基于达观AIGC智能写作能力,可适配各类材料申报业务场景,基于已有各结构化类数据,快速撰写各类制式和非制式文档,应用于公文、招投标、投行申报文档、法律文书等专业写作场景。


华为公司创始人任正非近期也对ChatGPT发表看法。他表示:“未来在AI大模型上会风起云涌,不只是微软一家,人工智能软件平台公司对人类社会的直接贡献可能不到2%,98%都是对工业社会、农业社会的促进,大家要关注应用。”


ChatGPT带动了自然语言处理整体上下游以及芯片的思考和发展,某种程度上大模型也很可能成为下一代技术发展的基础设施。中国建立自己的基础模型体系已成为必然需求,在这一发展过程中,目前国内企业面临的普遍问题是算力不足。


陈运文向第一财经记者坦言,训练一个垂直的大模型可能需要上千张GPU芯片集群。“现在面临的问题是,我们需要的GPU数量还远远不够,远水解不了近渴。”他对第一财经记者说道,“集群需要的GPU数量很多,建设周期长投入大。”


目前支撑包括ChatGPT大模型在内的95%用于机器学习的芯片都是英伟达的A100(或者国内使用的替代产品A800),该芯片的单价超过1万美元。此外,英伟达最新一代的H100芯片的性能也远超A100,但价格也更高,约合25万元人民币。


除了单个的芯片之外,英伟达还出售一个包含8个A100的服务器系统DGX,售价接近20万美元。分析师和技术专家估计,训练GPT-3等大型语言模型的耗资可能超过400万美元。


这对于大多数中小企业而言几乎是不可能承受的开支。在陈运文看来,如果有超大中心能够提供算力租赁的模式,将会解决中小企业很大一部分算力不足的问题。“国内现有的租赁平台的问题是算力规模还太小,而且价格太高。”陈运文告诉第一财经记者。


企业探索减少对算力的依赖


在GPT这类大模型问世前,国内几乎没有任何应用场景需要用到如此大的算力。第一财经记者了解到,商汤科技等国内企业都拥有自己的超算中心,但这些平台仅向定向合作客户开放;而阿里巴巴等对外出租的超算平台的的算力仍然不足以满足目前大量的大模型需求。


复旦大学自然语言处理实验室邱锡鹏教授此前也表示,该实验室开发的大语言模型MOSS受制于算力资源不足的问题。据介绍,MOSS是基于32张英伟达A100芯片算力。相比之下,ChatGPT模型背后拥有约3万块A100芯片,差距接近1000倍。


对此,邱锡鹏认为,在资源有限的情况下发展大模型的方向是“用规模较小的模型找到特定的应用场景”,例如可以在企业内部私有部署,经过一些数据微调就可以转化为生产力。


作为GPT算力最重要的提供者,英伟达已经在探索新的商业模式。黄仁勋已经表示,英伟达愿意将人工智能的算力放在云端共享给企业。


“我们提供的价值是将原来需要投入10亿美元运行CPU的数据中心缩减为仅用1亿美元就能搞定的数据中心,现在将该数据中心放在云端共享,意味着可以由100家公司来分担这一成本,因此每家公司支付的实际上是非常少的费用。”他说道,“现在企业可以花一两千万来构建一个类似GPT的大型语言模型,这是可以支付得起的。”


不过也有业内人士指出,解决算力问题只是开发大模型的第一步。澜舟科技创始人CEO周明对第一财经记者表示:“虽然现在算力平台不足是行业面临的普遍问题,但是即便算力问题解决了,还是会有其他问题,关键在于对大模型本质的理解需要提升。”


周明表示,在美国现在大家也是一窝蜂地去搞大模型,其实很多人对大模型的机理理解还停留在比较初步的认知,包括大语言模型的工程化管理,缺乏独立思考的精神。


周明也同意,未来大模型的一个发展方向是,在算法上进行优化,从而减少对模型和算力的依赖。“比如用很小的GPU也可以做大模型,这个方向值得关注。”他对第一财经记者表示。


相关阅读

  • 好书推荐:《经济寒冬怎么过》

  • 2022年,楼市动荡。全国销售额13.3万亿元,一年少了将近5万亿元。TOP100房企销售额同比下滑逾40%,排名前50民营房企有超过70%出现资金流紧张,甚至公开市场违约。郑州救市,出台了 19
  • 牛市初降准,宜高抛低吸 | 信达策略

  • 信达策略研究1策略观点:牛市初降准,宜高抛低吸降准本身是利多,但是和降准周期同步发生的一般是盈利下降周期。由此导致,降准周期前期,股市大多是熊市,因为盈利的负面影响通常会超
  • 甲骨文毕业生自嘲“最冷专业”,为何走红?

  • 文|邢妍妍近日,视频博主李右溪发起了一个挑战全网最冷门专业的挑战,她自曝从所学的甲骨文(研究方向)毕业后,有可能因导师今年退休,专业方向都没了。这条视频目前已有10余万人点赞
  • 妍珍呐~气象主播到底要不要自己写稿

  • 这个在这里大家可以对我们推送的内容,发表读后感想或者意见,说说你相似的经历等,可以向壹读君问出你的困惑,壹读君也会摘选有意思的内容进行回复。规矩还是一条:不论你是提问或者
  • 最高级的活法,提升自己的气质和内涵

  • 有些人即使穿着简单,却依然会在人群里发出耀眼的光,而有些人即使名牌傍身,也难掩其气质低廉。 一个真正有气质的女人,她从不会炫耀她所拥有的一切,她读过什么书,去过什么地方,有多
  • 【暖心】一封请愿书,全村人摁手印

  • 听说驻村的第一书记李微要回原单位,秋那桶的村民急了。“村里的这些项目怎么办?会不会搁置?”“公司怎么发展?”“酒店怎么运作?”村民手写的请愿书。刘彪摄“恳请留下来!”在秋那
  • 这片绝美碧水丹霞,你想和谁一起看?

  • 碧水丹霞 福地苏仙本期湖南日报美好推荐官来到郴州市苏仙区高椅岭旅游区该旅游区与飞天山相隔明代著名旅游up主徐霞客曾沿江顺流而下对这一片丹霞地貌留了硬核点评“无寸土

热门文章

  • “复活”半年后 京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后,杀入公益事业,试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日,“益心一益·守护梦想每一步”2018年四

最新文章

  • 不同尺码的纸尿裤,妈妈们是这样囤的

  • 欢迎来到星球妈妈说,这是一档分享妈妈们真实经验的栏目。纸尿裤常常被称为宝宝的「屁粮」,可以说每个妈妈心里都有一本关于纸尿裤的账。在各种社交平台上,也流传着各种不同尺码
  • 国产版GPT接踵而来,算力平台谁来支撑?

  • 19.03.2023本文字数:1886,阅读时长大约3.5分钟导读:在国产版GPT接踵而至的背景下,目前国内的算力平台还不足以提供支撑,这也成为制约我国大模型发展的重要瓶颈。作者 | 第一财经
  • 美联储以改兼赈,两难自解?

  • 由于之前多篇文章涉及敏感,得到了相关部门的特别关注,因此不得不跟随大树镇长的脚步,将“大树乡长”更名为“大树乡御史”。变的是名字,不变的质量和初心。谢谢各位读者朋友长期
  • 【早说】中年危机

  • 前行的路上,有很多人帮我们背负了很多。Often people ask: XX career whether there is a midlife crisis. The general answer is that every career has a mid-life crisis