服务粉丝

我们一直在努力
当前位置:首页 > 科技 >

国产数字新基建,放眼未来的“大模型”建设

日期: 来源:了不起的中国制造收集编辑:了不起的中国制造

出品|网易新闻

导语:ChatGPT风靡全球,作为一种人工智能“大模型”被认为能在很大程度上改变人们的生活,中国也正大力发展的全国性大型算力中心的建设也取得了阶段性成功,将推动“让用户像用电一样使用算力服务”的发展愿景。随着模型和算力的普及化,国产人工智能发展也将迈入新的台阶。

一、模型与数据驱动人工智能

2017年5月,当时围棋世界排名第一的棋手柯洁在万众瞩目的“人机大战”中0:3完败于谷歌研发的AI程序AlphaGo,这个标志性的事件给很多人提了个醒:AI的浪潮已经开始席卷而来了。

AlphaGo在2017年战胜了柯洁

AI带来的劳动价值将让人类彻底摆脱某种“稀缺”,摆脱重复的劳动,从而使人类的解放成为可能。真正获得全面解放和完全自由的人类,将拥有更充裕的时间来发展自己的兴趣爱好、思考人生、享受生活、改变世界,实现精神财富和物质财富的双丰收。

但距离做到这一点,依旧需要相当长时间的发展和相当多的投入。

人类思维模式遵循上图思想

计算机程序的发展已经使得设备能够按照人类已经输入好的指令机械地运行,适用于纯粹重复性的工作,这已经在很多领域已经极大减少了人的工作量,这种基于输入性规则的程序可以称得上是最初级的AI。

目前世界各国着力发展的更高级的AI则力图在更多的领域也能做到这一点。它的核心含义是指,通过恰当的方法学习合适的已有经验(以数据的形式),来获得一种通用的决策方式。经过测试之后就可以在类似的场景下自动做出决策,从而实现自动进行重复劳动的目的。

人工智能算法本质是在模仿人类思维模式

AI发展的具体效果分别取决于两个因素——“恰当的方法”以及“合适的已有经验”,对应了模型驱动和数据驱动两个流派,它们在动机、模式、映射关系等方面各有不同,但并不矛盾。模型驱动和数据驱动的区别在于数据处理方式:如果数据处理并不改变模型本身,就是模型驱动;如果数据处理改变了模型,让模型去贴合数据,就是数据驱动的研究方法。在解决实际问题中,各自都存在优势和限制。

对我国而言,中文语料库的体量约为全球英文语料库的十分之一。首先是对数据本身做预处理,然后需要大量人工标注数据集,这样才能够让模型来学习人的行为模式,整套流程花费甚巨。而模型驱动的方法则需要大量试错,需要平衡模型的复杂程度和算力投入,且每次试错需要付出大量的算力和时间代价。因此,基于大量共用数据的,且经过充分验证的“大模型”概念成为了一种具有竞争力的方案。

二、“大模型”赋能各行各业

过去以小型团队为单位,通过寻找合适的数据与模型的确能产生效果较好的AI程序,但“点对点”的适应单一任务的模型依旧让其摆脱不了“小作坊”的形式。“大模型”指通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型。

近年,各种“大模型”在早期预训练中显示出前所未有的威力,成为AI创新的共识,很多模型的达成的效果都已经给人产生了深刻的印象。通过超算中心等战略投资,目前我国已经在农业、金融、互联网、生物医药等领域都拥有了自主知识产权的“大模型”。

“大模型”提供了一种在某个领域通用化的解决方案,通过“预训练大模型与下游任务微调”的方式,通过大模型从大量数据中捕获知识,极大扩展了模型的泛化能力,后期根据下游任务的少量数据进行少量针对性的训练,能有效压缩后续投入,这一套流程使得AI程序的产出更高效。


近年来模型的参数量提升极快

然而,“大模型”的开发过程繁复、门槛也很高,训练一个“大模型”的总投入在数千万美元级别,例如ChatGPT的单次训练就需要耗资150万美元。“大模型”的大,主要体现在以下两方面。AI模型为准确拟合相关场景的决策,其表现通常与参数量成正比。而“大模型”参数级别更是随着泛化能力要求的增加水涨船高,以谷歌的Switch Transformer为例,它的参数量已经达到了万亿级别(ChatGPT的参数量为千亿级别),“大模型”的设计和训练投入堪称恐怖。

谷歌Switch Transformer模型

其次是数据大,“大模型”的目的是拥有尽可能大的拓展潜力,这意味着数据的收集和标注必须尽可能覆盖到这些范围内。模型大的根本原因是数据大,“大模型”所使用的数据量都是至少数十个TB级别,数据收集和人工标注的成本都非常高,例如ChatGPT为规避美国的高昂人力成本,数据是在肯尼亚雇佣了大量人员手工进行标注,即使如此标注成本也高达数亿美元。

这两者的结合,在技术上导致了“大模型”初始的训练、后期的微调和日常使用中算力需求较大,本地设备远无法负担,甚至不是某一个单一服务器下的设备能完成的了,必须使用某种联网机制,通过联合计算加快训练。

三、“东数西算”构筑算力基建

与互联网类似作为战略新兴行业,AI的发展离不开充足算力的保证。让科研人员甚至民众“像用电、用网一样使用算力服务”的发展,将有力地支撑我国在AI领域的发展。算力资源目前稀缺且昂贵,通过统筹建设,成立全国性的大型算力中心,有助于算力更公平地流向科研在内的各领域。

同时,算力的建设和分配需要考虑到服务器的地理因素。由于大部分的数据在经济较发达的沿海地区产生和清洗,而数据计算过程中则需要消耗大量能源,且需要考虑到散热问题,综合来看算力中心最适合建设在电力便宜、气候恒温的地方。在此基础上我国提出了基于“东数西算”(在东部产生数据,在西部运行计算)思想的一体化算力网络。

在国家“东数西算”工程与全国一体化算力网络的布局下,中国算力网计划已全面展开。计算节点数已经超过了二十个,在地理上去中心化的前提下,国家在每个地区集约化地统筹建设人工智能算力中心,同时真正实现全国大型算力的协同调度与高效计算。

算力中心是大数据工程的核心

结语:

我国集中力量打造的“大模型”和国家级算力网络,其目的都是为了更高效地产生实用的AI算法,并在下一代科技革命中占得先机。放眼未来,我们能用这样的AI创造出更多人类的新篇章。

网易《了不起的中国制造》栏目原创内容,侵权必究
「了不起的中国制造」专栏,力邀行业权威、资深玩家,呈现他们眼中的中国创新之路。
合作邮箱:newsresearch_ntes@163.com

相关阅读

  • 聚焦全国两会的上大声音!

  • 全国政协十四届一次会议和十四届全国人大一次会议,在圆满完成各项议程后,分别于3月11日和3月13日,在北京胜利闭幕。全国两会召开期间,来自上海大学的代表委员发挥专业优势,履行职
  • 自动驾驶神经网络模型压缩与模型加速浅谈

  • 一、介绍随着深度学习技术的快速发展,深度神经网络已经在各个领域,如目标检测、图像分类、图像分割以及语音识别等领域取得了较大的成功。为了追求性能的提升,深度神经网络的模
  • 面试官:MySQL 自增主键一定是连续的吗?

  • 点击“终码一生”,关注,置顶公众号每日技术干货,第一时间送达!耗时8个月联合打造 《 2023年Java高薪课程 》,已更新了 102G 视频,累计更新时长 500+ 个小时,需要的小伙伴可以了解下

热门文章

  • 解码“新IT”的5个特征和3大价值

  • 党的二十大报告提出,要加快发展数字经济,促进数字经济和实体经济深度融合,打造具有国际竞争力的数字产业集群。在数字经济与实体经济深度融合的产业浪潮中,以智能设备、边缘计算
  • OPPO k1的低价高配真实么?网友:不看不知道

  • 近日OPPO一款新机OPPO k1,摒弃了高价低配,就连自家老大哥r17都要怼一下。更是放弃了请代言人,以往的OPPO手机还没出来,各路流量小生,花样美男的代言就先来了。还有线下销售人员的
  • 一招教你手机无限制成为一台新设备

  • 大家平时用手机去注册app,肯定会遇到检测设备异常,交易关闭,等问题 这个都是手机已经不止1-2次注册过此app,不断更换手机仅是一个暂时的方法,却不是长久之计,手机总归会用完
  • 从零开始如何开网店

  • 随着互联网的高速发展,人们的生活发生了翻天覆地的变化,生活节奏越来越快,网购已经成为家家户户生活中离不开的一种购物方式了。网购的发展使得越来越多的人想要涉足电商事业,那

最新文章

  • 国产数字新基建,放眼未来的“大模型”建设

  • 出品|网易新闻导语:ChatGPT风靡全球,作为一种人工智能“大模型”被认为能在很大程度上改变人们的生活,中国也正大力发展的全国性大型算力中心的建设也取得了阶段性成功,将推动“
  • 票价降降降!千元以内!还有一个好消息→

  • “多条国际航班票价降至千元以内”冲上微博热搜↓↓↓6日起,全国旅行社及在线旅游企业经营中国公民赴有关国家出境团队旅游和“机票+酒店”业务试点恢复,同时,全面恢复内地与港
  • 城阳街道:擦亮乡村振兴底色

  •   行走在莒县城阳街道的主干道上,路面干净整洁,道路两旁树木葱茏,路灯排列有序,村民们在路边广场健身,一派祥和景象……这得益于日照市莒县城阳街道日前农村人居环境整治工作的
  • 倒春寒!江苏部分地区有小雨夹雪!

  • 扬子晚报网讯(记者 于丹丹)根据江苏省气象台16日16时发布的最新预报,16日夜里到17日,我省西北部地区阴有小雨或小雨夹雪,淮河以南地区阴有中雨,局部大雨,其它地区阴有小雨。本次降
  • 喜讯!内蒙古获农业农村部通报表扬

  •   近日,农业农村部印发通报,对2022年全年粮食播种面积或产量增量位居全国前10名、大豆和油菜产量增量分别位列全国前5名,以及抗秋汛战高温干旱保丰收工作突出的21个省份予以