3月21日晚上11点,英伟达CEO黄仁勋的演讲,为GTC 2023拉开序幕。
ChatGPT和GPT-4掀起这股生成式AI热潮后,为AI提供心脏的英伟达成了背后的大赢家,也让今年的GTC注定成为有史以来最受关注的一届。
黄仁勋没有让关注者失望。
「AI的iPhone时刻已经到来。」70分钟的演讲里,老黄重复了四五遍。
每次讲这句话前,他都会分享一项关于生成式AI的新进展——对创作、医疗、工业等领域的革命,让普通人用浏览器就能训练大模型的云服务,以及让大模型处理成本下降10倍的超级芯片……
「AI的发展会超过任何人的想象。」这句话是对这场演讲最好的注脚。
2012年,Alex Kerchevsky、Ilya Suskever和他们的导师Geoff Hinton在两块GeForce GTX 580上,使用1400万张图像训练了AlexNet——这被认为是这一轮AI革命的开端,因为它首次证明了GPU可以用于训练人工智能。
4年后,黄仁勋亲手向OpenAI交付了第一台NVIDIA DGX超级计算机。此后数年,OpenAI在大型语言模型上的突破让AIGC开始进入人们的视野,并在去年年底推出ChatGPT后彻底破圈。几个月内这个对话式AI产品吸引了超过1亿用户,成为历史上增长最快的App。
NVIDIA DGX最初被用作AI的研究设备,现在已经被企业广泛用于优化数据和处理AI。根据黄仁勋,财富100强公司中有一半安装了DGX。
在这之中,部署像ChatGPT这样的LLM正在成为DGX越来越重要的一项工作。对此,黄仁勋宣布了一种新的GPU——带有双图形处理器NVLink的H100 NVL。
基于英伟达的Hopper架构,H100采用Transformer引擎,被设计用于专门处理类似GPT这样的模型。与用于GPT-3处理的HGX A100相比,一个搭载四对H100和NVLINK的标准服务器的处理速度快10倍。根据官网数据,H100的综合技术创新。可以将大型语言模型的速度提高30倍。
「H100可以将大型语言模型处理成本降低一个数量级,」黄仁勋说到。
此外,在过去的十年里,云计算每年增长20%,成为一个1万亿美元的行业。为了AI和云计算,英伟达设计了Grace CPU,在新的架构下,GPU负责处理AI的工作负载,Grace CPU负责采样,二者之间通过一个900GB/s的高速传输设备连接在一起。
「Grace-Hopper是处理大规模数据集的最佳选择。」黄仁勋称,「我们的客户希望建立训练数据大几个数量级的AI大模型,Grace-Hopper是理想的引擎。」
某种意义上来说,计算成本已经成为今天阻碍生成式AI发展的核心问题,OpenAI为此烧掉了数十亿乃至上百亿美元,微软也出于成本考虑始终没有向更大范围的公众开放新Bing,甚至限制用户每天的对话次数。
英伟达此时推出更高效的算力方案,无疑是给行业解决了一个大难题。
今年GTC上另一个涉及生成式AI的重点,就是DGX Cloud。
实际上,这并不是英伟达第一次公布DGX Cloud。此前英伟达四季报发布时,黄仁勋就向外界透露英伟达将与云服务厂商展开合作,让客户可以使用网页浏览器,就能通过NVIDIA DGX Cloud来使用DGX计算机,从而训练和部署大型语言模型或完成其他AI工作负载。
英伟达已经与甲骨文展开合作,预计下个季度微软Azure也会开始托管DGX 云,而谷歌云也将在不久之后加入这一行列,以托管的方式向那些有意愿构建新产品和发展AI战略的企业提供DGX云服务。
黄仁勋称,这种合作关系将英伟达的生态系统带到了云服务商手中,同时扩大了英伟达的市场规模和覆盖面。企业将能够每月租用DGX云集群,确保他们能够快速轻松地扩展大型多节点AI训练。
「加速计算是曲速引擎,AI就是它的能源。」黄仁勋说道,「生成式AI日新月异的能力,给我们重新构想其产品和商业模式带来了紧迫感。」
ChatGPT和GPT-4为代表的大语言模型在过去几个月火遍全球,但对英伟达来说,ChatGPT和大模型并不是AI的全部。会上,黄仁勋还分享了更多英伟达在AI领域的探索和他本人的观察。
首先是最火的生成式AI。
只需要一张手绘的草图,就能生成3D建模的户型。
撰写代码也不在话下。
还有创作音乐。
为了加速那些寻求利用生成AI的人的工作,英伟达宣布成立NVIDIA AI Foundations,这是一个云服务和代工厂,面向需要构建、改进和定制LLM和生成式AI的用户,这些客户使用其专有数据训练特定领域的AI。
AI Foundations的服务包括NVIDIA NeMo,用于构建文本-文本的生成模型;毕加索,一种视觉语言模型制作服务,面向希望构建基于经授权内容训练模型的用户;以及BioNeMo,帮助生物医药研究人员。
作为生产力工具,AI也在发挥巨大的价值,黄仁勋在演讲中介绍了几个非常有意思的案例。
第一个是与美国电信巨头AT&T。AT&T需要定期派遣3万名技术人员,为700 个区域的1300万名客户提供服务。这个庞大的数据,调度是一个痛点,如果在CPU上运行,调度优化需要一整夜的时间才能完成。
借助英伟达的CuOpt,AT&T可以将调度方案的优化时间加快100倍,并可实时更新其调度方案。
某种意义上,在英伟达的帮助下,AT&T做到了美团、滴滴这些需要实时匹配的互联网公司用好多年积累才做到的事情。
另一个案例是与芯片公司的合作。随着中美科技战,大多数人都知道了光刻机这个半导体产业的关键设备。但鲜为人知的是,随着制程技术的发展,芯片设计对算力的需求也是半导体行业的一大痛点。
今天计算光刻是芯片设计和制造领域最大的计算工作负载,每年需要消耗数百亿 CPU小时,并且随着算法越来越复杂,计算光刻的成本也在提高。
对此,英伟达宣布推出cuLitho——一个计算光刻库。并与ASML、台积电等巨头展开合作,从而大幅降低芯片设计过程中的算力消耗,节能减排。
事实上,减少能源消耗,提高计算效率,是黄仁勋眼中AI技术将为人类社会带来的另一大价值。而在摩尔定律失效的当下,加速计算和AI的到来恰逢其时。
「各行业正都在面对可持续发展、生成式AI和数字化的挑战。工业公司正在竞相数字化,并重塑为软件驱动的科技公司——成为颠覆者,而不是被颠覆者,」加速计算让这些公司可以应对这些挑战,黄仁勋说道。「加速计算是减少电力消耗、实现可持续性发展和碳中和的最佳方式。」
最后,类似于一个彩蛋,从老黄此次演讲的表现不难猜测,视频中出现的老黄,应该全程是一个虚拟形象。如无意外,很有可能也是「生成式AI」的产物——在表现AI进步的同时,也算是黄仁勋为自己家「核弹算力」再次「现身说法」。