服务粉丝

我们一直在努力
当前位置:首页 > 财经 >

ChatGPT研究及投资猜想

日期: 来源:格上私募圈收集编辑:BEDROCK



者:BEDROCK
来源:BEDROCK(ID:brpartners)


ChatGPT的火爆已经持续了很长一段时间,我们也做了一些研究,试图理解其在投资上的机会,在此分享出来与大家交流。受限于笔者的专业度,难以完全保证内容的准确性,如有错误欢迎指出。


大模型进化路径


ChatGPT起源于transform模型,对于模型的细节我们不需要了解太多,更重要的是搞清楚其能力进步的来源和速度。可以说,大模型有两种进步模式:渐进和涌现。


渐进:OpenAI在2020年的一篇论文中指出,在到达极限前,随着模型参数、数据量、以及算力的指数级提高,模型能力虽然也会指数级提高,但是提高的速度很慢,如下图所示:



其中横轴是算力、数据量、参数量,纵轴体现了模型的性能(越小越好)。


涌现:2022年,一篇来自谷歌的论文发现,当模型训练的算力量达到一定程度后,对某些任务的处理能力会爆炸性提高,如下图所示:



也就是说,算力量达到一定程度后,大模型会突然学会一些能力,这个过程就叫做涌现。研究人员总结了不同大模型涌现出的各种能力,包括加减运算、chain-of-thought等等。可以看出,越是复杂的能力,涌现所需要的算力越多(当然也跟训练的方法有关)。



其中,chain-of-thought能力如下图所示:



由此,我们可以得出第一个结论:大模型的算力、参数量、数据量还会继续增加,目前还远远没有看到顶点。


算力、参数量和数据量的关系


当参数量和数据量增加时,所需求的算力量毫无疑问也在增加。过去,无论是参数量还是算力量都经历了非常快速的指数级提升:


算力的指数级提升


参数量的指数级提升


但是,2022年DeepMind的一篇论文发现,当算力一定时,模型参数量并不是越大越好,而是有一个最优解。图中左一的每一条线上的不同点都代表了同样的算力,可以看出当参数量达到一定数量时,大模型的性能达到最高(图中的最低点)。



由此,我们可以得到第二个结论:大模型的性能取决于其训练用的算力多少,调整参数量只能挖掘出当前算力水平下的最高潜力。


因此,当评价一个大模型时,算力量而非参数量才是更好的指标。


另外,根据论文中的对比结果可看出,在GPT-3当前的参数量级下,GPT-3并没有达到最优化的性能。因此,我们推测GPT-4 的参数量会比 GPT-3 更大,但不会像GPT-2到GPT-3那样有100倍的提升,而是更多地增加训练用的数据量,从而提高整体的算力用量,达到最优化的状态。



投资机会


AI行业TAM


AI行业的TAM毫无疑问是十分巨大的,但是怎么计算却各有说法。我们按照AI对人类工作效率的提升幅度来粗略计算了一下:


2022年,美国就业人数160m,人均年薪5万美金,假设有30%的人可以借助ChatGPT把效率提高10%(只考虑目前的chaGPT技术),并且这些人的年薪为8万美金,那么提高的价值就有3840亿,即使AI收费只有这些价值的10%,在美国的TAM也有380亿,全世界可能有800亿美元左右。


如果GPT继续进步,在25-30年做到帮60%的人把效率提高30%,平均年薪7万美金,收费保持在10%,那么美国的TAM就有2000亿,全世界就是4000亿。


当然,这仅仅是AI在现有产业中提高效率带来的价值,还有由AI创造的新产业、新功能的价值是无法估量的。


微软:


短期:


2021年底office 236m订阅人数(Windows 14亿月活),年费136美元,假设渗透office的50%,将GPT集成到各类办公软件中后,订阅费增加每年100美元(目前charGPT pro是240美元),对应收入12b,相当于22年微软收入(198b)的6%


另外,微软说1%的搜索引擎份额对应2b的广告收入,如果微软能抢到搜索10%的份额(微软目前3%左右),对应20b的增量收入,相当于22年微软收入(198b)的10%。



长期:


  • 办公助手市场:25-30年,假设office AI用户数提高到10亿(windows用户14亿,加上mac一共有17-18亿),AI订阅费每年200美元,对应收入2000亿;


  • 搜索市场:假设必应的市占率提高30%(达到33%),对应600亿收入;


  • 增量市场:AI聊天,数据变现等等,可能也有2000亿收入。


训练 (Training)


AI大模型对算力的需求主要在两个方面:训练和推理。训练对应的是研发成本,推理对应的是运营成本。


具体来看,DeepMind在19年就亏损了约5亿英镑,OpenAI在22年也亏损了5亿美元。因此每年的算力花费应该就是3-4亿美元的量级。考虑到有能力并且有野心做基础大模型的公司并不多,我们假设22年有4家OpenAI级别的公司,23年及以后有6家。每家算力量的需求以200%的增速增长,而算力的需求则以~40%的速度下降。由此可以算出AI训练所需要的资金成本,然后就可以根据云计算公司的商业模型转换到对硬件的需求,进而算出对NVDA、TSM等公司的影响。


根据计算结果可见,训练给NVDA带来的收入贡献只有2-3%,对TSM的贡献不到1%,可以说并没有决定性的影响。


注:图中的NVDA、TSM未来年收入是我们的预测。


推理 (Inference)


当AI大模型大规模应用的时候,推理成本就会大幅增加,并且会随着AI推广而快速提高。我们考虑了搜索、聊天、office等AI应用,对推理带来的机会做了粗略的测算。


其中,我们假设微软新必应搜索的渗透率提高到26年的20%,并且AI推理成本在23年快速下降(首次商业化应用,成本的下降空间很大)。尽管OpenAI已经宣布将ChatGPT的定价减小了10倍,我们并不认为这是已经实现的结果,而是快速占领市场的低价策略。


我们预计未来几年AI推理对微软的贡献能达到23%,对NVDA的贡献有7%,而对TSM的贡献只有3%。也就是说,受益于OpenAI最多的是下游应用(微软),其次是GPU等硬件(NVDA),最后才是TSM这种晶圆厂,这也符合半导体行业上游少,下游多的特点。



附录


NVDA GPU进步速度


H100和A100的性能对比:




这里是GPU本身性能的进步,考虑到系统级的优化(NVLink、HBM等等),算力单价的下降幅度会更多。


Sam Altman称, 一个全新的摩尔定律可能很快就会出现,即宇宙中的智能数量每18个月翻一番。


技术路线


框架上:GOOG的tensorflow使用率越来越低(4%),目前主流是Pytorch(62%)。



总结


GPT 4 的模型参数量不会像之前一样提升几百倍,但是训练数据量可能会增加很多;加上算法优化,总体算力的需求预计提高10倍左右;


大模型的能力预计还是会继续提高,可能会有新的能力涌现出来,带来更广泛的应用场景,不过这个问题没法提前研究;


AI对下游的影响最大,到26年对微软的收入贡献增量可能会达到20+%


NVDA:近两年的影响不大,到26年主要由traning阶段贡献2-3%的收入,inference贡献增量7%的收入;


TSM:近期影响不大,到26年也只贡献增量~4%的收入,主要影响的是对HPC的需求和节奏。


版权声明:部分文章推送时未能与原作者取得联系。若涉及版权问题,敬请原作者联系我们。

相关阅读

  • All in AI,你退休前的最后一站

  • 作者:曲凯来源:42章经(ID:myfortytwo)我在42章经之前两篇文章对生成式 AI 的意义做了定性,本文试图回答一些大家关心的问题,并讲讲 AI 在我们眼中的巨大实际落地场景和机会。首先,当
  • 炬光科技 纪要

  • 公众号改了规则,推送不按时间顺序,若不想错过文章,请设置“星标”,顺手点下“再看”,下次更新优先推送消息;欢迎点赞、在看;内容来源于网络,若不便发表,请联系后台删除;文章仅用于研究
  • 云南锗业 纪要

  • 公众号改了规则,推送不按时间顺序,若不想错过文章,请设置“星标”,顺手点下“再看”,下次更新优先推送消息;欢迎点赞、在看;内容来源于网络,若不便发表,请联系后台删除;文章仅用于研究
  • 你的DNA时刻都在断裂,只有睡够了才能修复它

  • 在阅读这段文字的时候,你大脑中的DNA正在断裂。人类大脑神经元在工作、学习时需要快速表达特定基因。为了适应各种变化,细胞不可能在冗长的DNA链上逐个找到需要表达的基因,更高
  • 人类生理上有什么不合理之处

  • 生理指的是生物机体的各种机能,即整个生物体及其各个部分所表现的各种生命活动。我们能正常生活需要身体各个器官、系统合作完成。那么,你是否发现过一些不合理的生理机制呢?知
  • 手摸着手教你用AI自由画涩图。。。

  • “ 大家注意:因为微信最近又改了推送机制,经常有小伙伴说错过了之前被删的文章,比如前阵子冒着风险写的全指南,再比如一些限时福利,错过了就是错过了。所以建议大家加个星标,就能
  • 神农农机集团:做强农技培训,助力乡村振兴

  • 人勤春早培训忙,增技赋能正当时。为积极推进山西省有机旱作农业和农机社会化服务协同发展,满足试点主体快速适应高端、智能农机装备应用的现实需要,3月2日,神农农机集团有机旱作

热门文章

  • “复活”半年后 京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后,杀入公益事业,试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日,“益心一益·守护梦想每一步”2018年四

最新文章

  • 高启强,毁在没有真正读懂《孙子兵法》上

  • 作者:宫玉振 北京大学国家发展研究院BiMBA商学院副院长兼EMBA学术主任来源:正和岛(ID:zhenghedao)1《孙子兵法》狂飙?现实很残酷电视剧《狂飙》掀起了一股学习《孙子兵法》的热潮
  • All in AI,你退休前的最后一站

  • 作者:曲凯来源:42章经(ID:myfortytwo)我在42章经之前两篇文章对生成式 AI 的意义做了定性,本文试图回答一些大家关心的问题,并讲讲 AI 在我们眼中的巨大实际落地场景和机会。首先,当
  • ChatGPT研究及投资猜想

  • 作者:BEDROCK来源:BEDROCK(ID:brpartners)ChatGPT的火爆已经持续了很长一段时间,我们也做了一些研究,试图理解其在投资上的机会,在此分享出来与大家交流。受限于笔者的专业度,难以完
  • 业界首创:可定制的12位 SAR ADC

  • 欢迎关注创芯人才网搜索芯片人才及职位随着传感和数据成为大多数现代电子设备不可或缺的一部分,人们越来越关注模数转换器(ADC) 的性能。为确保准确可靠的数据采集,ADC 是信号