日期：
2023-03-17 08:59:43
来源：刘润收集 编辑：刘润
昨天，一觉起来，美国的OpenAI正式官宣了大模型GPT- 4 。 距离上次基于GPT- 3.5的ChatGPT的推出，才刚刚过去105天。 好像刚感叹完GPT- 3.5通过谷歌程序员面试，GPT- 4就已经把美国的模拟律师资格考试都考到前10%了。 转战到考场，也能把美国高考题（SAT考试），做出可以进哈佛的成绩。 但是，AI一项一项，都做到了，而且是以超乎人们想象的水平做到。 但是在寻找机会之前，建议你，一定沉下心，再看一看。 看懂这个席卷了我们一次又一次的GPT，到底是什么？
GPT-4
已知，GPT- 4，应该比GPT- 3.5厉害。但是，到底厉害在哪儿？ 1，GPT- 4的机器学习参数，将从1750亿个，增加到100万亿个。能力差距，堪比一个月薪1750元 的人，和一个月薪100万元 的人。 2，GPT- 4将支持多模态，也就是文字、图片、音频，甚至视频等。能力差距，堪比一个聋哑且盲 的人，和一个耳聪目明 的人。 而openAI的老板Sam对此的回应是：一派胡言(complete bullshit)。 实际发布的结果是：GPT- 4的能力，看起来确实提升了。 1，具体学习参数，没公布。OpenAI只给这次迭代定了个性： “GPT- 4比GPT- 3.5更可靠、更有创造力，并且能够处理更加细致复杂的指令”。 2，支持多模态，但是就多了一个图片，并且只支持你输入图片，轮到GPT输出时，依然只打字回你。 进步的步子迈多大，不明确，但大方向，却是大致准确的。 要真正理解GPT，这2个大方向，建议你真的看懂：大模型，多模态。
多模态
想象一下，同事忽然发你一句微信消息：“嘘，王总 在你后面。” 你收到后马上回头，看到王总 ，打了一声招呼：“王总 。” 很了不起。短短几秒钟，你一口气处理了文字 、声音 、图像 等多种信息数据。 而这些种类不同的信息数据，比如你在消息里认出的文字，回头看到的一个图像，嘴里说出的一段声音，有时还指向同一个信息：“王总”。 对你来说，在多模态中识别和对应出同一个“王总”，很简单，好像没什么了不起。 但对GPT来说，却是一个远大的理想：跨越多个模态，处理更复杂的任务。 升级前的ChatGPT，只能摸索着，用文字和你交流。 但升级为GPT- 4后，ChatGPT从此有了“眼睛”。 你发它一张图片，它能“看到”，还能“看懂”，并以此为基础，帮你处理更多任务。比如，帮你P掉“王总”。 这，就是多模态之于GPT- 4的意义：进化出了眼睛。
大模型
另一个被频繁提起的进步，是GPT- 4的基本功——语言能力。 短短105天，GPT的语言模型，又得到了新一轮的进化。 一方面，“单词最大输出限制”，提高到了 25000 个单词。 原来，给它处理一篇文章，稍微字多点都不一定能发完整，现在，很多人甚至直接丢网页、PDF给它处理。 并且，在理解和回答问题，尤其是比较复杂的问题时，GPT- 4也显得更聪明了。 简单来说，就 是GPT-4的 “大脑”变得更大，“神经元”变得更多了。 2020年的GPT- 3，乃至后来基于GPT-3.5的ChatGPT，参数量是1750亿。 昨天发布的GPT- 4，虽然官方没有公布具体参数量，但也没人会小看它的参数量。 GPT一出手，就是以亿为单位的参数量。而且每年还在疯狂翻倍。 大量的参数，就像大量的神经元，这往往也意味着，更大概率能“猜中你想要的答案”。 想想这种量级的参数量，再看看GPT- 4那些“碾压”人类的考试成绩单，似乎也能心理平衡了。 虽然，还是不太好接受：难道，要聪明到可以碾压90%的人类，只需要参数量够“大”就行了吗？
训练
你有没有想过，当你打开ChatGPT的对话框，打出一个问题时，屏幕那边的ChatGPT，是怎么做这道题的？ 比如你在对话框里问: “床前明月光，下一句是什么？” 作为一个人工智能，而不是人，ChatGPT从一开始，答题的路子，可能就和你完全不一样： 它根本不回忆，而是转头就去网上抓数据。看看都有哪些地方出现了“床前明月光”。 再用它那同时“考虑”上亿个参数的“脑子”算一件事： 排在这句之后的字，都有哪些？根据上下文，这些字是正确答案的概率都有多高？ 然后转头就把算出来概率最高的文字，选出来，在对话框里回复你。 会。如果，它从网上找的数据样本，刚好是一些错误很多的盗版书，最后通过计算，回复你的是“洒了一碗汤”，怎么办？ 然后，再做过一些练习题。做完后对答案，有人告诉你对还是错。 几亿个参数和相应的权重值都会根据这种分数反馈，再调整，再调整。
成本
当一个需要同时“考虑”上千亿，甚至更多参数的“大脑”运转起来时，会需要哪些成本？ 有数据显示，训练一次以GPT- 3.5为模型的ChatGPT模型的成本，都要460万到500万美元。 此外，要入局GPT这种级别的产品，“入场券”也非常昂贵。 比如要达到相应的算力，光更早的GPT- 3在训练中，都需要用到1万枚英伟达GPU芯片。 以目前比较主流的英伟达A100芯片为例，一颗价格约8万元。 每颗8万元，1万颗，一开局光是芯片的花费，都要8亿元以上。 如果看到这还有勇气考虑，不妨参考ChatGPT的公司OpenAI。 OpenAI在之前基于GPT- 3.5的ChatGPT上，就至少付了2大笔钱： 交给“机房”的钱，比如算力和数据，就要近20亿元。 交给“人”的钱，比如科学家、工程师的工资，也要近5亿人民币。 而新出来的GPT- 4, 作为“更聪明”的“大脑”，算力成本可能又是一个新的台阶。
最后的话
比如，陆续投资了ChatGPT近900亿人民币的微软。 微软的必应搜索，在目前的全球搜索引擎市场中，份额占比为个位数，排在它前面的，是份额占比超90%的Google。 但是，在搭载了ChatGPT后，必应在它的搜索框里，昂首挺胸地设置了这么一句话： 新版必应搜索，已经在更早，就用上了GPT- 4，过去五周中很多人体验的必应就是GPT- 4加强过的。 2023年，确定性在哪里？3月20日，下周一晚八点
点击下方按钮预约， 分享一些我的感悟
品牌推广 | 培训合作 | 商业咨询 | 润米商城 | 转载开白
请在公众号后台回复 合作