当产业链还在为大模型如何落地苦恼时,手机厂商早已抢占了先机。大模型的战火烧到了手机厂商。
11 月 2 日,vivo 发布十亿、百亿、千亿级别三个参数量级的五个大模型矩阵;上个月,小米也将搭载大模型能力后的语音助手小爱同学,整体嵌套到了澎湃 OS 上;在更早的 8 月份,华为鸿蒙 OS 4 也宣布接入大模型。
手机厂商对于大模型的投入不低。vivo 副总裁周围透露,vivo 的大模型经过了 6 年时间打磨,累计投入超过 200 亿元、整个团队人数超过 1000 人。小米这边尽管没有披露具体的投入金额,但在一次发布会上,雷军也激情表示 " 小米全面拥抱大模型 ",并且把 AI 列为了未来最重要的几大技术方向之一。
OPPO 和荣耀,尽管还没有大模型产品的落地,但在产品发布之前也时不时透露最新进展,生怕掉队。
不同于 vivo 走纯自研的路线,OPPO 更倾向于与行业力量协作。不久前,OPPO 宣布将和联发科共建轻量化大模型端侧部署方案,将基于 AndesGPT 大模型,重新打造全新的小布语音。
荣耀 CEO 赵明在不久前的高通骁龙峰会上也宣布,荣耀 Magic6 系列将搭载 AI 端侧大模型,并首次向外界展示了荣耀手机端侧 AI 大模型的部分功能。
那么,当大模型落地到薄薄的手机上,对硬件层面又提出了什么更高的要求?手机厂商们将如何借用大模型的能力提升用户体验?
手机要加大模型,不容易
据 观察,vivo、荣耀、小米的大模型基本上都从 6B、7B(60 亿、70 亿)的数据量开始做起,逐渐往更大的大数据量拓展,其中,vivo 可能是手机厂商中追赶速度最快的,其称已经在手机端跑通了 13B(130 亿)大模型。
周围表示,据内部测试,7B 的数据量足够做好简单的文档摘要和拆解的功能,但要真正实现 " 智能涌现 ",7B 数据量的大模型任务拆解能力还有提升空间,13B 可能是更好的选择。
举个例子,如果对手机提出「买一张深圳到北京的机票」的要求,这个简单的指令背后,实则包含着多个任务拆解,比如:发出指令的用户的经济情况?如何想坐几点的航班?偏好的航司等等。" 对于复杂的任务拆解,1B 不够用,7B 勉强胜任,13B 刚刚好 "。
目前,手机厂商大模型在计算上,基本采用两种路径,荣耀、小米是采用端侧计算的模式,vivo 则是端侧和云端两条路径并行。
两种模式各有优缺点。
云端缺点是太贵——有行业人士测算,一次大模型云端计算的最低成本是一分二人民币,若 3 亿用户每天用十次,意味着手机厂商一年要凭空多出一百多亿的支出。
而相比之下,端侧计算成本更可控,并且由于数据不用上云,安全隐私性更强,并且计算效率更高。不过,端侧计算却对手机硬件提出了更高的要求。一般而言,大模型肯定是越大越好,这代表着推理结果会越精确,但是,手机的内存、核心处理器的计算能力却是有限的。
1B 的数据在手机上会占用 1 个 G 的内存,7B 则会占用 4G 内存,而当数据量达到 13B,内存占用达到 7G ——如今大部分高端手机的闪存是 12G 或 16G。这代表着,一个好用的大模型要在手机端边落地,可能占掉一半以上的内存,或影响手机的流畅使用。
而尴尬的是,尽管 2023 年以来,手机厂商已经将本地存储容量卷到了 1TB 以上、还尝试内存融合 / 扩展技术,将本地内存转化为运存,但这对于现阶段的大模型来说并没有太大的帮助。
这是因为,大模型的数据往往是以成片成片得存在,在进行推理时,手机并不知道要用到哪一片,没办法将数据切割再放到本地存储中存放。
大模型对手机的挑战远远不止内存。一位行业人士称,大模型计算同样对芯片计算能力提出了更高的要求。当前,行业内可供采用的芯片不多,只有联发科天玑 9300 和高通骁龙 8gen 3 芯片能支持大模型的端侧落地。
不过,芯片厂商们也敏锐识别了手机厂商的诉求。比如,前段时间高通就在骁龙 8 gen 3 上提升了 AI 计算能力,不仅能支持运行 100 亿参数的模型,还针对 70 亿参数 LLM 每秒能够生成 20 个 token,这意味着,各类虚拟助手、GPT 聊天机器人未来都能在手机等终端运行。
大模型对于手机内存和芯片的限定要求,也注定了,在短期内这可能只会是高端手机的专属体验。
手机大模型,未来的助手
基本所有手机厂商,都不约而同将他们的大模型技术,落地到了语音助手这个产品上。在过去,每一家手机厂商都布局有自己的语音助手,比如 OPPO 的小布、华为的小艺、vivo 的小 V。
只是,这些语音助手相当鸡肋,难以理解用户的需求,能做的事情也很有限,难以成为用户重度工作 / 生活时的核心工具。
不过,在和大模型的底层功能打通后,意味着语音助手的理解能力慢慢从幼儿园向高中生演进。不难看出,所有手机厂商对于全新语音助手的设想都是,让其成为用户的私人助理。
" 大模型的知识超出了个体的知识,它可以像一个人一样理解你的语言,每天观察你、学习你、了解你的习惯,给你最好的帮助,完成你的任务 ",OPPO 首席产品官刘作虎表示。
从各家的公布的信息来看,手机厂商的大模型基本上都瞄准了语言理解、文本创作、自然对话、角色扮演等等功能。对于用户来说,他们让手机上的大模型助手帮他们找到特定的图片、写特定的文案、帮忙梳理文章重点大纲等等。
不过,大模型语音助手要真正成为一个「智能助手」,除了持续堆人堆钱堆算力堆数据之外,一个更大的阻碍在于,如何与上层的软件应用建立信任,让其上的数据和功能可以被手机厂商所调用。
还是以「让手机助手帮忙买机票」为例,手机至少要完成指令,至少需要调用到这几个方面的权限——支付宝或微信的支付信息、用户的日程信息、用户过往的航班信息等等。一位行业人士表示,过往用户在浏览的过程中所产生的流量和数据归应用方所有,应用方并不愿意拱手让出。
未来,大模型未来是否真正能在手机端落地,还取决于手机厂商如何在手机有限的空间内更大程度发挥出大模型的作用、以及如何将表层的大模型与手机背后那些应用做更深入的打通。
而在手机市场创新瓶颈,各家又都卯足劲冲决战高端市场的现在,这些苦功夫是值得的,手机厂商们也都愿意花钱一试。
(来源:36氪)