多模态发展经历五个阶段，包括行为时代、计算时代、交互时代、深度学习时代和大模型时代。多模态交互、感知、内容分发等应用已涉及多个方面，包括多模态检索、虚拟人、智能人、智能座舱、语音助手等。扩散模型等和多模态模型的结合催生了文生图任务的火爆。各式多模态场景下的应用持续推动多模态模型的演进。

多模态预训练大模型核心要素包括：对图文编码、设置学习目标、模型结构、模态融合等。多模态预训练模型首先要将图文进行编码，文字端有成熟的BERT等模型进行处理，图像特征基于Patch提取更加高效。学习目标是多模态预训练大模型重要一环，包括图文对比、编码语言模型、图文匹配等，模型可以使用不同的学习目标产生不同学习效果。多模态预训练大模型结果主要分为encoder-only和encoder-decoder，常见的是encoder-only模型，用于图文检索等任务，而后者适用于生成任务。根据模态融合方式不同，又可以分为fusion encoder和dual encoder模型，前者通过混合方式对模态进行处理，能够学习到不同模态之间的隐藏的知识，适合推理，后者分别对模态进行处理，适合检索等任务。

多模态预训练大模型未来将更加统一。虽然BEiT-3等统一模型将各种任务统一起来，但实际上仅仅是将几个任务的模块累加起来得到的，并非真正意义上的“统一”。未来，以微软发布的KOSMOS-1和谷歌发布的PaLM-E，将不同模态统一编码为文本模式或者使用通才模型统一下游任务使多模态预训练大模型走向统一。

多模态大模型正处于蓬勃发展阶段，随着底座模型的推出，上层应用预计将会涌现，催生巨大商业市场，我们建议关注，尤其关注当前多模态大模型的推出情况。

多模态模型技术发展不及预期：多模态属于先进AI算法，若后续算法更新迭代效果不及预期，则会影响多模态演进及拓展，进而会影响其商业化落地等；

算法隐私问题：多模态预训练大模型在进行预训练过程中，使用了大量数据，很多都是从网络上直接获得的图文数据对，其中会涉及相关隐私问题；

算力基础设施支持不及预期：美国制裁中国高科技企业，对中国形成芯片、算力的封锁，大语言模型训练过程中需要大量算力资源，需要关注中美关系带来的中国算力的压力；

数据数量与数据质量不及预期：大型语言模型需要大量的高质量数据进行训练，若数据数量和质量存在短板，则会影响大语言模型效果；

伦理冲突风险：多模态大模型技术将进一步推动人工智能迈向通用型人工智能，人工智能进一步智能化将产生人工智能欺骗、人工智能上瘾、人与人工智能之间的关系等一些列伦理问题。