作者：薛从豪：中科闻歌市场品牌部总监；王一刚：中科闻歌副总裁；彭佳柱：中科闻歌媒宣事业部总监；陈思含：中科闻歌政企事业部总经理；魏坚：福建省福清市政协委员服务中心干部

来源：《全媒体探索》2024年6月号

摘　要：当前，以Sora为代表的多模态大模型技术正逐步展现其在传媒产业的潜能——显著提升内容创造效率与创意水平、缩短创作周期、优化内容分发与个性化推荐的同时，还提高了内容监测的精准度。然而，多模态大模型技术在数据积累与满足行业特定需求方面仍存在不足，且引入了伦理、安全及隐私保护的新挑战。因此，开发自主知识产权的多模态大模型，专门针对文化内容创作、生产与安全审核，推动平台化应用，变得至关重要。

关键词：多模态大模型；传媒产业；文化创作；内容安全；中科闻歌

近年来，随着海量数据的累积、深度学习算法的飞跃发展以及计算能力的显著提升，人工智能正以前所未有的速度实现商业化与规模化应用。这一浪潮中，多模态人工智能技术，尤以Sora为代表的先进模型，正引领着传媒行业的革新方向。从纯文本到图文并茂，再到集视听于一体的多媒体创作，Sora等多模态AI技术正跨越单一模态的界限，融合视觉、语言和声音的多元信息，实现着跨模态的深度理解和智能生成。

在媒体领域，多模态大模型技术已经展现出巨大潜能。运用该技术不仅可以极大加速内容创作过程、提升创意的丰富性和表现力，还可以显著改善用户体验，促进更深层次的用户参与和互动。同时，通过智能分析与个性化推荐，内容分发的精准度也得到了显著提高，确保了信息传播的高效与针对性。

然而，伴随技术进步而来的是对伦理标准、内容安全与隐私保护的新挑战。构建健全的伦理规范体系、加强数据安全措施、确保用户隐私得到有效保护，是推动多模态大模型技术在传媒行业健康、可持续发展的基石。

多模态大模型在传媒产业的赋能效应

(一）多模态大模型技术发展概况

近年来，以GPT系列为代表的大型语言模型展示了在多种自然语言处理任务中的卓越性能。如今，这类模型融合多模态信息，如图像、声音甚至触觉等多源数据，构建起更加全面、智能的感知与响应系统，并以其卓越的跨领域适用性获得关注。多模态大模型技术不仅在自然语言处理、计算机视觉、音频分析等专业领域大放异彩，更在文本解析、图像语义理解、视频内容识别、音频情绪检测与语音转文字等任务中展现非凡实力。这一技术的核心优势在于其自监督学习能力。通过大规模数据的预训练，依托多模态大模型技术，用户可以构建起“一专多能”的智能模型，即使在数据稀缺的情景下，也能灵活实现高效的小样本学习、精准的自然语言问答以及跨模态信息的生成与转换，在复杂场景下拥有极高的适应性和学习效率。

然而，多模态大模型技术并非完美无瑕。高昂的计算资源消耗与成本投入，以及在认知灵活性和深度理解上与人类智慧尚存的差距，构成了其发展的两大瓶颈。

尽管如此，鉴于其在解决复杂问题和促进人工智能技术进步方面的巨大潜力，多模态大模型依然被视为科研探索的前沿阵地。未来，随着算法优化、硬件升级与理论创新的持续推进，预计多模态大模型将在传媒等领域实现突破性进展，成为人工智能技术应用的主力军。

(二)多模态大模型赋能传媒产业

当今，传媒行业面临着内容生产速度与质量的挑战。一批先锋媒体机构、出版巨头与科技创新企业已率先启航。他们目标明确：以用户为核心，驱动传媒全流程革新，追求服务的精准度、时效性、经济性和效能最大化。

在这一进程中，他们恪守着一套严谨的AI伦理规范，其核心内涵包括以下内容。第一，责任AI。确立明确的道德指南针，确保人工智能应用服务于公共利益，避免偏见与歧视。第二，内容精准度。不遗余力地维护信息的真实性与可靠性，防止错误信息的传播。第三，版权与隐私守护。尊重并保护创作者的知识产权与用户的个人信息安全，构筑坚固的隐私防线。第四，技术伙伴甄选。精心挑选信誉卓著的AI技术供应商，确保技术解决方案的透明度与安全性。第五，数据责任。承诺用户数据仅用于服务提供，坚决避免将其作为训练材料，且在任务完成后即刻销毁，不留痕迹。

伴随海量多模态数据的汇集与深度学习算法的精进，多模态大模型正以前所未有的力量重塑着传媒生态。它不仅在内容理解的深度与广度上达到了新高度，更在创意生成领域展现出惊人的潜力。这一变革显著提升了内容创作的效率与质量，让每一位受众都能享受到更为精准、贴切的信息服务，开启了个性化传播的新纪元，同时也标志着传媒业步入了一个以智能、创新与用户为中心的全新时代。

多模态大模型在传媒产业的落地应用

(一)多模态大模型赋能传媒产业的主要挑战

1.数据感知：如何解锁媒体大数据潜能

传媒行业的数据繁杂且浩瀚，涵盖了实时新闻更新、传播统计、用户行为追踪等方面。这些数据不仅是洞察热点、评估风险与指导选题的底层基础，也是推动传媒进化的核心动力。然而，如何从这海量的信息中提炼出有价值的知识，对传媒机构构成了严峻的挑战。传统方法往往因效率低下、难以处理非结构化数据而力不从心，亟须借助先进的数据分析技术来挖掘数据价值，实现从数据到洞察的飞跃。

2.语义认知：如何驾驭多模态内容的复杂性

在传媒产业，内容的多样性和语境的微妙变化，对语义理解提出了极高要求。多模态内容的融合、领域知识的深度与社会动态的敏感性交织在一起，使得内容理解变得异常复杂。传统的基于规则或浅层统计的方法难以应对，亟须发展深度学习与跨模态融合技术，以实现对文本、图像、音频等多元信息的精准解读。这要求算法不仅能理解表面信息，更要洞察背后的隐含意义，确保在瞬息万变的媒体环境中能穿透事件本质，为决策提供坚实依据。

3.生产决策：如何激发内容创作的无限可能

在内容生产过程中，传统依赖人力的创作模式越来越难以满足现代媒体快节奏、高质量的要求。特别是在视频内容制作上，面临着从策划到后期编辑的繁琐流程，以及版权合规的严格标准。如何在保证创意独特性的同时提高生产效率、避免侵权风险，成为亟待解决的难题。

4.安全监管：如何守护媒体内容的纯净天空

媒体作为社会信息流通的枢纽，肩负着传播正能量、维护社会稳定的重要使命。如何在海量内容中准确识别违规信息、预防不良信息扩散，成为传媒机构的一项艰巨任务。为此，需要构建智能化的审核系统，结合深度学习、自然语言处理等先进技术，实现对图文、音频、视频等多模态内容的全面监控。同时，需要强化数据安全防护，确保用户隐私不受侵犯，建立公众信任。在大模型设计上，不仅要追求高精度，还要注重模型的可解释性，让每一次决策都有迹可循，以增强监管的透明度与公信力。

(二)多模态大模型赋能传媒产业的具体应用方向

在实际落地过程中，多模态大模型技术通过选题决策、智能分析、数字资产管理、自动化生成与精细化审核等功能，为传媒机构带来了前所未有的效率提升与质量保障，引领着媒体行业迈向更加智能化、高效化的未来。

1.选题决策：智慧引擎驱动新闻策划

多模态大模型技术能从海量数据中挖掘出潜在的新闻线索、社会趋势与行业动态，有效提升选题决策的速度与准确性。以中科闻歌的红旗智媒操作系统为例，其提供基于最新热点、突发事件的相关报道主题聚类分析和多稿件内容的阅读理解，提取稿件的主流媒体观点、传播量最高的报道内容摘要分析，以推荐最新报道方向。

2.多模态内容生成：AI赋能创意表达

多模态大模型技术极大地丰富了媒体内容的创作方式。它不仅能够为采编人员提供一键新闻撰写、标题生成、文章风格变换等AI辅助写作功能，还能即时生成与文本内容相匹配的高质量AI配图，极大地节省了创作时间，提高了内容生产的灵活性与效率。如近年来兴起的“弹幕文化”，就可运用该项技术，生成可控评论，引导用户深度参与互动。

3.多模态智能资产管理：重构数字资产价值

多模态大模型技术提供了全方位的数字资产管理解决方案。一方面，它能够进行智能分类与信息抽取，有效沉淀、管理组织的数字资产，提升资产管理的系统性和效率。另一方面，通过摘要生成、观点提炼等高级阅读理解功能，它极大提高了数字资产的利用价值与工作效率，无论是撰写报告、方案还是公文，都能轻松获取所需信息，实现知识的快速转化与应用。如腾讯云的混元大模型，能够对海量的数字资产进行智能分类、信息抽取和标签化处理，提高了资产的管理和利用效率。

4.跨模态内容高效检索：精准定位创意素材

依托多模态大模型的内容理解和分析能力，传媒机构可以基于数字资产管理系统实现对视频、图片等多媒体资料的深度解析，自动识别并标记关键信息，如人物、地点、时间等，形成结构化的标签体系，便于用户通过关键词快速检索相关素材，提高了信息检索的效率与准确性。如在《生物多样性公约》第十五次缔约方大会上，云南通过收集整理全省所有与生物多样性保护有关的资料素材，形成新闻宣传线上资源库，为媒体提供全面和权威的采访素材。

5.全链条内容传播分析：洞悉传播奥秘

多模态大模型技术，可帮助传播运营人员精确掌握内容传播路径、受众反馈与市场趋势，为绩效考评制定提供科学依据，实现精准传播与有效互动。如新华社图片视频稿件采用统计与影响力分析系统，立足新华社监测评估多媒体类型信息传播效果的业务需求，以稿件数据为基础，兼备特征提取与图片视频比对两套算法，提供数字赋能、创新驱动媒体智能化的解决方案。

6.多模态内容安全审核：保障内容纯净

在内容审核环节，多模态自动化审核大幅降低了人工审查的工作量，它能够对暴力、恐怖、色情、意识形态偏差及深度伪造等敏感内容进行高效识别与过滤，有效保障了媒体内容的安全合规，为媒体机构构建了坚固的内容安全防线。

多模态大模型技术赋能国内外机构的应用案例

(一)国外传媒产业的技术创新路径

在传媒行业，多家先锋企业采纳大模型技术，引领着行业的数字化转型。

在美国，Palantir的Apollo Cloud2.0引擎，面向多模数据整合结构化、半结构化以及非结构化数据信息，为各种领域提供服务和决策支持。彭博社开发了Bloomberg Beta项目，旨在利用自然语言处理（NLP）和机器学习算法，并集成多模态大模型，实现财务新闻的自动化生成。而《华尔街日报》利用多模态技术进行深度数据分析，为读者提供更详尽的背景信息和数据可视化，增强报道的深度和吸引力。Veristage公司则致力于运用先进的大语言模型，如ChatGPT和Claude，为出版商提供包括内容分析、资产生成、销售材料编制等服务，旨在提升出版效率和效益。Izzard Ink公司为自出版作家提供一站式服务，涵盖自动编辑、读者数据分析和定制化营销策略，构建起一个充满活力的文学社区。在安全性提升上，美联社使用多模态大模型进行事实核查，特别是在处理社交媒体上的信息时，这些模型能交叉验证不同来源的文字、图像和视频信息，帮助记者快速鉴别真伪，防止假新闻的传播。

而在德国，Inkitt出版公司自2013年成立以来，凭借霍兹布林克出版集团和企鹅兰登前CEO迈克尔·林盾(Michael Lynton)的雄厚资本支持，迅速成长为欧洲出版业的一颗新星。Inkitt通过其独创的算法，可以精准预测书籍的商业潜力。其在线平台Galatea汇聚了庞大用户群体，成功培养出多位畅销书作家。与此同时，Inkitt进一步了推出GalateaTV移动平台，集成了AI生成的爱情小说短视频、个性化音频选择、图画小说创作工具和内容摘要服务。下一步，Inkitt计划运用大语言模型创作定制化小说，结合DeepL技术进行翻译，以满足全球读者对有声读物、视频和游戏的多样化需求。

源自英国的路透社，依托多模态识别技术，迅速识别并标记重要事件的关键人物、地点和事件，加速新闻制作过程，并保证图像和视频内容的准确性和相关性。Shimmr.ai公司则专注于AI驱动的图书营销。通过自然语言处理技术，Shimmr.ai深度解析作品的叙事结构、情感脉络，精准匹配潜在读者的兴趣点，实现个性化推荐。BBC利用多语言的内容生成和翻译工作，确保其全球受众能够及时接收到各种语言版本的新闻。

(二)以中科闻歌为例，国内技术型企业赋能传媒行业探索

在国内媒体行业智能化升级的浪潮中，中国科学院自动化研究所旗下企业中科闻歌，以其前瞻性的技术创新与深厚的科研底蕴，推动国内传媒产业向着更加智能化、高效化和安全化的方向迈进。中科闻歌通过整合内容自动生成、认知理解、非结构化大数据管理和知识融合智能决策四大核心技术，构建了一套从底层通用大模型到行业专属模型的多层次架构，形成了覆盖选题挖掘、智能创作、辅助生产、深度分析和视频创作的全方位智能服务体系。

1.多模态智能识别：构筑内容理解基石

中科闻歌打造了涵盖14大类、超过2万细分类别的庞大标签体系，总计拥有200万个标签，实现了对多模态内容的精准标签抽取。该体系的基础识别能力包括人物、语音、文字以及各类场景的识别，为后续的智能检索、内容安全风险控制和领域知识积累提供了坚实的技术支撑。

2.智能选题：洞察热点，引领报道风向

依托日新增6亿条数据的强大信息库，中科闻歌为新闻策划部门提供了基于最新热点事件的主题聚类分析与多稿件内容的理解服务。通过对主流媒体观点、高传播量报道内容的摘要分析，系统能够智能推荐报道方向，显著提升新闻策划人员的决策效率与准确性，确保报道紧跟时代脉搏。

3.内容创作：提速创新，重塑新闻生产流程

在重大活动报道方面，中科闻歌研发的网上新闻中心平台，集现场素材快速回传、协同编辑、AI审核和智能资产管理于一体。运用媒体大模型技术，平台能迅速整理现场采集的多媒体素材，自动提取关键信息，遵循新闻写作规范自动生成报道，极大缩短了首发新闻的制作周期。此外，对于系列报道或专题，大模型可进行辅助编辑，从多篇稿件中提炼核心要点，自动生成总结性报道，显著提升工作效率。

4.多模态内容生成：革新视频创作模式

中科闻歌推出了十余款专为新媒体短视频生产设计的AI工具(如图1)，与融媒体智能平台深度融合，提供视频智能剪辑、字幕自动生成等功能。更引人注目的是全自动数字人视频生产平台。它集成了多源数据处理、大模型剧本创作、AI绘画与虚拟数字人技术，配合以数据新闻可视化组件，让视频创作如同制作PPT般便捷，开创了视频内容创作的新纪元。

5.智能资产管理：激活数据潜能

在智能媒资管理领域，中科闻歌的技术被广泛应用于永州等地的智能媒资平台，实现了智能编目、跨模态检索和多模态识别等关键功能(如图2)，有效挖掘与激活了海量媒体素材的价值。多模态预训练模型与向量搜索引擎的结合，使平台在可以支持复杂语义检索的同时构建了媒体领域的专业知识图谱，涵盖了政要、敏感人物、海外阶层分析等多个维度，为理论研究与实际工作提供了坚实的资料支持。

6.全链条传播分析：量化影响力，洞察趋势

中科闻歌建立了数据驱动的全媒体传播影响力监测体系，能够从发布、运营、任务、优秀作品等角度，对内容传播效果进行科学评估，并依据指标自动评分，减轻考核工作量，量化内容生产的“功劳”与“苦劳”(如图3)。

7.内容审核：守护信息安全，保障合规

中科闻歌的内容风控系统经过海量媒体数据的训练，具备了68个维度、125种类型的识别能力，能够对文本、图片、音频、视频等多模态内容进行暴恐、色情、政治敏感、劣迹艺人等不良信息的全面审核。

多模态大模型技术对传媒行业商业模式的影响及未来展望

(一)多模态大模型技术在商业模式上的创新

多模态大模型技术正成为传媒行业盈利模式创新的关键驱动力，通过智能推荐、个性化营销、付费内容开发、跨界合作与沉浸式体验创新等内容，传媒企业得以构建多元化收入体系，适应数字化时代的市场需求变化，从而实现可持续发展。

1.个性化营销：广告策略的智慧升级

消费者洞察。多模态数据分析可揭示用户需求，助力传媒定制化广告策略，提升品牌忠诚度、市场竞争力。

定制化内容推送。通过社交媒体分析，识别用户艺术或文化偏好，精准推荐展览或活动，深化用户连接。同时，个性化推荐系统可以提升广告点击率与转化率，增加广告收入。

2.付费内容开发：增值服务的探索

专家解读与定制资讯。开发高价值付费内容，满足用户对深层次信息的需求，拓宽收入来源。

跨界合作与商业模式创新。开发数据融合创新产品，结合电商、旅游数据，推出消费趋势分析、智能旅行指南等服务，丰富内容生态，探索新盈利模式。

(二)传媒产业利用多模态大模型的未来展望

在全球化的竞争环境中，掌握核心技术和自主知识产权的多模态大模型对于传媒行业的长远发展至关重要。通过自主研发，传媒企业不仅能降低对外部技术的依赖，还能根据自身业务需求灵活调整模型功能，提升内容生产效率与质量。

面对未来的机遇与挑战，传媒企业应积极拥抱这一技术，加强自主知识产权的研发，深化内容创作与生产的智能化转型，强化内容安全审核能力，构建起一个集内容创作、生产、分发与互动于一体的综合生态系统，共同开创传媒行业的新篇章。

《全媒体探索》杂志是由大众报业集团主管主办的新闻传播类专业期刊，国内统一连续出版物号CN 37-1526/G2，国际标准连续出版物号ISSN 2097-048X。2021年8月创刊。

办刊宗旨：聚焦媒体融合前沿，交流实践探索经验，加强新闻舆论引导，打造研究沟通平台，助力媒体全面深度融合发展。

主要栏目：特约专稿、一线聚焦、融合转型、传播视点、舆情观察、新闻实务、视听传播、县级融媒、个案解析、智能应用、传媒法治、全媒人才、经营管理等。

投稿邮箱：qmttsbj@126.com

联系电话：0531—85196441