如图1所示, 本文从如下4个层次来介绍反向智能技术.

① 第1层, 训练数据还原引擎对目标模型涉及的训练数据进行推断. 其一, 调研预测某一数据是否存在于训练数据的相关方法; 其二, 调研对训练数据的属性进行推断的技术; 其三, 讨论对训练数据的分布进行推断的技术. 总之, 本节从数据的多个维度出发, 对训练数据的反向推断技术进行了调研, 为下一层的模型反向推演引擎提供基本资料.

② 第2层, 反向推演引擎对目标模型的细节进行推演. 其一, 调研对机器学习模型结构(例如深度神经网络的隐含层数、激活函数等)进行反向推演的技术; 其二, 调研对机器学习模型参数进行反向推演的技术; 其三, 调研对机器学习模型功能进行反向推演的技术; 本节调研了对机器学习模型内部细节进行反向推演的技术, 为下一层的机器学习模型缺陷分析引擎提供技术支撑.

③ 第3层, 模型缺陷分析引擎对目标模型的缺陷进行分析挖掘. 其一, 调研对机器学习模型鲁棒性分析的技术; 其二, 调研对数据不均衡性分析的技术; 其三, 调研对机器学习模型敏感性分析的技术; 本节调研了对机器学习模型缺陷分析的技术, 为下一层的机器学习模型攻击和防御提供技术依据.

④ 第4层, 机器学习模型攻击和防御引擎完成模型的对抗攻击和防御, 实现反向机器学习的最终目标.其一, 调研机器学习模型安全攻击的技术; 其二, 调研机器学习模型防御机制的技术.

图1 反向智能技术体系

(1) 训练数据逆向还原引擎

机器学习模型是数据驱动的智能模型, 其训练数据中往往包含着与用户相关的隐私信息. 从数据层面的角度出发, 训练数据还原技术对反向机器学习具有重要的意义. 训练数据逆向还原引擎存在：成员推断技术、属性推理技术和分布推断技术这3个角度, 针对不同情况设计训练数据逆向还原算法.

(2) 智能模型反向推演引擎

机器学习即服务已经演化成为一种重要的商业模式. 互联网公司通过部署公共可访问的模型调用接口来满足用户对各类机器学习模型的使用需求. 然而, 机器学习模型的机密性要求机器学习系统必须保证未授权用户无法接触到模型的隐私信息. 例如模型架构、模型参数、训练方式等. 这种模型机密性和公共可访问之间的关系激发了智能模型反向推演技术的研究. 此外, 深入分析和研究智能模型反向推演技术也有助于促进其他相关领域的研究. 例如, 借助反演的模型, 可以生成对抗样本使目标模型失效、可以进行成员推理损害目标数据隐私、可以借助模型反演泄露敏感训练数据等. 以训练数据逆向还原的结果为基础, 依据对模型的不同反向推演目标, 将智能模型反向推演引擎分类为模型结构反向推演、模型参数反向推演、模型功能反向推演.

(3) 机器学习模型缺陷分析引擎

在获得机器学习模型训练数据并将对应模型具体结构、参数与功能反向推演成功后, 以黑盒形式部署的模型已一定程度上被“白盒化”. 在此基础之上可进行模型的缺陷分析, 基于还原成功的数据与模型内核挖掘模型内部缺陷, 进一步反向分析模型漏洞. 因此, 可从模型鲁棒性、数据不均衡性、模型敏感性这3个角度对机器学习模型缺陷分析相关工作进行总结归纳.

(4) 机器学习模型防御引擎

模型攻击与防御可以看作前述反向智能体系中的应用. 也就是说, 数据逆向还原、模型反向推演、模型缺陷分析等技术可以用于解决模型攻击和防御问题. 当前, 机器学习模型的攻击和防御已经引起了学术界的极大关注, 并有很多优秀的成果不断被提出来. 以反向智能的应用为落脚点, 对模型的防御技术进行总结, 如图2–图4所示.

图2 防御训练数据的逆向还原

图3 防御模型的逆向反演

图4 防御精馏整体概述

(5) 反向智能研究挑战和方向

反向智能从逆向思维的角度对人工智能模型进行解析, 为进一步理解人工智能提供了有效的途径和方法. 尽管当前反向智能已经取得了一系列瞩目的研究成果, 但目前该研究还处于初级阶段, 仍然存在许多关键问题亟待解决.

●   首先, 训练数据的输入空间决定了模型的搜索空间, 因此, 高维的输入数据使得搜索空间急剧增加, 加剧了数据逆向还原的难度. 训练样本的多样性也给训练数据逆向还原带来了挑战. 尽管基于梯度的方法可以在一定程度上还原真实训练数据, 但是模型的鲁棒性和可扩展性能仍有待提高.

●   其次, 功能的相似性给模型还原带来一定挑战. 例如, ResNet和VGG两个网络具有十分相似的模型功能. 此外, 深度学习网络由任意多个隐含层构成, 删掉某个隐含层整体上不会影响模型的功能. 这些造成了精确还原模型存在一定难度.

●   最后, 模型缺陷隐蔽性强及缺少定量的描述. 模型缺陷常常隐藏在模型结构内部, 且其大小目前难以精确衡量, 缺陷对模型性能的影响程度目前仍难以准确量化.

综上, 现有的反向智能研究还有广阔的发展空间, 总结未来的研究方向如下.

●   结构化逆向数据还原. 在训练数据中, 数据常常包含各种各样的结构信息. 例如在图像中, 单个像素点与周围像素点常常具有一定的相关性. 如此, 像素点集合常常能够构成含有某种语义信息的结构. 在训练数据逆向还原过程中, 可以将如此的结构信息作为先验知识加入到模型中, 进而降低模型的搜索空间, 提高数据的还原精度. 例如: 在模型中增加一些结构化的规则项, 约束还原的数据包含某种结构信息, 使得还原的数据在时空上具有平滑性. 此外, 从模型结构内部挖掘与数据集相关的信息也是一个有意思的研究方向. 例如, 卷积神经网络中的BN层包含了数据集的均值和方差, 因此, 加入如此跟数据集相关的历史信息对于还原训练数据具有十分重要的作用.

●   模型指纹技术. 正如上所述, 不同的神经网络模型常常具有十分相似的功能, 同时增加或者减少一些隐含层并不改变模型的功能, 这给模型结构精确还原带来了很大的挑战. 因此. 对模型的指纹技术进行研究是一个有趣的研究方向. 例如: 根据模型的中间输出或者最终输出, 能够挖掘到与模型结构关联性强的信息, 也就是模型指纹. 通过对这些信息进行分析, 从而确定模型结构. 此外, 利用神经网络架构搜索的方法也可以对目标模型的结构进行还原. 通过利用搜索技术找到与目标模型相同或者相似的结构, 也是值得研究的方向.

●   缺陷识别及测量技术. 不同的训练条件(例如训练数据类别不均衡)会导致训练的模型常常具有某些缺陷, 导致模型的性能受到一定程度影响. 因此, 精确定量的刻画模型缺陷是未来的研究方向. 同时, 模型缺陷对于模型性能影响很大, 不同的模型缺陷往往会对模型产生不同的影响. 建立模型缺陷和模型性能之间的关系, 对于人工智能的算法对抗起着关键的作用. 因此, 如何精确衡量不同缺陷对于模型性能的影响, 也是未来的关键研究方向之一.

●   反向智能系统. 比起人工智能的常规任务, 反向智能的任务相对来说更加困难, 需要耗费更大的算力资源, 因此需要有更加高效的, 甚至全新的系统架构对于反向智能任务进行实现. 例如在反向智能中, 需要常常收集目标模型输出的结果作为状态对模型进行分析. 当需要的数据量较大时, 网络带宽将会是一个较大的瓶颈. 因此, 解决高带宽等诸如此类的需求, 会是在反向智能系统方面的未来研究方向.

(6) 结束语

随着人工智能安全引起社会的广泛关注, 反向智能成为了一个新生而又有前景的研究领域, 能够为人工智能安全提供一套从底向上的理论体系保障. 然而到目前为止, 反向智能的研究还处于十分初级阶段, 许多关键的科学问题依然没有解决. 为了理清人工智能安全需要的理论基础, 总结现有研究成果的优势与不足, 明确未来的研究方向, 本文从逆向思维的角度出发, 提出了反向智能的概念, 并从数据、模型、应用等方面系统地探讨了反向智能的关键科学问题, 回顾了大量相关研究成果并进行了科学的分类和总结. 最后, 讨论了反向智能挑战和未来发展方向.