迁移学习还有哪些应用场景？

从模拟中学习

我认为迁移学习在将来会更多地应用于从模拟中学习，这也让我感到很兴奋。对于许多依靠硬件进行交互的机器学习应用程序来说，从现实世界中收集数据和训练模型不是昂贵、耗时，就是太危险。因此，以其他风险较小的方式收集数据是比较明智的。

在这方面，模拟是首选工具，并已在实践中被用于许多先进的机器学习系统。从模拟中学习，将获得的知识应用到实践是迁移学习的其中一个应用场景。因为源域和目标域之间的特征空间是相同的（通常两者都依赖于像素），但是模拟和现实场景中的边界概率分布不同，尽管随着模拟更接近现实，这种差异逐渐减小，但模拟场景中的物体和来源看起来仍然不同。同时，由于难以完全模拟现实世界中的所有反应，模拟与现实世界中的条件概率分布也不尽相同，例如，物理引擎不能完全模仿现实世界中物体的复杂交互。

图 1: 谷歌无人驾驶汽车（来源: 谷歌研究院博客）

然而，从模拟中学习也有好处，即可以更轻松地收集数据，这是因为模拟学习可以并行多个学习案例，在轻松绑定和分析物体的同时进行快速训练。因此，对于需要与现实世界进行交互的大型机器学习项目，它可以作为首选，比如自动驾驶汽车（参见图 1）。据谷歌的自动驾驶汽车技术负责人 Zhaoyin Jia 介绍，“如果你真的想做一辆自动驾驶汽车，模拟是必不可少的”。Udacity 已经开源了其用于训练自动驾驶汽车工程师的纳米级模拟器，如图 7 所示。OpenAI 的 Universe 也有可能会使用 GTA5 或其他视频游戏来训练自动驾驶汽车。

图 2：Udacity 的自动驾驶汽车模拟器（来源：TechCrunch）

另一个模拟学习将发生关键作用的应用领域是机器人技术：在一个真正的机器人上训练模型速度太慢且成本很高。从模拟中学习，并将知识迁移到实践中的机器人可以缓解这个问题，并且最近获得了很大的关注 。图 3 是在现实世界和模拟场景中的数据操作任务示例。

图3：机器人和模拟图像（来源：Rusu 等，2016）

最后，从模拟中学习是通向通用 AI 不可或缺的部分。训练一个代理直接在现实世界中实现通用人工智能代价太大，并且在初期不必要的复杂性会妨碍学习的效果。相反地，基于模拟环境进行学习会事半功倍，如图 4 中可见的 CommAI-env。

图4:Facebook 人工智能研究院的 CommAI-env(来源：Mikolov 等， 2015)

适应新的域

虽然从模拟中学习是领域适应的一个特殊案例，我们还是有必要列出一些其他适应领域的例子。

在计算机视觉方向，领域适应是一个常见的需求，因为标签上的信息很容易获取，而我们真正关心的数据是不同的，无论是识别在图5 中所示的自行车，还是在陌生环境中的其他物体。即使训练和测试数据看起来并无差异，但其中仍然可能包含对人类来说难以察觉，并会导致模型产生过度拟合的细微偏差。

图 5：不同的视觉领域（来源：Sun 等，2016）

另一个常见的领域适应场景，是适应不同的文本类型：标准的 NLP 工具，例如词类标注器或解析器，通常会使用诸如《华尔街日报》等自古以来就用于评估模型的新闻数据进行训练。然而，使用新闻数据训练的模型难以适应更新颖的文本形式，如来自社交媒体的消息。

图 6：不同的文本类型

即使在比如产品评论这样的一个领域，人们也会用不同的词语来表达同样的概念。因此，使用一种类型评论的文本的训练模式应该能够区分该领域的专业词汇和普通人使用的词汇，以免被领域的转换所迷惑。

图 6：不同的主题

最后，上述问题只是涉及到一般的文本或图像类型，但是如果将之扩大到与个人或用户群体有关的其他领域，问题就会被放大：比如语音自动识别（ASR）的情况。 语音有望成为下一个大有可为的领域，预计到 2020 年，语音搜索的占比将达 50％。传统上，大多数 ASR 系统在 Swithboard 数据集上进行评估，该数据集由 500 个说话者构成。标准口音还好，但系统很难理解移民、有口音、有言语障碍的人或儿童的语音。现在我们比以往任何时候都需要能够满足个人用户和少数群体需求的系统，以确保每个人的声音都能被理解。

图 7：不同的口音

跨语言的知识迁移

最后，在我看来，迁移学习的另一杀手级应用，是将从一种语言学习中获得知识应用到另一种语言，我已经写过关于跨语言嵌入模型的文章。可靠的跨语言适应方法将使我们能够利用已拥有的大量英文标签数据，并将其应用于任何语言，尤其是不常用和数据缺乏资源的语言。鉴于目前的最新技术水平，这似乎仍然是个乌托邦，但 zero-shot 翻译等取得的最新进展预示着我们有望在这方面更进一步。

总而言之，迁移学习为我们提供了很多激动人心的研究方向，特别是许多需要模型的应用程序，这些模型可以将知识转化为新的任务并适应新的领域。