2018年3月18日，是科技行业极为忧虑的一天。那天晚上，一轮新月几乎没有给亚利桑那州坦佩昏暗的道路增加任何光线，从而让一辆经过特别改装的Uber沃尔沃XC90检测到前方有物体。作为开发自动驾驶汽车这个现代淘金热的一部分，这辆SUV已经自动驾驶了19分钟，期间没有来自后备驾驶员的任何干预。一系列雷达和激光雷达传感器使得机载算法能够计算出前方有物体，考虑到他们车辆的稳定速度为43英里/小时，物体在6秒钟路程之外——假设它保持静止不动。但是道路上的物体很少保持静止不动，所以更多的算法会接入一个可识别的机械和生物实体的数据库，寻找一个可以推断出这个物体可能行为的匹配方案。

一开始，计算设备一片空白；几秒钟后，它决定处理迎面而来另一辆汽车，它预计它能开走，所以不需要特别行动。直到最后一秒钟，它才发现了一个清晰的标识——这是一个骑自行车的女人，手把上挂着的购物袋，毫无疑问，她认为沃尔沃会像任何普通车辆一样绕过她。被禁止独自采取规避动作的计算设备突然将控制权交还给了人类，但是人类没有注意到。49岁的伊莱恩·赫茨伯格遭到撞击致死，这让技术团体中更多的反思者提出了两个令人不安的问题：这种算法悲剧不可避免吗？如果我们习惯于这样的事件，我们是否应该做好准备？

“在某些方面，我们已经失去了代理权。当程序传入代码，代码传入算法，然后算法开始创建新算法时，它离人类越来越远。软件被发布到一个没有人能完全理解的代码世界中。”

这些话听起来令人震惊，尤其是对于艾伦·厄尔曼（Ellen Ullman）来说，自20世纪70年代以来，其一直是一名杰出的专业程序员，也是为数不多的公开写代码过程的人之一。

“人们会说，‘Facebook怎么样——他们创建和使用算法，并且可以改变它们。’但是它不是这样工作的。他们只是启动算法，学习、进行改变和并让代码自己运行。Facebook定期干预它们的运行，但是他们真的没有控制它们。特定的程序不仅仅是独立运行的，它们还会调用库、深度操作系统等等......”

这些算法本身并不新鲜。大约五年前，当时我在为《卫报》撰写一篇关于股票市场高频交易（HFT）的文章，我第一次遇到了它们。我发现了一个不同寻常的现象：一个人造的数字生态系统，分布在数十亿美元的数据农场中，黑匣子像忍者一样蜷缩着，这就是股票市场的现状。一旦有了实际的交易平台，所有的行动都转移到了一个中央服务器上，在这个服务器上，灵活的、掠夺性的算法依靠笨拙的机构算法，引诱它们通过欺骗市场状况来低价出售和高价购买。人类HFT交易者(虽然没有人在积极交易)称这些大型、缓慢的参与者为“鲸鱼”，他们大多属于共同基金和养老基金——即公众。对于大多数HFT来说，“鲸鱼”现在是主要的利润来源。本质上，这些算法试图智胜对方；它们正在以光速进行隐形战斗，每秒10000次下订单和取消订单，或者将如此多的订单投入到系统中，以至于整个市场都震动了——所有这些都超出了人类的监督或控制范围。