怀疑论者表示，完全自动驾驶可能比想象的更遥不可及，只是业界不愿承认罢了。
如果你真相信首席执行官们说的话，完全自动驾驶的汽车可能再过几个月就会问世。 2015年，埃隆?马斯克预测到2018年完全自动驾驶的特斯拉会面市；谷歌也是如此。Delphi和MobileEye的L4系统目前定于2019年推出，同年Nutonomy计划在新加坡的街道上部署数千辆无人驾驶的出租车。通用汽车（GM）将在2019年量产完全自动驾驶的汽车，没有方向盘，驾驶员也无法干预。这些预测背后都有真金实银在支撑，豪赌软件能够不辱使命，功能像宣传的那么强大。
乍一看，完全自动驾驶似乎比以往任何时候都更触手可及。Waymo已经在亚利桑那州一些有限但公开的道路上测试汽车。特斯拉及其他众多模仿者已经在出售功能有限的自动驾驶系统（Autopilot），一旦发生任何意外情况，依赖驾驶员干预。已发生过几起事故（有些还是致命的）；但业界普遍认为，只要系统不断改进，我们离根本不必有人干预不会太远。
但是完全自动驾驶汽车这个梦想可能比我们想象的更遥不可及。AI专家们越来越担心，自动驾驶系统能可靠地避免事故至少还要再过几年，甚至再过几十年。由于自我训练的系统很难应对现实世界的混乱局面，像纽约大学的加里?马库斯（Gary Marcus）这些专家准备好了对预期进行一番痛苦的重新调整，这番纠正有时被称为“AI寒冬”。这种延迟可能给依赖自动驾驶技术的公司带来灾难性后果，让整整一代人体验不到完全自动驾驶。
不难理解为什么汽车公司对自动驾驶持态度乐观。在过去的十年间，深度学习已经在AI和技术行业带来了几乎无法想象的进展；深度学习这种方法使用层次化的机器学习算法，从海量数据集中提取结构化信息。深度学习支持谷歌搜索、Facebook新闻源（News Feed）、对话式语音/文本转换算法以及会下围棋的系统。在互联网之外，我们使用深度学习来检测地震、预测心脏病并标记拍摄镜头中的可疑行为，还有另外无数原本不可能实现的创新。
但深度学习需要大量的训练数据才能发挥作用，包含算法会遇到的几乎每一个场景。比如说，Google Images等系统擅长识别动物，只要有训练数据给它们展示每种动物长的样子。马库斯将这种任务称之为“内插”（interpolation），对所有标记为“豹猫”的图像进行调查，从而确定新图片是否属于豹猫这一类。
工程师们可能在数据来自何处以及如何组织数据方面另辟蹊径，但这对某种算法能覆盖多广的范围施加了严格的限制。同样的算法无法识别豹猫，除非它见过成千上万张豹猫的照片――即使它见过家猫和美洲虎的照片，并且知道豹猫介于这两种动物之间。这个过程名为“泛化”（generalization），需要一套不同的技能。
长期以来，研究人员认为自己可以借助合适的算法改进泛化技能，但最近的研究表明，传统深度学习在泛化方面比我们想象的还要糟糕。一项研究发现，传统深度学习系统面对一段视频的不同帧时，甚至难以泛化，只要视频背景出现小小的变化，就会将同一只北极熊标记为狒狒、猫鼬或黄鼠狼。由于每个分类基于总共几百个因素，照片哪怕小小的变化也可能完全改变系统的判断，其他研究人员已在对抗数据集中利用了这一点。
马库斯提到聊天机器人热潮就是炒作遭遇泛化问题的最新例子。他说：“2015年有厂商向我们承诺推出聊天机器人，但它们没有任何好处，因为这不仅仅是收集数据的问题。”你在网上与某人交谈时，不仅仅想要对方复述之前的谈话。你希望对方回应你说的话，利用更广泛的对话技能作出专门针对你的回应。深度学习根本搞不出这样的聊天机器人。一旦最初的炒作退潮，许多公司对聊天机器人项目失去了信心，现在只有个别公司还在积极开发中。
这让特斯拉及其他自动驾驶公司面临一个可怕的问题：自动驾驶汽车会像图像搜索、语音识别及其他AI成功故事那样变得越来越好？还是会像聊天机器人那样遇到泛化问题？自动驾驶是一个内插问题还是泛化问题？驾驶多么难以预测？
现在要知道结果还为时过早。马库斯说：“无人驾驶汽车就像我们不知道答案的科学实验。”我们之前从来没有实现过这个级别的自动驾驶，所以我们不知道它是哪种类型的任务。如果只是识别熟悉的对象和遵守规则，那么现有技术应该能胜任任务。不过马库斯担心，在事故多发的场景下安全驾驶可能比想象的来得复杂，只是业界不想承认罢了。“只要令人惊讶的新状况出现，那么这对于深度学习来说不是一件好事。”
我们已有的实验数据来自公共事故报告，每一份报告都提出了某个不同寻常的难题。在2016年的一场致命车祸中，一辆特斯拉Model S全速撞上了一辆白色牵引式挂车的尾部，原因是很高的挂车底盘和刺眼的阳光反射让车子备感困惑。3月份，一辆自动驾驶的优步汽车撞死了一名推着自行车的女子，当时这名女子正穿过一条未经授权的人行横道。据美国国家运输安全委员会（NTSB）的报告显示，优步的软件将这名女子误识别成不明物体，然后误识别成汽车，最后误识别成自行车，每次都更新预测。在加利福尼亚州的一次撞车事故中，一辆 Model X在撞击前一刻加速驶向障碍物，至今原因仍然不明。
每次事故似乎都是极端情况，这是无法要求工程师们提前预测的那种情况。但几乎每一起车祸都涉及某种不可预见的场景；如果没有泛化的能力，自动驾驶汽车将不得不面对这每一个场景，就好像这是头一次。结果就是一连串侥幸事故：随着时间的推移，这些事故并不变得不那么常见或不那么危险。对于怀疑论者来说，手动脱离报告已表明了这种情形，已经到了止步不前的窘境。
吴恩达是百度前高管，Drive.AI的董事会成员，也是业界最著名的推手之一。他认为，问题不在于建造一套完美的驾驶系统，而是培训旁观者来预测自动驾驶行为。换句话说，我们可以为汽车确保道路安全，而不是反过来。作为一种不可预测的情况，我询问他是否认为现代系统可以应对踩弹簧单高跷的行人，即使之前从来没有见过。吴恩达告诉我：“我认为许多AI团队可以应对人行横道上踩着弹簧单高跷的行人。话虽如此，在高速公路中央踩弹簧单高跷确实很危险。”
吴恩达说：“我们应该与政府合作，要求人们遵纪守法、为他人考虑，而不是设计解决弹簧单高跷问题的AI。安全不仅仅与AI技术的质量有关。”
深度学习不是唯一的AI技术，许多公司已经在探究替代方案。虽然技术在业内受到严加保护（只要看看Waymo最近起诉优步的官司），但许多公司已转向基于规则的AI，这种较古老的技术让工程师们可以将特定的行为或逻辑硬编码到其他方面自主的系统中。它并不具备仅仅研究数据就可以为自己行为编程的同样能力，这正是深度学习如此令人兴奋的原因，但它让公司可以避免深度学习的一些局限性。但由于感知的基本任务仍然受到深度学习技术的深远影响，很难说工程师们隔离潜在的错误会多成功。
身为Lyft董事会成员的风险资本家安妮?三浦康（Ann Miura-Ko）表示，她认为问题的一方面在于对自动驾驶汽车本身寄予厚望，将完全自动驾驶之外的任何系统都归入为失败。三浦康说：“期望自动驾驶汽车从零进入到L5是期望不匹配，而不是技术失败。我认为所有这些微小改进都是迈向完全自动驾驶这条道路上的非凡成就。”
不过，目前不清楚自动驾驶汽车在目前这种窘境下保持多久。像特斯拉的自动驾驶系统这样的半自动产品智能化程度很高，足以应对大多数情形，但是如果发生任何不可预测的情况，还是需要人为干预。果真出岔子时，很难知道究竟怪汽车还是怪驾驶员。对于一些评论人士来说，这种人机混合体可能不如人类驾驶员来得安全，即使错误很难完全归咎于机器。兰德公司的一项研究估计，自动驾驶汽车必须在没有一起死亡事故的情况下行驶2.75亿英里，才能证明它们和人类驾驶员一样安全。与特斯拉的自动驾驶系统相有关的首例死亡事件发生在该项目行驶了约1.3亿英里处，远低于这个标准。
但由于深度学习是汽车如何识别物体并决定应对的关键，降低事故率可能比看起来更难。杜克大学教授玛丽?卡明斯（Mary Cummings）提到今年早些时候导致一名行人死亡的优步事故时说：“这不是一个很容易被隔离的问题。感知－决策周期常常相互关联，就像撞死行人的事故中那样。由于感知方面存在模糊性，做出了什么操作都不采取的决定；又由于从传感器得到了太多的误警报，紧急制动系统被关闭。”
那起车祸事故以优步暂停夏季的自动驾驶测试工作收场，这对于计划推广测试的其他公司来说是不祥之兆。在这个行业，许多公司竞相获取更多的数据来解决问题，以为行驶里程最多的公司会构建最强大的系统。但是虽然许多公司觉得只是数据问题，马库斯却认为解决起来困难得多。马库斯说：“它们只是使用拥有的技术，希望它会起作用。它们依赖大数据，因为这是他们手头拥有的利器，但没有任何证据表明它让你可以达到我们所需的那种精确度。”