杂志汇互联网经济

人工智能从上世纪 50 年代兴起至今只有近 60 多年的历史，但近年来其研究及应用领域迅速拓展、影响深远。随着各行各业开始部署人工智能，尤其是利用人工智能进行自动化决策的时候，人工智能的诸多伦理与道德问题已悄然浮出水面。

算法问题凸显 威胁人类生活

当1956年人工智能开始起步的时候，人们更多是在说人工智能；在第二次浪潮期间，机器学习成为主流；第三次 AI 浪潮则是深度学习，是能够自我学习、自我编程的学习算法，可以用来解决更复杂的任务。此外，计算能力的提升，包括现在的量子计算机，以及越来越普遍的大数据，对人工智能的作用和价值也非常大，使得更复杂的算法成为可能。人工智能的持续进步带来的好处将是巨大的，但是，随之带来了诸多伦理问题，为了让 AI 真正有益于人类社会，我们也不能忽视。

预见性问题。随着计算能力的不断攀升，人工智能可以计算大量的可能性，其选择空间往往大于人类，它们能够轻易地去尝试人类以前从未考虑的解决方案。换而言之，尽管人们设计了某人工智能产品，但受限于人类自身的认知能力，研发者无法预见其所研发的智能产品做出的决策以及产生的效果。以谷歌 DeepMind 团队开发的 AlphaGo 与多位人类围棋高手的“人机大战”为例，AlphaGo 在 2016年 3 月对阵李世石时为第 18 代（AlphaGo Lee），在 2017 年 5 月对阵柯洁时已经迭代为第 60 代（AlphaGo Master）。而在 2017 年 10 月，谷歌 DeepMind 开发的AlphaGo Zero 机器系统仅训练 3 天就以100:0 的比分战胜了 AlphaGo Lee；经过40 天训练后，AlphaGo Zero 又以 89:11战胜了横扫柯洁的 AlphaGo Master。快速迭代的背后是 AlphaGo 全新的深度学习逻辑，这种经历迭代的深度学习逻辑，其强大的进化速度让人类难以追赶，只能望其项背。当前，基于深度学习技术的新一代人工智能产品大都具备自学习能力和自适应能力，人工智能应用带来的后果越来越难以预测，这不得不引发人们的担忧。

透明性与安全性问题。由于人工智能技术模拟了人脑的工作模式，系统十分复杂，没有采用明确的数据存储和分析方式，因此人工智能存在一些难以捉摸的“黑盒子”。包括开发者工程师在内的人都很难确切知道它的内部运作方式和某个具体行动背后的逻辑，因而可能引发严重问题。例如，谷歌研究院的 Christian Szegedy等提出在输入的数据集中故意添加细微的干扰，形成输入样本，将导致深度神经网络得出错误的预测结果，这个错误在人类看来一目了然，但是往往能把计算机带入陷阱。再如，传统的卷积神经网络（CNN）中的后续层能在前一层得出的信息中寻找更高层次模式，这样能够丢弃次要细节，优先识别出某种显著模式，但这也造成提取出来的特征间关系的丢失，这将导致CNN 可能受到特征相同但特征关系不同的样本数据的欺骗，从而得到错误的预测结果。这些算法问题由于黑盒子难以被人们察觉，如何增加算法的可解释性，从而真正了解机器的学习方式已经成为摆在科学家面前的严峻挑战。

　　责任分担问题。人工智能系统通常借助虚拟社区（如 Github 开源平台）进行协同研发，开发过程中可能会用到许多其他人开发的组件。数量众多的潜在责任人再加上大多数人工智能产品的内部运作并不透明，这使得人工智能产品一旦出现安全问题，划分责任归属可能会异常复杂。例如，特斯拉自动驾驶汽车自 2016 年以来已在多个国家发生多场车祸，造成多人伤亡。较近的一次事故发生在2018年5月，一辆特斯拉 Model S 在美国佛罗里达发生撞车事故并起火，事故造成两人遇难，另有一人受伤。据当地目击者介绍，车速过快可能是引发交通事故的一个原因。当时，一辆 Model S 在海风小道飞速行驶，后来撞墙起火，其中一名青少年被甩出车外，而另外两名在大火中不幸遇难。针对前几次交通事故的责任判定存在严重分歧，特斯拉公司、驾驶员、传感器 Mobileye 公司各执一词，目前美国国家运输安全委员会还在对这起车祸进行调查。

隐私保护问题。人工智能系统需要大量的数据来训练学习算法，因此数据又被称为 AI 时代的“新石油”。数据的重要性越来越高，但在采集数据和使用数据的过程中，如何保证用户数据的安全也面临越来越多的挑战。一方面，人工智能在深度学习过程中使用大量的敏感数据，这些个人数据可能会在后续被披露出去。另一方面，数据已经成为新的流通物，数据流动不断频繁，其中可能存在某些不为人知的数据交易，个人数据的控制和管理面临威胁。例如，社交网站 Facebook 在2018 年 3 月被曝 5000 万用户数据遭到泄露。据 Facebook 称，这些数据最初是由一名剑桥大学讲师通过一个性格测试应用收集来的。收集行为完全合法，但是这些信息后来被转移到第三方，包括剑桥分析（Cambridge Analytica）公司。剑桥分析被曝非法将大量 Facebook 用户的信息用于大数据分析，从而精准刻画这些用户的心理特征，并向他们推送定制广告，甚至假新闻。而在 2018 年 4 月，美团等外卖平台的订餐客户数据信息出现大范围泄露，被不法分子在网上进行贩卖。这些数据包括订餐用户的姓名、电话号码和详细的订餐地址，且准确度较高。

利益分享问题。人工智能通过辅助或替代人类劳动，能够更有效率地完成现有工作，从而提高生产效率。以英特尔为例，该公司在芯片生产过程中会收集大量数据。过去，如果生产中出现问题，公司需依靠人工分析数据寻找根本原因。而现在，机器学习以远胜人工的速度完成这项任务，其算法能够筛选成千上万的数据点以找出残次芯片的共同特征。当前主流观点认为，人工智能能够降低用工成本，提升生产效率，而未来一些重复性的工作岗位将会被人工智能所替代。因此，这也引发了人们对于人工智能将会带来失业、不公和加剧贫富差距的担忧。

　　恶意控制问题。有观点认为，人工智能会加剧数字和物理安全系统的威胁，并将造成全新的危险。人工智能一旦被恶意使用不仅仅威胁到人们的财产和隐私，它还会威胁到人们的生命。例如，在军事领域，具有指挥高效化、打击精确化、操作自动化、行为智能化等特点的人工智能武器，可以“有意识”地寻找、辨别需要打击的目标，它同时具有辨别自然语言的能力，是一种“会思考”的武器系统。人工智能武器的危险之处在于，软件工程师可以很轻松地给它重新编程，使其成为滥杀无辜的机器。在政治领域，有研究机构反映剑桥分析公司通过非法获取超过 5000万 Facebook 个人账户信息，使用这些数据构建算法，分析用户个性资料，并在2016年美国总统大选中将这些信息与他们的投票行为关联起来，让竞选团队能够准确识别摇摆不定的选民，并有针对性地制作和投放广告。人工智能算法和大数据两者结合可形成一种强有力的政治武器，可用于影响甚至是操控选民的舆论，进而可能引发政治风险。

构建算法治理的约束机制

人工智能算法引发的诸多伦理问题，如果不引起重视，随着人工智能的进一步发展将会从多个层面影响甚至是威胁人类生活，鉴于此，应对人工智能伦理问题的具体做法，笔者总结出以下六个层面：

引入自我终结机制。人工智能最大的威胁是当前人类尚难以理解其决策行为存在未来失控的风险，而一旦失控则后果严重。参照所有生命体中都有的衰老机制，人工智能也应该嵌入自我毁灭机制。谷歌旗下 DeepMind 公司在 2016 年曾提出要给人工智能系统安装“切断开关（kill switch）”的想法，为的是阻止 AI 学会如何阻止人类对某项活动 ( 比方说发射核武器 ) 的干预，这种提法被称作 “安全可中断性”。据介绍，安全可中断性可用于控制机器人不端甚至可能导致不可逆后果的行为，相当于在其内部强制加入某种自我终结机制，一旦常规监管手段失效，还能够触发其自我终结机制，从而使其始终处于人们监管范围之内。

发展可解释性人工智能算法。打开人工智能黑箱最有效的途径就是增强算法的可解释性，目前这已经得到科学界的认同和重视。例如，美国计算机协会（USACM）下属的美国公共政策委员会在 2017 年 1月发布的《算法透明性和可问责性声明》中提出了七项基本原则，其中一项即为“解释”，希望鼓励使用算法决策的系统和机构，对算法的过程和特定的决策提供解释，尤其在公共政策领域。电气和电子工程师协会（IEEE）则在 2016 年和 2017年连续推出了《人工智能设计的伦理准则》白皮书，在多个部分都提出了对人工智能和自动化系统应有解释能力的要求。2017年 10 月，美国加州大学伯克利分校的研究者们发布了《对人工智能系统挑战的伯克利观点》一文，从人工智能的发展趋势出发，总结了九项挑战和研究方向，其中一项即为“可解释的决策”。

加强数据安全保护。近年来，数据安全事件造成的影响越来越严重，已逐渐深入扩展到国家政治、经济、民生不同层面，涉及国家关键信息基础设施、商业系统、乃至个人生命等各个方面，数据安全问题已经成为世界各国和各行各业普遍关注的焦点。目前，多国已经颁布相关法律，加大数据安全保护。例如，欧盟于 2018 年 5月正式实施《一般数据保护条例》（General Data Protection Regulation），该条例具有全球适用性，适用于所有为欧盟居民提供商品服务的境外数据处理商，也包括服务于欧洲客户的中国公司。该条例提出“解释权”，将赋予欧盟国家公民“审查某项特定服务中如何做出特定算法决策”。新条例的实施意味着欧盟对个人信息保护及其监管达到了前所未有的高度，堪称史上最严格的数据保护条例。法国国民议会通过《数据保护法草案》，并将其纳入法国法律。爱尔兰正式发布《2018 年数据保护法案》，设立数据保护委员会，并将全面执行欧盟颁布的《一般数据保护条例》以及爱尔兰法律中的相关指令。

　　开源人工智能算法。开源人工智能算法，在某种程度上能够降低技术壁垒，让更多的人接触、应用和发展这项技术，同时让更多的主体分享人工智能发展带来的成果。人工智能两大巨头 OpenAI 和DeepMind 公司均已开源了各自的人工智能训练平台。DeepMind 开放的 DeepMind Lab，是类似 3D 游戏的平台，所有开发者都能下载源代码并对其进行个性化设置，以此训练和测试原有的 AI 系统。OpenAI 开放了三个大的开源平台 Gym、Universe 和 Robot，主要研究方向是机器人的迁移学习与增强学习。Gym 是指研究在每个细分研究领域建立自己的算法以后，把算法放在不同的环境中测试；Universe 目标是让 AI 智能像人一样使用计算机，目前已有 1000 种训练环境；而Robot 则是训练机器人。而微软则更早地启动了 Malmo 项目，这是基于一个流行游戏“Minecraft”的 AI 开发平台。

加强算法监管。美国纽约市议会在2017 年 12 月通过了一项算法问责法案。根据该法案，将成立一个由自动化决策系统专家和受自动化决策系统影响的公民组织代表组成的工作组，专门监督市政机构使用的自动决策算法的公平性、问责性和透明度。随着人工智能技术不断发展，美国的自动化决策系统逐渐进入政府决策和司法应用领域，该法案所提倡的促进政府自动决策算法的公开透明和可解释性，将促进政府决策中的算法的可信度。

加强人工智能伦理教育。2017 年 1月，近千名人工智能和机器人相关领域的专家在加利福尼亚州阿西洛马举行的Beneficial AI 会议上联合签署了著名的《阿西洛马人工智能 23 条原则》，涉及科研问题、伦理价值和长期问题，呼吁全世界在发展人工智能的同时，应严格恪守这些原则，共同保障人类未来的伦理、利益和安全。目前美国已将人工智能伦理规范教育引入人才培养体系。在 2018 年新学期，哈佛、康奈尔、麻省理工学院、斯坦福大学等诸多美国高校开设跨学科、跨领域的人工智能伦理课程，名为人工智能伦理、数据科学伦理、技术伦理、机器人伦理等。如康奈尔大学开设两门人工智能伦理课程，一门是数据科学伦理和政策课程，重点研究数据科学的伦理挑战；另一门是智能自主系统的伦理问题（机器人伦理）课程，重点研究科技公司的伦理问题。哈佛和麻省理工学院联合开设的课程则重点研究人工智能的伦理、政策和法律影响。这门课程涵盖算法歧视、责任、自主性、系统设计、数据所有权、AI 治理、AI 可解释性和可问责性、AI 监管等前沿问题，用来激发学生对基本伦理的思考。

加强伦理研究 防范安全风险

为了让人工智能系统更安全地促进社会发展，我们应该多维度深入进行人工智能伦理问题的研究，以下有几点启示与建议。

一是将人工智能伦理价值算法嵌入编程语言，让程序语言融入伦理规范；建立人工智能技术研发的伦理准则，指导开发者和制造商如何对一个机器人做出道德风险评估，并形成完善的人工智能技术研发规范，以确保人工智能系统的行为符合社会伦理道德标准。

二是加强理论攻关，研发透明性和可解释性更高的智能计算模型，开发可解释、可理解、可预测的智能系统，降低系统行为的不可预知性和不确定性。

三是开展立法研究，明确重点领域人工智能应用中的法律主体以及相关权利、义务和责任，建立和完善适应智能时代的法律法规体系。在事故责任划分方面，可借鉴云安全责任共担模型，建立人工智能责任分担模型，探索更加适用的责任划分准则。

四是提高安全标准，推行人工智能产品安全认证，定期对智能产品的安全性、可靠性、一致性进行检测，并定期披露数据样本、算法机制、测试结果等信息。

五是学习美国高校做法，开设跨学科、跨领域的人工智能伦理课程，把伦理规范教育作为人才培养体系的重要内容，从源头上确保人工智能系统安全地促进人类文明的进步和发展。

六是加强机器人伦理和安全风险等人工智能国际共性问题研究，深化人工智能法律法规、行业监管等方面的交流合作，推进人工智能技术标准和安全标准的国际统一，推动全球治理，共同应对风险挑战。

人工智能的迅速发展对人类经济、文化、生态、生活等方面都产生了深远影响。但需要注意的是，新一代人工智能因具有高度的自主性、自学习及适应能力等特征给人类带来福利的同时，也给人类社会带来了诸多道德伦理问题。人类社会即将进入人机共存的时代，为确保人类与机器人、人工智能系统能够和谐共处，需要在设计、研发、使用等多个环节采取一系列的应对措施，妥善应对人工智能的安全、隐私、伦理问题和其他风险。如何处理人工智能带来的一系列新问题，人类还在积极探索之中。

魏强 赛迪智库规划所新兴产业研究室陆平 赛迪智库规划所新兴产业研究室

责任编辑：高津菁　[email protected]