-
首页
-
- 首页
- 观点
承泽观察 | 沈艳:推行算法审计大有可为
发布日期：2022-07-29 10:22 来源：
数字时代，开发利用数据正在成为社会治理的核心，关于人的重要决定，如衣食住行、生老病死、就业失业、言论传播，甚至司法审判，也越来越取决于不同场景中基于数据的运算结果。
恰当利用数据，开发利用场景，至少可以发挥如下四点优势：一是推动市场环境更透明、信息更易于自由流动；二是降低搜寻成本；三是降低准入门槛；四是推动技术突破、效率提升，促进产品和服务创新以及创新生态。但是，如果不能规范数据开发利用中算法的应用，也会带来不少管理方面的挑战，其中算法歧视、算法黑箱、算法助力垄断等问题尤为受到关注。
2020年起，中国展开对算法的立法和治理。例如，《法治社会建设实施纲要(2020－2025年)》提出规范算法推荐等新技术应用的管理；2021年9月发布的《关于加强互联网信息服务算法综合治理的指导意见》，强调要“建立健全算法安全治理机制”；2021年底发布的《“十四五”数字经济发展规划》指出，加快构建算力、算法、数据、应用资源协同的全国一体化大数据中心体系；2021年12月，国家网信办等四部门联合发布《互联网信息服务算法推荐管理规定》，并于2022年3月1日起正式实施。至此，中国算法治理的立法体系初步建成。
但是，中国算法治理实践仍然遇到不少挑战。例如，对平台的监管模式主要是事后监管，根据平台的过错采取行政处罚措施，总体来看，缺乏事前的过程性监管。又如，目前对算法的监管主要是从网络安全、法律风险等角度作规范，技术性规范监管较少。随着大数据在社会治理中发挥越来越重要的作用，要求有关算法的监管要尽可能避免“一刀切”进入常态化治理阶段，实现“敏捷治理”，也就是使算法治理能够跟上技术发展步伐。
要应对算法治理带来的新挑战，建议考虑推动算法规则透明化，推动输入输出和结果评估的算法审计。算法审计指收集有关算法在特定应用场景中使用时的表现数据，然后使用这些数据来评估算法是否对人们的某些利益(或权利)产生了负面影响，从而评估算法本身好坏的过程。
美国在算法审计方面走在世界前列，当然，该行业仍处在发展初期。2016年，美国政府关于算法系统和民权的报告鼓励了算法审计业的发展。2021年，推特机器学习伦理、透明度与责任小组的主管拉曼·乔杜里(Rumman Chowdhury)指出，只有大约10到20家信誉良好的公司提供算法审查。不少公司也有自己的内部审计团队，在向公众发布算法之前对其进行审查。
算法审计可分为外部审计和内部审计两种。从外部审计角度看，监管部门推动算法审计至少可以有四方面作用。一是评估某些算法是否合法合规，如监管部门审计银行的放贷算法，以评估其是否确实能够在不增加不良率的情况下做好风控；二是评估算法是否符合经济社会运行规律，是否能避免“劣币驱逐良币”现象。三是评估算法供应商和买家的风控能力， 通过算法审计来评估相应企业面临的道德和声誉风险，以及在出现风险时的补救能力；四是为平台企业的利益相关方增加算法方面的信息透明度，帮助他们在投资、与平台打交道等方面做出知情选择。
从内部审计角度看，算法的评估和审计规划应作为企业或者组织发展规划的一部分。具体来说，内部审计部门需要评估组织内的数据和算法现状、由此产生的风险和挑战，以及重大的机遇和利益。算法内部审计流程可以包括项目实施前或实施后审查，以及容许算法内部审计人员参与治理和指导相关算法的设计和执行。算法内部审计的重点，可以包括数据是如何被运用的、算法的执行流程和技术控制等。
在算法审计路径方面有两种思路。一种重视算法代码透明化，另一种重视对输入输出和结果的评估，本文建议重视对输入输出和结果的评估算法审计思路。这两种思路的差别是，算法代码透明化的安排下，将要求企业给出核心算法程序，由独立第三方企业或者公共机构直接评估算法程序是否合理。这一安排的弊端在于，可能会涉及被审计企业的核心商业机密而被拒绝；而审查机构也无从知晓平台提供的算法与实际运行的算法是否完全一致。而重视输入输出和结果的审计安排中，输入审计是指要求平台明确，在个性化服务的时候，依据的是哪些重点维度；输出审计就是指要求平台报告依据算法，最主要追求的是什么样的目标，比如公平究竟是什么；同时要求平台报告算法相关成效，并评估相关成效。
就算法审计的具体框架而言，内部审计和外部审计均可考虑如下算法安排：①预测或优化目标。阐明算法设计时如何考量利益相关方核心利益(如滴滴司乘双方的人身安全、外卖中消费者按时获得优质服务而商家获得应有收入)，以及算法实施时预测或优化的具体指标。对实际的预测或优化指标与想要达到的预测或优化指标之间的差异进行说明。②对算法训练和算法评估及选择中用到的数据进行说明。描述数据中各个指标的含义，阐明数据是如何收集的，排除一些数据的原因是什么(例如，数据质量)，数据对整个利益相关方群体是否具有代表性等等。③算法使用的技术。说明哪些技术(例如，回归分析、神经网络、随机森林等)被尝试过，采纳最终算法的原因是什么。④算法运行效果。包括预测精度、与利益相关方核心利益相关指标的结果，等等。⑤有关个人信息保护和数据安全的具体安排。
就算法审计的具体评估尺度而言，可以借鉴国外一些审计框架。如从歧视、有效性、透明度、直接影响、安全和可获得性这五个方面。其中，歧视包含社会性歧视和统计歧视程度；有效性包括准确性、稳定性、可复制性以及数据使用效率程度等；透明度包含数据架构的透明程度、可解释性、平台使用透明度、数据收集与使用透明度这四个方面；直接影响包含对误用滥用可能性的评估和违法可能性的评估；安全性指算法和数据在使用中的可获得性与安全性这两个维度等。
当然，算法审计在设计中也需要有所为有所不为。例如，2018年《哈佛商业评论》载文讨论了ProPublica对用于决定犯罪嫌疑人再犯概率算法的调查。ProPublica记者发现，与没有再犯罪的白人相比，没有再犯罪的黑人被算出再犯罪的概率更高。但这是不是种族歧视的证据呢？事实证明，运用该算法，如果黑人和白人得到的是类似的高分，那么他们再犯罪的概率与种族无关，这实际上满足了另一个重要的 “公平”概念。 随后的学术研究表明，一般来说，不可能同时满足两种公平标准。究竟哪种公平更重要，不应是算法审计的目标；算法审计以遵行当下政府和公众的主流价值观为目标。
总体来看，算法审计为算法治理提供了新思路，其核心是通过恰当的治理机制设计、通过发展技术解决新技术带来的问题，尽量避免“一刀切”式监管。通过为平台企业算法在上述五大维度及其分项按照合规程度作高中低等分级打分，帮助利益相关方和社会公众对平台的算法合规程度有全面的了解，从而推动企业有更高的积极性用合规算法来推动自身发展、推动数字经济的健康成长。
作者 沈艳 北大国发院教授、北大数字金融研究中心副主任
文章来源：中新经纬
国家发展研究院官方微信
Copyright© 1994-2012 北京大学 国家发展研究院 版权所有, 京ICP备05065075号-1
保留所有权利，不经允许请勿挪用
-
首页
-
承泽观察 | 沈艳:推行算法审计大有可为
发布日期：2022-07-29 10:22 来源：
数字时代，开发利用数据正在成为社会治理的核心，关于人的重要决定，如衣食住行、生老病死、就业失业、言论传播，甚至司法审判，也越来越取决于不同场景中基于数据的运算结果。
恰当利用数据，开发利用场景，至少可以发挥如下四点优势：一是推动市场环境更透明、信息更易于自由流动；二是降低搜寻成本；三是降低准入门槛；四是推动技术突破、效率提升，促进产品和服务创新以及创新生态。但是，如果不能规范数据开发利用中算法的应用，也会带来不少管理方面的挑战，其中算法歧视、算法黑箱、算法助力垄断等问题尤为受到关注。
2020年起，中国展开对算法的立法和治理。例如，《法治社会建设实施纲要(2020－2025年)》提出规范算法推荐等新技术应用的管理；2021年9月发布的《关于加强互联网信息服务算法综合治理的指导意见》，强调要“建立健全算法安全治理机制”；2021年底发布的《“十四五”数字经济发展规划》指出，加快构建算力、算法、数据、应用资源协同的全国一体化大数据中心体系；2021年12月，国家网信办等四部门联合发布《互联网信息服务算法推荐管理规定》，并于2022年3月1日起正式实施。至此，中国算法治理的立法体系初步建成。
但是，中国算法治理实践仍然遇到不少挑战。例如，对平台的监管模式主要是事后监管，根据平台的过错采取行政处罚措施，总体来看，缺乏事前的过程性监管。又如，目前对算法的监管主要是从网络安全、法律风险等角度作规范，技术性规范监管较少。随着大数据在社会治理中发挥越来越重要的作用，要求有关算法的监管要尽可能避免“一刀切”进入常态化治理阶段，实现“敏捷治理”，也就是使算法治理能够跟上技术发展步伐。
要应对算法治理带来的新挑战，建议考虑推动算法规则透明化，推动输入输出和结果评估的算法审计。算法审计指收集有关算法在特定应用场景中使用时的表现数据，然后使用这些数据来评估算法是否对人们的某些利益(或权利)产生了负面影响，从而评估算法本身好坏的过程。
美国在算法审计方面走在世界前列，当然，该行业仍处在发展初期。2016年，美国政府关于算法系统和民权的报告鼓励了算法审计业的发展。2021年，推特机器学习伦理、透明度与责任小组的主管拉曼·乔杜里(Rumman Chowdhury)指出，只有大约10到20家信誉良好的公司提供算法审查。不少公司也有自己的内部审计团队，在向公众发布算法之前对其进行审查。
算法审计可分为外部审计和内部审计两种。从外部审计角度看，监管部门推动算法审计至少可以有四方面作用。一是评估某些算法是否合法合规，如监管部门审计银行的放贷算法，以评估其是否确实能够在不增加不良率的情况下做好风控；二是评估算法是否符合经济社会运行规律，是否能避免“劣币驱逐良币”现象。三是评估算法供应商和买家的风控能力， 通过算法审计来评估相应企业面临的道德和声誉风险，以及在出现风险时的补救能力；四是为平台企业的利益相关方增加算法方面的信息透明度，帮助他们在投资、与平台打交道等方面做出知情选择。
从内部审计角度看，算法的评估和审计规划应作为企业或者组织发展规划的一部分。具体来说，内部审计部门需要评估组织内的数据和算法现状、由此产生的风险和挑战，以及重大的机遇和利益。算法内部审计流程可以包括项目实施前或实施后审查，以及容许算法内部审计人员参与治理和指导相关算法的设计和执行。算法内部审计的重点，可以包括数据是如何被运用的、算法的执行流程和技术控制等。
在算法审计路径方面有两种思路。一种重视算法代码透明化，另一种重视对输入输出和结果的评估，本文建议重视对输入输出和结果的评估算法审计思路。这两种思路的差别是，算法代码透明化的安排下，将要求企业给出核心算法程序，由独立第三方企业或者公共机构直接评估算法程序是否合理。这一安排的弊端在于，可能会涉及被审计企业的核心商业机密而被拒绝；而审查机构也无从知晓平台提供的算法与实际运行的算法是否完全一致。而重视输入输出和结果的审计安排中，输入审计是指要求平台明确，在个性化服务的时候，依据的是哪些重点维度；输出审计就是指要求平台报告依据算法，最主要追求的是什么样的目标，比如公平究竟是什么；同时要求平台报告算法相关成效，并评估相关成效。
就算法审计的具体框架而言，内部审计和外部审计均可考虑如下算法安排：①预测或优化目标。阐明算法设计时如何考量利益相关方核心利益(如滴滴司乘双方的人身安全、外卖中消费者按时获得优质服务而商家获得应有收入)，以及算法实施时预测或优化的具体指标。对实际的预测或优化指标与想要达到的预测或优化指标之间的差异进行说明。②对算法训练和算法评估及选择中用到的数据进行说明。描述数据中各个指标的含义，阐明数据是如何收集的，排除一些数据的原因是什么(例如，数据质量)，数据对整个利益相关方群体是否具有代表性等等。③算法使用的技术。说明哪些技术(例如，回归分析、神经网络、随机森林等)被尝试过，采纳最终算法的原因是什么。④算法运行效果。包括预测精度、与利益相关方核心利益相关指标的结果，等等。⑤有关个人信息保护和数据安全的具体安排。
就算法审计的具体评估尺度而言，可以借鉴国外一些审计框架。如从歧视、有效性、透明度、直接影响、安全和可获得性这五个方面。其中，歧视包含社会性歧视和统计歧视程度；有效性包括准确性、稳定性、可复制性以及数据使用效率程度等；透明度包含数据架构的透明程度、可解释性、平台使用透明度、数据收集与使用透明度这四个方面；直接影响包含对误用滥用可能性的评估和违法可能性的评估；安全性指算法和数据在使用中的可获得性与安全性这两个维度等。
当然，算法审计在设计中也需要有所为有所不为。例如，2018年《哈佛商业评论》载文讨论了ProPublica对用于决定犯罪嫌疑人再犯概率算法的调查。ProPublica记者发现，与没有再犯罪的白人相比，没有再犯罪的黑人被算出再犯罪的概率更高。但这是不是种族歧视的证据呢？事实证明，运用该算法，如果黑人和白人得到的是类似的高分，那么他们再犯罪的概率与种族无关，这实际上满足了另一个重要的 “公平”概念。 随后的学术研究表明，一般来说，不可能同时满足两种公平标准。究竟哪种公平更重要，不应是算法审计的目标；算法审计以遵行当下政府和公众的主流价值观为目标。
总体来看，算法审计为算法治理提供了新思路，其核心是通过恰当的治理机制设计、通过发展技术解决新技术带来的问题，尽量避免“一刀切”式监管。通过为平台企业算法在上述五大维度及其分项按照合规程度作高中低等分级打分，帮助利益相关方和社会公众对平台的算法合规程度有全面的了解，从而推动企业有更高的积极性用合规算法来推动自身发展、推动数字经济的健康成长。
作者 沈艳 北大国发院教授、北大数字金融研究中心副主任
文章来源：中新经纬
访问学者申请
EMAIL
北京大学
ENGLISH
