打击偏见,外部审计正成高风险AI决策的必需品

时间:2019-08-25 来源: 河南新闻

  猎云网昨天我要分享

  

[狩猎云网] 7月25日报道(编译:油人)

今天的人工智能系统在贷款,医疗诊断和假释方面的决策中发挥着重要作用。而且因为它们也是不透明的系统,所以它们容易产生偏差。在缺乏透明度的情况下,我们永远不会知道为什么一名41岁的白人男性和一名18岁的黑人女性犯下类似的罪行,并被人工智能软件评为“低风险”和“高风险”。

出于商业和技术原因,目前不会自动生成对大多数人工智能决策的高保真解释。这就是为什么我们应该促进负责高风险决策的AI系统的外部审计。大规模自动化审计可以系统地检测AI系统并检测偏差或其他不良行为模式。

最臭名昭着的黑匣子AI偏见的例子是美国司法系统中使用的软件,用于推荐量刑和罚款。 ProPublica对用于假释决策的最广泛使用的再犯算法之一的分析揭示了潜在的重大偏见和不准确性。在探索更多信息时,创建者拒绝共享其专有算法的细节。这种保密使被告难以在法庭上质疑这些决定。

事实上,媒体还报道了许多其他情况下的人工智能偏见,例如一个可怕的机器人,告诉亚洲人在通过护照时“睁开眼睛”;例如,面部识别系统不识别黑色皮肤和女性面部。太准确了;例如,人工智能招聘工具歧视妇女。

作为回应,监管机构试图通过所谓的“可解释的人工智能”来实施透明度。例如,在美国,拒绝个人贷款申请的贷方必须提供不利决策的“具体原因”。在欧盟,GDPR要求“解释”所有高风险自动化决策的权利。

不幸的是,解释AI的挑战是艰巨的。首先,解释可以揭示专有数据和商业秘密。解释在大数据集上训练的复杂非线性神经网络模型的行为也很困难。我们如何解释从数千个输入的加权非线性组合得出的结论,每个输入为整体判断提供微观的百分点?因此,我们通常在自动解释AI决策时权衡保真度和准确性。

例如,Netflix尝试根据您之前观看过的节目来解释其推荐算法。事实上,它的建议基于众多因素和复杂的算法。

虽然Netflix建议背后的简化描述是无害的,但这种过度简化在高风险情况下可能是危险的。

即使是简单的预测模型也可能表现出违反直觉的行为。 AI模型容易受到称为辛普森悖论的一般现象的影响,其中行为是由潜在的未观察到的变量驱动的。在最近的一个案例中,研究人员发现哮喘病史可以降低患者肺炎死亡的风险。这种天真的解释可能会误导医疗保健从业者和哮喘患者。事实上,这一发现归功于那些有更多可能得到即时护理的哮喘病史者。

这不是一个孤立的事件,这些错误的结论不能用更多的数据轻易解决。虽然我们已尽最大努力,但人工智能的解释仍难以理解。

为了提高透明度,我们提倡可审计的人工智能,这是一种可以通过假设案例进行外部查询的人工智能系统。这些假设可以是合成的或真实的允许对模型进行自动,立即,细粒度的查询。这是一种监控AI系统偏见或漏洞迹象的简便方法:如果我们改变被告的性别怎么办?如果贷款申请人生活在历史上的少数族裔社区,会发生什么?

与可解释的AI相比,可审计AI具有多个优势。让中立的第三方调查这些问题比用算法控制的解释检查偏差更好。其次,这意味着软件的生产者不必暴露其专有系统和数据集的商业秘密。因此,人工智能审核可能面临较小的阻力。

审计是对解释的补充。事实上,审计可以帮助调查和验证(或无效)AI解释。例如,Netflix推荐《阴阳魔界》因为我看过《怪奇物语》。它还会推荐其他科幻小说恐怖节目吗?它是否向看过《怪奇物语》的人推荐《阴阳魔界》?

可审计人工智能的早期使用案例产生了积极影响。 ACLU最近透露,亚马逊的可审计面部识别算法几乎是错误识别的两倍。越来越多的证据表明,公共审计可以提高代表性不足群体模型的准确性。

在未来,我们可以设想一个强大的审计生态系统,提供人工智能的见解。我们甚至可以想象“AI Guardian”,一种基于审计的外部模型来构建AI系统。监管机构可以坚持认为,用于高风险决策的AI系统提供审计接口,而不是要求AI系统提供低保真度解释。

可审计的AI不是灵丹妙药。如果AI系统正在进行癌症诊断,患者仍需要准确且易于理解的解释,而不仅仅是审核。这些解释是正在进行的研究课题,预计在不久的将来可以用于商业用途。但与此同时,可审计的人工智能可以提高透明度并消除偏见。

收集报告投诉

[狩猎云网] 7月25日报道(编译:油人)

今天的人工智能系统在贷款,医疗诊断和假释方面的决策中发挥着重要作用。而且因为它们也是不透明的系统,所以它们容易产生偏差。在缺乏透明度的情况下,我们永远不会知道为什么一名41岁的白人男性和一名18岁的黑人女性犯下类似的罪行,并被人工智能软件评为“低风险”和“高风险”。

出于商业和技术原因,目前不会自动生成对大多数人工智能决策的高保真解释。这就是为什么我们应该促进负责高风险决策的AI系统的外部审计。大规模自动化审计可以系统地检测AI系统并检测偏差或其他不良行为模式。

最臭名昭着的黑匣子AI偏见的例子是美国司法系统中使用的软件,用于推荐量刑和罚款。 ProPublica对用于假释决策的最广泛使用的再犯算法之一的分析揭示了潜在的重大偏见和不准确性。在探索更多信息时,创建者拒绝共享其专有算法的细节。这种保密使被告难以在法庭上质疑这些决定。

事实上,媒体还报道了许多其他情况下的人工智能偏见,例如一个可怕的机器人,告诉亚洲人在通过护照时“睁开眼睛”;例如,面部识别系统不识别黑色皮肤和女性面部。太准确了;例如,人工智能招聘工具歧视妇女。

作为回应,监管机构试图通过所谓的“可解释的人工智能”来实施透明度。例如,在美国,拒绝个人贷款申请的贷方必须提供不利决策的“具体原因”。在欧盟,GDPR要求“解释”所有高风险自动化决策的权利。

不幸的是,解释AI的挑战是艰巨的。首先,解释可以揭示专有数据和商业秘密。解释在大数据集上训练的复杂非线性神经网络模型的行为也很困难。我们如何解释从数千个输入的加权非线性组合得出的结论,每个输入为整体判断提供微观的百分点?因此,我们通常在自动解释AI决策时权衡保真度和准确性。

例如,Netflix尝试根据您之前观看过的节目来解释其推荐算法。事实上,它的建议基于众多因素和复杂的算法。

虽然Netflix建议背后的简化描述是无害的,但这种过度简化在高风险情况下可能是危险的。

即使是简单的预测模型也可能表现出违反直觉的行为。 AI模型容易受到称为辛普森悖论的一般现象的影响,其中行为是由潜在的未观察到的变量驱动的。在最近的一个案例中,研究人员发现哮喘病史可以降低患者肺炎死亡的风险。这种天真的解释可能会误导医疗保健从业者和哮喘患者。事实上,这一发现归功于那些有更多可能得到即时护理的哮喘病史者。

这不是一个孤立的事件,这些错误的结论不能用更多的数据轻易解决。虽然我们已尽最大努力,但人工智能的解释仍难以理解。

为了提高透明度,我们提倡可审计的人工智能,这是一种可以通过假设案例进行外部查询的人工智能系统。这些假设可以是合成的或真实的允许对模型进行自动,立即,细粒度的查询。这是一种监控AI系统偏见或漏洞迹象的简便方法:如果我们改变被告的性别怎么办?如果贷款申请人生活在历史上的少数族裔社区,会发生什么?

与可解释的AI相比,可审计AI具有多个优势。让中立的第三方调查这些问题比用算法控制的解释检查偏差更好。其次,这意味着软件的生产者不必暴露其专有系统和数据集的商业秘密。因此,人工智能审核可能面临较小的阻力。

审计是对解释的补充。事实上,审计可以帮助调查和验证(或无效)AI解释。例如,Netflix推荐《阴阳魔界》因为我看过《怪奇物语》。它还会推荐其他科幻小说恐怖节目吗?它是否向看过《怪奇物语》的人推荐《阴阳魔界》?

可审计人工智能的早期使用案例产生了积极影响。 ACLU最近透露,亚马逊的可审计面部识别算法几乎是错误识别的两倍。越来越多的证据表明,公共审计可以提高代表性不足群体模型的准确性。

在未来,我们可以设想一个强大的审计生态系统,提供人工智能的见解。我们甚至可以想象“AI Guardian”,一种基于审计的外部模型来构建AI系统。监管机构可以坚持认为,用于高风险决策的AI系统提供审计接口,而不是要求AI系统提供低保真度解释。

可审计的AI不是灵丹妙药。如果AI系统正在进行癌症诊断,患者仍需要准确且易于理解的解释,而不仅仅是审核。这些解释是正在进行的研究课题,预计在不久的将来可以用于商业用途。但与此同时,可审计的人工智能可以提高透明度并消除偏见。 。

频道热点
  1. ?巴黎圣母院进行无铅污染控制项目至少十天来源/AFP封锁线。公共道路关闭,所有车辆都被绕过。法新社援引法国文化部的一份报告称,当局将在巴黎圣母院周围地区采取污染控制措施,以清除渗透土壤的铅物质。去污工
  2. ?巴黎圣母院进行无铅污染控制项目至少十天来源/AFP封锁线。公共道路关闭,所有车辆都被绕过。法新社援引法国文化部的一份报告称,当局将在巴黎圣母院周围地区采取污染控制措施,以清除渗透土壤的铅物质。去污工
  3.   俗语“水过百天自生鱼”,鱼是哪里来的?老祖宗的经验靠谱吗?  文|龙吟啸(原创文章,版权归本作者所有,欢迎个人转发分享)  最近天气非常炎热,但是对于许多钓鱼爱好者来说,天气炎热也不会阻挡他们钓
  4. 1526最好的生活油性青椒成分:青椒(辣);酱油;盐做法:1.将青椒洗净,从根部取出种子,用刀背将其压碎。2.加热炒锅,将油放入小火中。将青椒加入微炒,炖约2分钟。翻过来继续炖,直到青椒皮皱
  5. ?巴黎圣母院进行无铅污染控制项目至少十天来源/AFP封锁线。公共道路关闭,所有车辆都被绕过。法新社援引法国文化部的一份报告称,当局将在巴黎圣母院周围地区采取污染控制措施,以清除渗透土壤的铅物质。去污工
  6. 2019》发布1.07补丁:支持AMDFidelityFX和NVIDIADLSSSupernet2天前我想分享游戏《F12019》开发者Codemasters发布了《F12019》1.07的补丁。根
  7.   猎云网昨天我要分享  [狩猎云网]7月25日报道(编译:油人)今天的人工智能系统在贷款,医疗诊断和假释方面的决策中发挥着重要作用。而且因为它们也是不透明的系统,所以它们容易产生偏差。在缺乏透明度
  8. 1723柠檬午餐时间每个人都知道猪皮含有高蛋白质含量,对人体皮肤,肌腱,骨骼和头发有很多好处,用猪皮制成的食物,如果冻和火腿,非常坚韧和口味。特别好,有很多人特别喜欢猪皮。我是他们其中的一员
  9.   猎云网昨天我要分享  [狩猎云网]7月25日报道(编译:油人)今天的人工智能系统在贷款,医疗诊断和假释方面的决策中发挥着重要作用。而且因为它们也是不透明的系统,所以它们容易产生偏差。在缺乏透明度
  10. ?巴黎圣母院进行无铅污染控制项目至少十天来源/AFP封锁线。公共道路关闭,所有车辆都被绕过。法新社援引法国文化部的一份报告称,当局将在巴黎圣母院周围地区采取污染控制措施,以清除渗透土壤的铅物质。去污工
新闻排行
  1. 随着时代的发展和进步,我们已经到了信息时代。第二次世界大战结束后,大多数国家也恢复了和平,走上了和平

    随着时代的发展和进步,我们已经到了信息时代。第二次世界大战结束后,大多数国家也恢复了和平,走上了和平...

  2. ?日美贸易协定谈判加快!或者在9月底,联合国安理会将设立一个特别活动月内,日本和美国还将举行部长级磋商,为9月底在纽约举行的联合国大会期间的领导人首脑会议铺平道路。在完成参议院的重新选举后,日本安倍政

    ?日美贸易协定谈判加快!或者在9月底,联合国安理会将设立一个特别活动月内,日本和美国还将举行部长级磋商,为9月底在纽约举行的联合国大会期间的领导人首脑会议铺平道路。在完成参议院的重新选举后,日本安倍政...

  3.   最绍兴2天前我要分享  环湖核心该区即将开工建设今年年初,浙江省城市建设行动计划发布,绍兴镜湖新?

      最绍兴2天前我要分享  环湖核心该区即将开工建设今年年初,浙江省城市建设行动计划发布,绍兴镜湖新?...

  4. 原来喜欢吃鸡爱的moba4天前我想分享大家好,这里是每天想要发快递的Muller游戏。随着绝地生存水平的提高,?

    原来喜欢吃鸡爱的moba4天前我想分享大家好,这里是每天想要发快递的Muller游戏。随着绝地生存水平的提高,?...

  5. ?目前,市场上的侧吸式吸油烟机仍存在一些缺陷。什么产品最好?事实上,由于侧吸的设计缺陷,侧吸油烟机的吸烟性能一直受到消费者的批评。与顶吸式罩的直接排放全覆盖相比,侧吸式吸油烟机的吸烟能力并不理想。最近

    ?目前,市场上的侧吸式吸油烟机仍存在一些缺陷。什么产品最好?事实上,由于侧吸的设计缺陷,侧吸油烟机的吸烟性能一直受到消费者的批评。与顶吸式罩的直接排放全覆盖相比,侧吸式吸油烟机的吸烟能力并不理想。最近...

  6. 裁判分数应保证胎儿的合法权益和利益关键知识规定胎儿的遗传继承,接受礼物和其他利益受到保护,胎儿被认为

    裁判分数应保证胎儿的合法权益和利益关键知识规定胎儿的遗传继承,接受礼物和其他利益受到保护,胎儿被认为...

  7. 目前,年轻人的泛娱乐生活丰富多彩。老人的空间很小,他们也有自己的精神娱乐需求,也需要一个展示才华的平

    目前,年轻人的泛娱乐生活丰富多彩。老人的空间很小,他们也有自己的精神娱乐需求,也需要一个展示才华的平...

  8. ?    查看最新行情中国造车新势力梦断美国PINGWEST    曾经热热闹闹伫立在旧金山街角的一幢小楼已经人去楼空。而这里几个月前还属于一家远渡重洋来自中国的车企蔚来汽车。  而同一时期浩浩荡荡“

    ?    查看最新行情中国造车新势力梦断美国PINGWEST    曾经热热闹闹伫立在旧金山街角的一幢小楼已经人去楼空。而这里几个月前还属于一家远渡重洋来自中国的车企蔚来汽车。  而同一时期浩浩荡荡“...

  9. ?华龙网-8月5日14:50重庆新客户(记者李伟实习生艾培岳)今日(5日),华龙网-新重庆客户记者从大渡口区巴南区重庆市人力资源和社会保障局获悉,垫江县,忠县等4个区县已招募126人,部分岗位将于明天

    ?华龙网-8月5日14:50重庆新客户(记者李伟实习生艾培岳)今日(5日),华龙网-新重庆客户记者从大渡口区巴南区重庆市人力资源和社会保障局获悉,垫江县,忠县等4个区县已招募126人,部分岗位将于明天...

  10. ?文字/熊组合布局/第1号客户服务不承担在我们的问答小型计划“关系学院”中,我们经常会收到有关如何邀请人们吃饭的问题。最困难的问题之一是“如何请领导吃饭”。有些同学正在抛出一个大问题。“熊大师,我应该

    ?文字/熊组合布局/第1号客户服务不承担在我们的问答小型计划“关系学院”中,我们经常会收到有关如何邀请人们吃饭的问题。最困难的问题之一是“如何请领导吃饭”。有些同学正在抛出一个大问题。“熊大师,我应该...

友情链接