偏见:人工智能在应对冠状病毒方面的局限性

“偏见”:人工智能在应对冠状病毒方面的局限性

随着冠状病毒大流行的持续,种族和性别在感染和死于Covid-19中的社会经济影响已被暴露出来。人工智能在应对中发挥着关键作用,但它也可能加剧我们卫生系统内部的不平等——这是一个将该技术的局限性重新拉回到聚光灯下的关键问题。

对危机的反应在很多方面都是由数据介导的——人工智能算法利用信息爆炸来更好地理解和解决问题新型冠状病毒肺炎包括跟踪病毒的传播和制定治疗干预措施。

人工智能就像它的人类创造者一样,也无法避免偏见。这项技术——通常旨在消化大量数据并进行推理以支持决策——反映了人类的偏见,人类开发了这项技术,并为其提供了用于产生结果的信息。例如,几年前亚马逊该系统开发了一种人工智能工具,通过学习过去的招聘来帮助对求职者进行排名,该系统模仿了其创造者的性别偏见,降低了女性简历的等级。“我们看到AI Covid-19之前被广泛使用,在Covid-19你看到增加的使用某些类型的工具,”梅雷迪斯•惠塔克指出,纽约大学的一位著名的科学家在美国和联合创始人AI现在研究所进行研究研究人工智能的社会影响。

监控监视在家工作的白领的工具,以及声称能检测学生考试是否作弊的教育工具越来越普遍。但是惠特克说,大多数这种技术还没有经过测试,其中一些已经被证明是有缺陷的。然而,她补充说,这并没有阻止公司将其产品营销为治疗大流行造成的附带损害的灵丹妙药。

例如,在美国,一个契约医疗设备这种名为“脉搏血氧仪”的仪器旨在测量血液中的氧气水平,它让一些冠状病毒患者粘在它的小屏幕上,决定什么时候去医院,此外,医生还使用它来帮助医院的临床决策。然而,该设备的工作方式很容易受到种族偏见的影响,而且很可能是根据肤色浅的用户进行校准的。早在2005年,一项研究就明确表明,该设备“往往会将非白人的(氧)饱和度高估几个点”。

惠特克说,脉搏血氧计装置的问题几十年来就已经为人所知,但制造商尚未解决。“但即便如此,这些工具正在被使用,它们产生数据,这些数据将继续塑造用于医疗保健的诊断算法。因此,你看,即使在我们的人工智能系统的构建层面上,它们也编码着同样的偏见、同样的种族主义和歧视历史,这些在Covid-19的背景下清楚地显示出来。”

证据

与此同时,随着大量证据的积累,有色人种更有可能死于Covid-19感染在美国,这种多样性并没有必然反映在为开发药物和疫苗而命名的一系列临床试验中——这种令人不安的模式早在美国流感大流行.在性别多样性方面,最近的一项审查发现,在与Covid-19相关的927项试验中,超过一半明确排除了怀孕,孕妇完全被排除在疫苗试验之外。

欧盟人工智能高级专家组成员、致力于培养负责任的人工智能组织ALLAI联合创始人凯特琳·穆勒(Catelijne Muller)指出,这些临床试验产品的结果不一定代表人群。她说:“如果你用这些结果来支持人工智能算法进行未来预测,这些人在这些预测模型中也会有劣势。”

在Covid-19背景下使用人工智能技术的问题,与大流行之前困扰该技术的偏见问题没有什么不同:如果你向技术输入有偏见的数据,它就会产生有偏见的结果。事实上,现有的大型人工智能系统也反映出它们所处的环境以及建造它们的人缺乏多样性。根据AI Now研究所2019年的一份报告,这些几乎都是少数科技公司和精英大学实验室——“在西方,这些领域往往是极端白人、富裕、以技术为导向的男性。”

但惠特克表示,这项技术不仅仅反映了制造商的情况,人工智能还放大了他们的偏见。她说:“一个人可能会有偏见,但他们不会把这些偏见扩大到数百万、数十亿个决定上。”“而人工智能系统可以编码人类的偏见,然后以具有更大影响的方式传播这些偏见。”

她补充说,让事情变得更复杂的是,人们对自动化偏见的担忧。“人们倾向于相信电脑做出的决定,而不相信人类做出的决定。因此,我们需要注意人工智能系统淡化这些偏见的方式,使它们看起来严格和科学,可能会导致人们不太愿意质疑这些系统做出的决定。”

安全

专家们表示,对于如何让人工智能技术集体负责和安全,目前还没有明确的共识,尽管研究人员正开始就公平性、可解释性和健壮性等有用步骤达成一致。

根据穆勒的说法,第一步是问“零问题”:我的问题是什么,我该如何解决它?我是用人工智能还是用其他方法解决?如果有人工智能,这个应用程序足够好吗?它是否损害了基本权利?“我们看到的是,许多人认为有时人工智能是一根魔杖,它可以解决一切问题。但有时它并不能解决任何问题,因为它不适合这个问题。有时它是如此具有侵略性,它可能解决了一个问题,但却产生了一个大的、不同的问题。”

Muller说,在应对Covid-19的情况下使用AI时,数据会大量涌现,但这些数据需要可靠并得到优化。“数据不能直接扔给另一种算法,”她解释说,算法是通过寻找相关性来工作的。“他们不知道病毒是什么。”

英国阿兰·图灵研究所(Alan Turing Institute)人工智能项目主管阿德里安·韦勒博士(Dr Adrian Weller)表示,人工智能的公平问题表明了人类决策中的偏见。他说,认为不使用算法就意味着一切都会好的想法是错误的。威勒说,人们对这些系统抱有希望和兴奋之情,因为它们比人类运行得更连贯和高效,但它们缺乏常识、推理和上下文的概念,而人类在这些方面做得更好。

问责制

让人类更多地参与决策过程是让人工智能应用程序承担责任的一种方式。但是弄清楚这个人应该是谁是至关重要的。惠特克说:“简单地让一个人参与进来并不能保证做出好的决定。”她说,还有一些问题需要解决,比如人类为谁工作以及他们在何种激励下工作。“我认为我们真的需要缩小“人”的宽泛范畴,看看是谁,为了什么目的。”

ALLAI的Muller和同事们在一份分析欧盟监管机构正在制定的一项提案的报告中建议,人类监督可以以多种方式纳入,以确保透明度和减少偏见。该提案旨在监管“高风险”的人工智能应用,如在招聘、生物识别或卫生部署中使用的人工智能。这包括审计AI系统的每个决策周期,监控系统的运行,有权决定在任何特定情况下何时以及如何使用系统,以及有机会推翻系统做出的决策。

惠特克认为,欧盟监管机构愿意监管美国的“高风险”应用程序或社区组织,导致面部识别技术被禁止,这些最新进展令人鼓舞。“我认为我们需要更多相同的……以确保这些系统是可审计的,我们可以检查它们,以确保它们受到民主控制,人们有权利拒绝使用这些系统。”

本文最初发表于地平线,欧盟研究与创新杂志。

订阅我们的通讯

相关文章

分散式患者监测:传感器快速检测生命体征变化

分散式患者监测:传感器快速检测生命体征变化

弗劳恩霍夫研究所的M³Infekt项目旨在开发一种多模态、模块化和可移动的传感器系统,用于监测传染病。

基于智能手表的检测病毒感染的算法

基于智能手表的检测病毒感染的算法

普渡大学(Purdue University)的工程师和physIQ公司开发了一种针对智能手表的病毒检测算法。

该设备通过唾液样本诊断Covid-19

该设备通过唾液样本诊断Covid-19

工程师们设计了一种设备,可以在大约一小时内从唾液样本中检测出SARS-CoV-2。他们表明,这种诊断方法和现在使用的PCR检测方法一样准确。

人工智能通过x光来区分最严重的COVID-19病例

人工智能通过x光来区分最严重的COVID-19病例

一种电脑程序通过分析数千张胸部x光片来识别模式,其预测COVID-19患者将在4天内出现危及生命的并发症的准确率高达80%。

一种监测生命体征的新型医疗设备

一种监测生命体征的新型医疗设备

一种由3d打印腕带组成的新设备可以远程监控患者的生命体征,如体温、氧饱和度、脉搏和呼吸频率。

用于检测COVID-19的口罩传感器

用于检测COVID-19的口罩传感器

研究人员正在开发一种变色测试条,它可以粘在口罩上,用于检测使用者的呼吸或唾液中的SARS-CoV-2。

一个免触摸的生命体征监测器

一个免触摸的生命体征监测器

科学家们已经开发出一种技术,可以完全不用接触就能监测病人的生命体征。

COVID-19:人工智能系统监测重要健康迹象

COVID-19:人工智能系统监测重要健康迹象

由于南澳大利亚大学(UniSA)的研究,COVID-19的一个关键症状——氧饱和——现在正在通过摄像机远程评估。

Withings的可穿戴设备接受医疗CE标记

Withings的可穿戴设备接受医疗CE标记

Withings在获得医疗设备CE标志后宣布ScanWatch在欧洲的可用性。

受欢迎的文章

订阅简报
Baidu