医疗领域的人工智能(AI)技术有可能实现诊断自动化，减少医生的工作量，甚至为农村地区或发展中国家的人们带来专业的医疗保健。然而，随着可能性而来的是潜在的陷阱。

马里兰大学医学院(UMSOM)的研究人员分析了用于从医学图像中创建AI算法的众包数据集，发现大多数不包括患者人口统计数据。在3月<>日发表在《自然医学》上的研究中，研究人员还发现，这些算法也没有评估固有的偏见。这意味着他们无法知道这些图像是否包含具有代表性的人口样本，例如黑人，亚洲人和美洲原住民。

根据研究人员的说法，美国的大部分医学已经充满了对某些种族，性别，年龄或性取向的偏袒。当成百上千个数据集组合在这些算法中时，单个数据集中的小偏差可能会被大大放大。

“这些深度学习模型可以诊断医生看不到的东西，例如一个人何时可能亡或比我们已知的测试早七年检测到阿尔茨海默病 - 超人的任务，”高级研究员Paul Yi博士说，UMSOM诊断放射学和核医学助理教授。他还是马里兰大学医学智能成像(UM2ii)中心的主任。“因为这些人工智能机器学习技术非常擅长大海捞针，它们还可以定义性别、性别和年龄，这意味着这些模型可以使用这些特征做出有偏见的决定。

大型研究中收集的大部分数据往往来自相对容易获得医疗保健的人。在美国，这意味着数据倾向于男性与女性，以及白人而不是其他种族的人。由于美国倾向于比世界其他地区进行更多的成像，这些数据被编译成有可能在全球范围内倾斜结果的算法。

对于当前的研究，研究人员选择评估数据科学竞赛中使用的数据集，其中计算机科学家和医生从世界各地众包数据，并尝试开发最佳，最准确的算法。这些比赛往往有排行榜，对每种算法进行排名并提供现金奖励，激励人们创造最好的算法。具体来说，研究人员研究了医学成像算法，例如评估CT扫描以诊断脑肿瘤或肺部血栓的算法。在分析的23项数据竞赛中，61%不包括年龄，性别或种族等人口统计数据。没有一项比赛对代表性不足或弱势群体的偏见进行评估。

“我们希望通过在这些数据竞赛中提高对这个问题的认识 - 如果以适当的方式应用，解决这些偏见的潜力巨大，”主要作者，UM2ii中心项目协调员Sean Garin说。

该研究的作者还鼓励未来的比赛不仅需要高精度，还需要不同人群之间的公平性。

“随着人工智能模型在医学成像和其他医学领域变得越来越普遍，重要的是要识别和解决可能加剧临床护理中现有健康不平等的潜在偏见 - 这是每个学术医疗机构的基本优先事项，”UMSOM院长Mark T. Gladwin博士说，马里兰大学医学事务副校长巴尔的摩分校， 以及John Z.和Akiko K. Bowers杰出教授。