IBM开放源码Python工具包,用于检测和消除偏倚(30个度量,9个算法)

徐大白
2个月前 阅读 128 点赞 1

概述

IBM已经开发了一套工具包来处理数据集和算法中的偏倚。

该工具包包含30个公平性度量和9个最新的算法。

Python代码和详细文档以及详细的安装说明可在GITHUB上获得。


介绍

偏倚是机器学习模型中的一个重要问题。我们常常在急于构建模型的时候浏览一下数据,然后当模型在现实世界中不能很好地转换时,就会抓狂。这是一个普遍存在的问题,专家们多年来一直试图缓解这一问题。

考虑到这一挑战的严重性,IBM已经发布了一个工具包,该工具包包含数据集和模型的一组“公平性度量”,这些度量的解释,以及可以处理所发现的任何偏差的算法。最好的部分是什么?它是开源的(在Python中)!检查下面的链接,让你自己开始:

官方网站详情

GitHub知识库


该工具包被正式命名为“AI公平360开源工具包”,包含30多个公平度量和9个算法,旨在处理偏差。这些算法是最先进的,并在下面提到:

  • 优化预处理
  • 不同冲击去除剂
  • 均衡赔率后处理
  • 再称重
  • 拒绝期权分类
  • 偏见Remover Regularizer
  • 校准均衡赔率后处理
  • 学习公平表征
  • 对抗性减偏


上面提到的官方站点在不同的行业功能中有多个教程,让您了解如何使用该工具包。这些包括信用评分,医疗支出,性别偏见的面部识别。你还在等什么?开始吧!


小结

我们需要记住,数据不仅仅是电子表格上的数字,而是与人类联系在一起的。偏倚是一个全能的问题。我无法充分强调处理这个问题的重要性,尤其是当我们运行直接影响生活的算法时。

你能想象一个信用风险模型,或者一个贷款违约模型,把那些最需要钱的人拒之门外吗?他们完全符合这个条件,但是由于数据的一些偏差,以及随后的模型,我们没有考虑这个方面。不可接受,对吧?让我们记住下一次我们工作的项目,并尝试使用这个工具包,如果其他已知的方法不工作。

| 1
登录后可评论,马上登录吧~
评论 ( 1 )
像徐大神学习
回复
1个月前