Illustration by Mario Wagner

2014年，当Allegheny人类服务部的官员提出使用自动化的工具时，他们并没有决定是否要使用这些工具。但他们想公开这样的新系统。该部门数据分析研究和评估办公室副主任Erin Dalton说，“他个人非常反对使用政府资金提出黑盒的解决方案”。

Allegheny Family Screening Tool （AFST）项目是2016年8月发起的。对每个打进热线的电话，呼叫中心职员会看到一个自动风险评定系统给出的分值，范围为1～20，分值越大代表风险越高。目前的情况是呼叫中心职员得出的结论并不必须与算法给出的风险分值一致，但政府部门希望这两个结果能够保持一致性。

预测犯罪改革

随着AFST项目的应用，Dalton希望有更多的人能帮助发现该系统是否存在偏见。2016年，她与卡内基梅隆大学的数据分析师Alexandra Chouldechova一起分析了该软件是否对特定群体存在歧视。Chouldechova也一直在研究算法本身可能存在的一些偏见。

今年5月，新闻网站ProPublica报道说佛罗里达州Broward县法官使用了一款可以帮助决定罪犯在审判前是否可以保释的商业软件COMPAS。记者通过分析发现该软件对黑人被告存在偏见，因为该软件对黑人的打分有很大比例是假阳性的，也就是说软件给出的风险值很高，但在之后被没有被控诉。COMPAS算法的开发者称该工具是没有偏见的，在预测评分较高的白人被告和黑人被告再犯罪的准确率是相当的。

研究算法偏见的研究人员说有许多方法来定义公平，而其中一些方法是互相矛盾的。

假设刑事司法使用的系统可以给两组人（蓝色和紫色）评定再次被捕的风险。历史数据表明，紫色组被捕的概率略高，所以模型更容易会将紫色组的人分类为高风险。即使模型开发人员尽力去弥补这种偏见，但模型根据数据集的学习可能也会得出这样的关联。

高风险的状态不能完美预测被捕率，但算法开发者尝试让预测是公正的：对两组人来说，高风险对应2年内被捕的概率是2/3。未来被捕的概率可能不会遵循过去的模型。但举一个简单的例子，假设蓝色组中有3/10最终被捕，紫色组中有6/10最终被捕。

在蓝色组中，1/7的人被误认为是高风险的；紫色组中，1/2的人被误认为是高风险的。所以紫色组看起来更像是“假阳性的”——被误认为是高风险的。

因为蓝色和紫色组成员以不同的比例被再次逮捕，所以很难去得到一个预测的公平性，也无法让假阳性率相等。有人就会认为紫色组的假阳性率太高本身就是一种歧视。但也有研究人员认为这并不足以说明算法存在偏见。

事实上，有很多的方法来定义公平。那么从数学的角度讲，计算机科学家Arvind Narayanan在今年2月的会议上做了题为“21 fairness definitions and their politics”的演讲。一些研究人员也研究了ProPublica的案例，他们认为这确实不足以证明算法存在偏见；但确实映射出了一种统计假象。

有些人认为ProPublica强调许多机构缺乏资源和合适的算法评估工具。芝加哥大学数据科学和公共政策中心主任Rayid Ghani说，雇佣Northpointe的政府机关没有给他们一个好的定义，政府需要学习和训练如何向这些系统寻求帮助，如何定义度量的标准来确保供应商、咨询者和研究者给出的系统的公平的。

Allegheny县的经验说明了驾驭这些问题的难度。Chouldechova发现他们的公司也存在同样的统计不平衡性。该模型有一些不想要的特征，这种错误率在种族和民族方面的期望要高很多，但是原因尚不清楚。Allegheny县和Vaithianathan团队也在考虑使用其他的模型来降低这种不平衡性。

虽然统计不平衡性是一个问题，算法中的不公平可能会加强社会中的不公平现象。比如， COMPAS这样的算法可能会用来预测未来犯罪情况，但只能利用一些可度量的指标来进行预测，比如再次被捕。即使我们准确预测了一些事情，但我们准确预测的事情也可能是不公平的。

卡姆登（美国新泽西州）的检查用自动化工具来预测哪些区域需要巡逻。

图片来源:Timothy Clary/AFP/Getty

Allegheny使用的工具同样饱受诟病。作家、政治学者Virginia Eubanks说，不论算法是不是准确的，输入本身就是不公平的，因为黑人和两种人种（两种肤色结合）的家庭更容易被举报。而且，因为该模型使用的数据是Allegheny系统中的公共服务信息，因为使用这些服务的家庭总体来说比较穷，所以算法对这种家庭更多监管本身也是不公平的。Dalton承认数据本身是有限的，但她认为这样的工具还是很有必要的。

芝加哥大学、剑桥大学、斯坦福等高校和科研机构都在进行这类算法的研究。地区检察官办公室分析师Maria McKee说，“我们知道什么是对的，什么是公平的，但是我们没有工具或研究成果来准确地解释。”

算法确实需要更多的透明性，当算法不审计、不评审、不进行公开讨论、形成闭环的时候就会产生一些问题。但算法如何公开也是一个问题，而且算法的透明性和隐私性也可能会存在冲突。泄漏太多算法工作原理的信息可能会让有些人去探测系统。

算法审计的一个障碍是机构不会收集预测工具使用的过程信息和性能信息。算法不透明的原因是因为没有可共享的信息。California立法机关起草了一个法案草案，呼吁风险评定工具帮助减少被告必须支付保释金的频率，因为人们认为这是一种惩罚低收入被告的方式。Goel希望该法案批准收集法官不同意工具产生的结果的情况。这样做的目的是在维护公共安全的同时尽量减少监禁的情况。因为需要一些正当程序（due process）基础设施来确保算法是可审计的。今年4月，AI Now Institute就列出了公共机构感兴趣的算法决策工具负责任的应用，还呼吁社区参与来给予市民申诉有关自己的决策的能力。

许多人也希望法律可以强制实现这样的目标。在美国，一些消费者保护规则在有不利于公民的决策产生时，会给公民一个详细的解释。在法国，关于解释的权利和争议处理的立法可以追溯到20世纪70年代。

最大范围的一次测试就是欧盟的GDPR，该法案于今年5月25日正式实施。其中的一些条款看似在推动算法可审计性，比如自动决策过程实例中的逻辑相关信息的权利等。但牛津互联网研究院数据伦理学家Brent Mittelstadt认为，GDPR也可能会阻碍算法可审计性。因为它为那些需要评估公平性的人创造了一个雷区。

测试算法是否存在偏见最好的办法就是让相关人员了解相关的属性。但GDPR对敏感信息使用的限制太严厉、罚金太高，以致评估算法的公司可能没有太多的动机去处理这些信息。所以说，这对我们评估公平性的能力来说可能是一种限制。

而且一些GDPR的规则只适用于全自动化的系统，这会将那些算法做出参考决策、人类做最终决定的情况排除在外。

同时，研究人员正在向那些并未受到公共监管的领域中的算法歧视进行检测。企业可能并不愿意去讨论他们是如何解决公平性的，因为这首先承认了他们存在公平性的问题。即使存在这样的问题，企业的行为可能也只是去缓解而不是彻底消除歧视。最近，微软和Facebook都声明正在开发检测算法歧视的工具。

还有研究人员尝试从外部去找出商业算法中的歧视问题。比如，通过向求职网站投递简历来检测性别歧视问题。今年5月，Ghani发布了一个开源软件Aequitas，该软件可以帮助工程师、政策制定者、数据分析师等来审计机器学习模型中的歧视问题。

还有研究人员选择了不同的研究方向。比如，刑事司法应用和其他领域目前主要是构建算法模型来预测犯罪。还有一种更好的方式就是找出人们犯罪的影响因素，然后进行干预，达到降低犯罪率的目的。

Vaithianathan目前仍在继续推广她的虐童预测模型，同时她也意识到需要构建更好的算法。在复杂的系统中，算法不可能像直升机一样直上直下，必须要有理解全局的人来帮助实施。但无论如何都会遇到一些挑战，所以在没有直接答案和完美解决方案之前，算法透明应该是最好的策略。