故事一

COMPAS案件——由社会不公平现状而衍生的不公平的人工智能（客观）

在美国威斯康星州，窃车的小偷卢姆斯和同伙被警察抓获，被法院判处了盗窃罪。原本，这案子并不算大，但是在卢姆斯接受了一个叫作COMPAS的软件系统的提问后，法官宣布，判处卢姆斯长达8年零6个月的有期徒刑，这大大超出了正常盗窃罪的刑期。法官给出的理由是这样的：

“根据COMPAS的测试，被告被认定为对社会具有高危险性的人。”

那么COMPAS到底是什么呢？

COMPAS是一个由私营企业编写出的、能够帮助司法人员作出判断的智能AI。

它通过向被告询问137个问题（比如“你在学校多久打一次架？”“你有多少朋友非法使用药物？”“你受过的最高教育是什么？”），还有搜索他曾经的犯罪记录，得到一堆数字，然后经过公司设定的复杂算法，最终得出一长串数据。这里面包括他的孤僻程度、犯罪型人格的得分、性格稳定度，以及最重要的——他的“危险指数”，也就是“未来再次犯罪的可能性”。

在威斯康星州的法院看来，COMPAS就是一堆冷冰冰的算法，很客观，完全不受个人情感因素的影响，因此能够更公正无私地看待案子，最大化地消除偏见。

可事实真的是这样吗？

根据ProPublica的研究，COMPAS似乎并没有那么完美。

尽管在COMPAS的137个问题中，没有关于被告“种族”的问题，这也是人们说它客观的原因之一。2016年，ProPublica却发现了很多“AI种族歧视”的情况。

比如，非洲裔女孩Brisha Borden和白人大叔Vernon Parter因为盗窃罪被捕，两人都被控窃取价值80美元的东西。女孩之前有过4次行为不当，没有入狱经历；而大叔有过两次持枪抢劫，还曾经坐过5年牢。结果女孩被COMPAS判断的危险指数是8，属于“高危”，而大叔的指数却是3，属于“一般危险”。你觉得COMPAS公平吗？

A：COMPAS完全基于以往的数据进行学习，那么也应当是和现实社会中法官的判案相一致的，自然是公平的。

B：COMPAS最大的问题在于数据来源的公平性存疑，这些过去判案的数据来自我们置身其中的并不完美的世界，本身就存在偏见。据统计，非洲裔被误判的概率是白人的6倍。根据本身存在偏见的数据学习的AI也很难做到客观，因此相对而言是不公平的。如果希望AI可以减少判案的不公平因素，那么COMPAS就需要通过公平的判案数据进行学习。