人工智能也許已經(jīng)破解了某些通常需要人類智慧的任務(wù)代碼，但是為了學(xué)習(xí)，這些算法需要海量人類產(chǎn)生的數(shù)據(jù)。

算法根據(jù)數(shù)據(jù)中發(fā)現(xiàn)的模式來(lái)進(jìn)行分類或者做出預(yù)測(cè)。但這些算法的聰明程度只能跟訓(xùn)練它的數(shù)據(jù)相比。這也就意味著我們的限制——我們的偏見(jiàn)，我們的盲點(diǎn)，我們的疏忽也會(huì)變成那些算法的。Danielle Groen詳細(xì)解釋了算法是如何產(chǎn)生偏見(jiàn)的，并且介紹了一些可能的解決方案。

算法的歧視

2010年秋天的一個(gè)早晨，Safiya Umoja Noble正坐在伊利諾斯州家中的餐桌上往Google里面輸入了幾個(gè)詞。她正準(zhǔn)備給自己14歲的繼女以及5位侄女準(zhǔn)備一次sleepover（在朋友家過(guò)夜的晚會(huì)）。既不想讓孩子們碰手機(jī)，又擔(dān)心女孩們會(huì)直奔她的筆記本，Noble決定自己先查查看她們會(huì)發(fā)現(xiàn)些什么。她說(shuō)：“我原先想搜搜‘黑人女孩’，因?yàn)檫@是我喜歡一群黑人小女孩。”

但這次無(wú)傷大雅的搜索出來(lái)的東西令人警醒：結(jié)果網(wǎng)頁(yè)整整一頁(yè)都是明顯色情的網(wǎng)頁(yè)。當(dāng)時(shí)任何人搜索黑人女孩都會(huì)得到一樣的東西。Noble說(shuō)：“幾乎所有有色人種女孩的搜索結(jié)果都是超級(jí)色情的內(nèi)容，哪怕退一步說(shuō)這也非常的令人失望。”現(xiàn)在是南加州大學(xué)傳播學(xué)教授的Noble說(shuō)：“我只好把計(jì)算機(jī)也收起來(lái)，希望女孩子們不會(huì)提出要玩電腦的要求。”

大概與此同時(shí)，在另一個(gè)地方，Joy Buolamwini也發(fā)現(xiàn)了另一個(gè)表示問(wèn)題。這位父母來(lái)自加納、在加拿大出生的女計(jì)算機(jī)科學(xué)家意識(shí)到一些先進(jìn)的熱戀識(shí)別系統(tǒng)，比如微軟使用的那些系統(tǒng)，在檢測(cè)她的黑皮膚方面有很大的困難。有時(shí)候程序根本就不知道她的存在。當(dāng)時(shí)是喬治亞理工學(xué)院一名學(xué)生的她正在做一個(gè)機(jī)器人項(xiàng)目，結(jié)果發(fā)現(xiàn)本該要跟人類用戶玩躲貓貓的那個(gè)機(jī)器人沒(méi)法把她給辨認(rèn)出來(lái)。后來(lái)她只有靠室友的淺膚色的臉才完成了項(xiàng)目。

2011年，在香港的一家初創(chuàng)企業(yè)那里，她又用另一個(gè)機(jī)器人去試試自己的運(yùn)氣——結(jié)果還是一樣。4年后，身為MIT碩士研究生的她發(fā)現(xiàn)最新的計(jì)算機(jī)軟件仍然看不到她。不過(guò)當(dāng)Buolamwini敷上一種萬(wàn)圣節(jié)用的白色面具時(shí)，技術(shù)識(shí)別就很順利了。她靠化裝才完成了自己的項(xiàng)目。

臉部識(shí)別和搜索引擎只是人工智能的兩個(gè)應(yīng)用而已。這是一個(gè)訓(xùn)練計(jì)算機(jī)執(zhí)行通常只有人腦才能處理的任務(wù)的學(xué)科，牽涉到數(shù)學(xué)、邏輯、語(yǔ)言、視覺(jué)以及運(yùn)動(dòng)技能等。（就像色情一樣，智能這東西很難定義，但是當(dāng)你看到時(shí)你就會(huì)知道。）無(wú)人車可能還沒(méi)那么快可以上路，但虛擬助手，比如Alexa等已經(jīng)可以幫你在喜歡的咖啡廳預(yù)定中午會(huì)議了。語(yǔ)言處理的改進(jìn)意味著你可以在手機(jī)用英語(yǔ)看一張翻譯過(guò)的俄羅斯報(bào)紙。推薦系統(tǒng)極其擅長(zhǎng)根據(jù)你的品味選擇音樂(lè)或者建議Netflix系列片供你度過(guò)周末。

這些評(píng)估會(huì)影響我們的生活，但這并不是AI系統(tǒng)介入的唯一領(lǐng)域。在某些情況下，要緊的只是我們的時(shí)間：比方說(shuō)，當(dāng)你打電話給銀行請(qǐng)求支持時(shí)，你在等待列表中的位置未必是順序的，而是要取決于你作為客戶對(duì)銀行的價(jià)值如何。（如果銀行認(rèn)為你的投資組合更有前途的話，你的等待時(shí)間也許就只有3分鐘而不是11分鐘）但是AI也日益影響到我們的就業(yè)、我們對(duì)資源的使用以及我們的健康。

申請(qǐng)跟蹤系統(tǒng)掃描簡(jiǎn)歷，尋找關(guān)鍵字以便為招聘經(jīng)理排出一個(gè)短名單。算法還在評(píng)估誰(shuí)有資格拿到貸款，數(shù)倍追究欺詐責(zé)任。風(fēng)險(xiǎn)預(yù)測(cè)模型識(shí)別哪一位病人更有可能在45天內(nèi)再次入院并且能從免費(fèi)照顧與延續(xù)服務(wù)中受益最大。

AI還告訴當(dāng)?shù)鼐胶桶踩块T該去哪里。2017年3月，加拿大邊境服務(wù)局宣布將在最繁忙的國(guó)際機(jī)場(chǎng)實(shí)現(xiàn)人臉識(shí)別軟件；好幾個(gè)地方的報(bào)攤現(xiàn)在開始用這套系統(tǒng)來(lái)確認(rèn)護(hù)照身份，“提供自動(dòng)化的旅行者風(fēng)險(xiǎn)評(píng)估”。自2014年開始卡爾加里警方已經(jīng)運(yùn)用人臉識(shí)別將視頻監(jiān)控與面部照片進(jìn)行比對(duì)，去年秋天，多倫多警察服務(wù)局宣布將用部分撥款實(shí)現(xiàn)類似技術(shù)。

跟傳統(tǒng)警方僅對(duì)已發(fā)生事件作出反應(yīng)不同，預(yù)測(cè)性治安維護(hù)會(huì)依靠歷史模式和統(tǒng)計(jì)建模在某種程度上預(yù)測(cè)哪一個(gè)街區(qū)的犯罪風(fēng)險(xiǎn)更高，然后引導(dǎo)巡邏車去到那些熱點(diǎn)。美國(guó)的主要轄區(qū)已經(jīng)推出了這一軟件，去年夏天，溫哥華成為加拿大推出類似舉措的首座城市。

這些技術(shù)因其效能、成本效益、可伸縮性以及有望帶來(lái)中立性而受到重視。AI初創(chuàng)企業(yè)Integrate.ai的產(chǎn)品副總裁Kathryn Hume說(shuō)：“統(tǒng)計(jì)系統(tǒng)有一層客觀性與權(quán)威性的光環(huán)。”人類決策有可能會(huì)混亂、不可預(yù)測(cè)，并且受到情緒或者午飯過(guò)去多少小時(shí)的影響，而“數(shù)據(jù)驅(qū)動(dòng)算法卻展現(xiàn)了一個(gè)不受主觀性或者偏見(jiàn)影響的未來(lái)。但情況其實(shí)沒(méi)那么簡(jiǎn)單。”

人工智能可能已經(jīng)破解了通常需要人類智慧的某些任務(wù)的代碼，但為了能學(xué)習(xí)，這些算法需要人類產(chǎn)生的大量數(shù)據(jù)。它們大量吸收各種信息，仔細(xì)搜查以便找出其中的共性和關(guān)聯(lián)，然后基于檢測(cè)出的模式提供分類或預(yù)測(cè)（是否癌癥，是否會(huì)拖欠還款）。但是AI的聰明程度智能跟訓(xùn)練它們的數(shù)據(jù)一樣，這就意味著我們的限制——我們的偏見(jiàn)、盲點(diǎn)以及疏忽，也會(huì)變成它們的。

今年早些時(shí)候，Buolamwini跟一位同事一起發(fā)表了對(duì)三項(xiàng)領(lǐng)先的臉部識(shí)別程序（分別由微軟、IBM和Face++開發(fā)）進(jìn)行測(cè)試的結(jié)果。測(cè)試要驗(yàn)證的是識(shí)別不同膚色種族性別的能力。超過(guò)99%的時(shí)間內(nèi)，系統(tǒng)哦歐能都能正確識(shí)別出淺膚色的人。但是考慮到數(shù)據(jù)集嚴(yán)重向白人男性傾斜，這個(gè)成績(jī)就不算什么了。

在另一個(gè)受到廣泛使用的數(shù)據(jù)集里，那個(gè)用于訓(xùn)練識(shí)別的照片是一個(gè)78%為男性，84%為白人的照片集。當(dāng)Buolamwini用黑人女性的照片測(cè)試這些程序時(shí)，算法的出錯(cuò)率接近34%。而且膚色越黑，程序的表現(xiàn)越差，錯(cuò)誤率一直都在47%左右——這幾乎跟拋硬幣差不多了。系統(tǒng)看到一位黑人女性時(shí)并不能死別出來(lái)。

因?yàn)檫@些程序都是公開的，所以Buolamwini可以計(jì)算出這些結(jié)果，然后她可以用自己的1270張照片去測(cè)試他們。她的照片集由非洲政治家和辦公室女性占比很高的北歐國(guó)家組成，為的是看看程序表現(xiàn)如何。這是一個(gè)評(píng)估某些情況下為什么技術(shù)會(huì)預(yù)測(cè)失敗的難得機(jī)會(huì)。

但是透明性是例外，不是規(guī)則。商用應(yīng)用（我們用來(lái)找工作、評(píng)信用和貸款等服務(wù)）使用的絕大部分AI系統(tǒng)都是專有的，其算法和訓(xùn)練數(shù)據(jù)是公眾看不到的。所以個(gè)人要想質(zhì)詢機(jī)器的決定或者想了解用帶人類偏見(jiàn)的歷史例子訓(xùn)練出來(lái)的算法何時(shí)不利于自己是極其困難的。想證明AI系統(tǒng)違反了人權(quán)？研究倫理、法律及技術(shù)的加拿大首席研究員Ian Kerr說(shuō)：“大多數(shù)算法都是黑箱。”因?yàn)?a target="_blank">公司會(huì)利用政府或商業(yè)機(jī)密法律來(lái)保守算法的模糊。但他補(bǔ)充道“即便組織提供完全透明，算法或AI本身也是不可解釋或者不可理解的。”

最近出版了新書《壓迫的算法》的Noble說(shuō)，大家過(guò)去也主張過(guò)自身權(quán)利，反對(duì)歧視性的貸款行為。“現(xiàn)在我們又遇到了類似歧視性的決策，只不過(guò)它是由難以理解的算法做出的——而且你還沒(méi)法呈堂證供。我們正日益陷入到那些系統(tǒng)的包圍之中——它們做出決定，給我們打分，但其實(shí)他們也是人類的產(chǎn)品，只不過(guò)我們?cè)絹?lái)越看不清楚那背后的人。”

從專家系統(tǒng)到深度學(xué)習(xí)

如果你想造一臺(tái)智能機(jī)器的話，從挖掘一位聰明人的知識(shí)開始不算壞主意。1980年代，開發(fā)者在AI方面就取得了一些早期突破，也就是所謂的專家系統(tǒng)，由有經(jīng)驗(yàn)的診斷醫(yī)生或者機(jī)械工程師幫助設(shè)計(jì)代碼去解決特定問(wèn)題。可以想想看恒溫器是如何工作的：它可以按照一系列的規(guī)則將房子保持在恒定的溫度或者當(dāng)有人進(jìn)入時(shí)排出暖氣。聽(tīng)起來(lái)似乎很不錯(cuò)，但其實(shí)這只是規(guī)則和傳感器的小花招罷了——如果[溫度低于X]則[加熱到Y(jié)]。恒溫器既不識(shí)天象也也不知道你下班后的安排，它沒(méi)法適配自己的行為。

機(jī)器學(xué)習(xí)則是人工智能的另一個(gè)分支，它通過(guò)分析模式而不是系統(tǒng)應(yīng)用規(guī)則來(lái)教計(jì)算機(jī)執(zhí)行任務(wù)。這通常是通過(guò)所謂的有監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。這個(gè)過(guò)程還需要人類的參與：程序員必須整理數(shù)據(jù)，也就是輸入，給它分配標(biāo)簽，也就是輸出，這樣一來(lái)系統(tǒng)就知道要找什么了。

比方說(shuō)我們的計(jì)算機(jī)科學(xué)家想開發(fā)一套能夠區(qū)分草莓和香蕉的水果沙拉對(duì)象識(shí)別系統(tǒng)。那么他就得選擇特征——姑且定為顏色和形狀——這跟水果是高度關(guān)聯(lián)的，靠這兩個(gè)機(jī)器就能識(shí)別水果。他給紅色圓形的對(duì)象的圖片打上草莓的標(biāo)簽，把黃色長(zhǎng)條的圖片打上香蕉的標(biāo)簽，然后他寫了一些代碼分配一個(gè)值來(lái)表征顏色，另一個(gè)來(lái)歸納形狀。他把大量的草莓和香蕉圖片喂給機(jī)器，后者從而建立起對(duì)這些特征關(guān)系的理解，從而可以對(duì)自己要找什么樣的水果做出有根據(jù)的猜測(cè)。

一開始的時(shí)候系統(tǒng)表現(xiàn)不會(huì)太好；它需要通過(guò)一組有力的例子去學(xué)習(xí)。我們的監(jiān)督者計(jì)算機(jī)科學(xué)家知道，這個(gè)特別的輸入是草莓，所以如果程序選擇了香蕉的輸出，他會(huì)因?yàn)榻o出錯(cuò)誤答案而懲罰計(jì)算機(jī)。根據(jù)這個(gè)新信息，系統(tǒng)會(huì)調(diào)整自己做出的特征之間的連接從而下次改進(jìn)預(yù)測(cè)。由于一對(duì)輸出并不是什么難事，很快機(jī)器就能夠正確識(shí)別出自己從未見(jiàn)過(guò)的草莓和香蕉了。

貴湖大學(xué)機(jī)器學(xué)習(xí)研究小組負(fù)責(zé)人GrahamTaylor說(shuō)：“一些東西很容易概念化并且編程實(shí)現(xiàn)。”但是你可能希望系統(tǒng)能夠識(shí)別比水果更復(fù)雜的對(duì)象。也許你希望在海量的面孔中識(shí)別出一張臉。Taylor說(shuō)：“于是就引出了深度學(xué)習(xí)。它擴(kuò)展到非常龐大的數(shù)據(jù)集，迅速解決問(wèn)題，并且不受定義規(guī)則的專家知識(shí)的限制。”

深度學(xué)習(xí)時(shí)機(jī)器學(xué)習(xí)的一個(gè)極其熱門的分支，它的出現(xiàn)其實(shí)是受到了我們?nèi)四X機(jī)制的啟發(fā)。簡(jiǎn)而言之，大腦是一個(gè)數(shù)十億神經(jīng)元用數(shù)萬(wàn)億突觸連接起來(lái)的集合，而那些連接的相對(duì)強(qiáng)度——比如紅色與紅色水果之間，以及紅色水果與草莓之間的連接——都是通過(guò)逐漸的學(xué)習(xí)過(guò)程進(jìn)行調(diào)整的。

深度學(xué)習(xí)系統(tǒng)依靠的是這種神經(jīng)網(wǎng)絡(luò)的電子模型。深度學(xué)習(xí)領(lǐng)域的先驅(qū)之一Yoshua Bengio說(shuō)：“在你的大腦里，神經(jīng)元會(huì)發(fā)送信息給其他神經(jīng)元。”一對(duì)神經(jīng)元之間的信號(hào)強(qiáng)弱叫做突觸權(quán)重：當(dāng)權(quán)重很大時(shí)，一個(gè)神經(jīng)元就會(huì)對(duì)另一個(gè)神經(jīng)元產(chǎn)生強(qiáng)大影響；而當(dāng)它很小時(shí)，影響力也會(huì)很小。他說(shuō)：“通過(guò)改變這些權(quán)重，不同神經(jīng)元之間的連接強(qiáng)度也會(huì)改變。這就是AI研究人員想到的用來(lái)訓(xùn)練這些人工智能網(wǎng)絡(luò)的點(diǎn)子。”

這就是AI能夠從對(duì)草莓香蕉分類進(jìn)展到識(shí)別面部的辦法之一。一位計(jì)算機(jī)科學(xué)家提供標(biāo)簽化的數(shù)據(jù)——所有那些跟正確名字掛鉤的臉部。但是他不是要求也是告訴機(jī)器照片中哪些特征對(duì)識(shí)別很重要，計(jì)算機(jī)就會(huì)完全靠自己來(lái)析取出那些信息。Taylor說(shuō)：“在這里你的輸入是面部的照片，然后輸出就是關(guān)于這個(gè)人是誰(shuí)的決定。”

人臉識(shí)別的機(jī)制：1）機(jī)器學(xué)習(xí)時(shí)：訓(xùn)練數(shù)據(jù)——學(xué)習(xí)——調(diào)整——形成有用的算法；2）使用程序時(shí)：輸入——分析——輸出

為了從輸入走到輸出，圖像要經(jīng)過(guò)幾次轉(zhuǎn)換。他說(shuō)：“圖像首先要轉(zhuǎn)換成非常低級(jí)的表征，只是枚舉邊的類型和位置。”接下來(lái)可能是那些邊線的邊角和交叉點(diǎn)，再就是形成形狀的邊線的模式。幾個(gè)圓圈可能最后會(huì)成為一只眼睛。Taylor解釋說(shuō)：“在特征方面每一層的表示都是不同程度的抽象，這樣一直到你得到非常高級(jí)的特征，那些開始看起來(lái)代表著身份的東西——比如發(fā)型和下巴輪廓——或者像面部勻稱性這樣的屬性。”

這整個(gè)過(guò)程是怎么發(fā)生的呢？數(shù)字。數(shù)量多到令人難以置信的數(shù)字。比方說(shuō)，一套人臉識(shí)別系統(tǒng)會(huì)按照像素級(jí)別來(lái)分析一張圖像。（百萬(wàn)像素級(jí)攝像頭使用1000x1000像素的網(wǎng)格，每一個(gè)像素都有紅綠藍(lán)三基色的值，每個(gè)值的范圍在0到255之間，所以這里面的信息量有多大可想而知）系統(tǒng)通過(guò)這些表示層分析像素，構(gòu)建抽象，直到最后自己做出識(shí)別。

不過(guò)請(qǐng)等一下，盡管這張臉很顯然是Christopher Plummer，但機(jī)器卻以為它是Margaret Trudeau。Taylor說(shuō)：“模型一開始的時(shí)候表現(xiàn)非常糟糕。我們可以從給它看圖片然后問(wèn)誰(shuí)在里面開始，但在經(jīng)過(guò)訓(xùn)練或者完成任何學(xué)習(xí)之前，機(jī)器會(huì)一直給出錯(cuò)誤的答案。”這是因?yàn)樵谒惴ㄒ?jiàn)效之前，網(wǎng)絡(luò)上人工神經(jīng)元之間的權(quán)重是隨機(jī)設(shè)定的。

經(jīng)過(guò)一個(gè)逐步試錯(cuò)的過(guò)程之后，系統(tǒng)調(diào)整了不同層之間的連接的強(qiáng)度，所以當(dāng)它看到另一幅Christopher Plummer的圖片時(shí)，它表現(xiàn)得稍微好點(diǎn)了。小的調(diào)整稍微改善了一下連接，把錯(cuò)誤率稍微降低了一點(diǎn)，直到最后系統(tǒng)可以用很高的準(zhǔn)確率識(shí)別出臉部。正是因?yàn)檫@項(xiàng)技術(shù)，F(xiàn)acebook會(huì)在一張圖片中有你時(shí)向你發(fā)出提醒，哪怕你還沒(méi)有被打上標(biāo)簽。Taylor說(shuō)：“深度學(xué)習(xí)很酷的一點(diǎn)是，我們不需要在有人說(shuō)‘哦，這些特征對(duì)識(shí)別特定的臉很有用’的情況下析取出一切。這都是自動(dòng)發(fā)生的，這就是它的神奇之處。”

帶偏見(jiàn)的數(shù)據(jù)

這里有個(gè)小花招：往Google Images里面輸入CEO你會(huì)變出一堆幾乎難以分辨的白人男性面孔。如果你是在加拿大，你會(huì)看到剩下起到點(diǎn)綴作用的大部分都是白人女性，以及少數(shù)有色人種，還有神奇女俠的蓋爾·加朵。去年在加州舉行的一場(chǎng)機(jī)器學(xué)習(xí)會(huì)議上，一名演講者必須在一堆穿著深色西裝的白人男性中向下翻滾了很久之后才找到了第一位女俠。CEO芭比。

數(shù)據(jù)對(duì)于AI系統(tǒng)的運(yùn)作必不可少。系統(tǒng)越復(fù)雜——神經(jīng)網(wǎng)絡(luò)的層數(shù)就越多，要想翻譯語(yǔ)音或者識(shí)別面部或者計(jì)算某人拖欠貸款的可能性——需要收集的數(shù)據(jù)就越多。程序員可能要依靠圖庫(kù)或者危機(jī)百科條目、歸檔的新聞文章或者音頻記錄。他們可能會(huì)看大學(xué)招生的歷史和假釋記錄。它們想要臨床研究和信用評(píng)分。McGill計(jì)算機(jī)科學(xué)學(xué)院的Doina Precup教授說(shuō)：“數(shù)據(jù)非常非常重要，（數(shù)據(jù)越多，）解決方案越好。”

但并不是每個(gè)人都能夠公平地得到那些數(shù)據(jù)的表示。有時(shí)候，這是由來(lái)已久的排斥的結(jié)果：2017年，女性在財(cái)富500強(qiáng)中的占比僅為6.4%，但這已經(jīng)比上一年的數(shù)字增長(zhǎng)了52%。

直到1997年之前加拿大衛(wèi)生部都沒(méi)有明確要求女性納入到臨床試驗(yàn)里面；據(jù)中風(fēng)基金會(huì)的《2018心臟報(bào)告》，2/3的心臟病臨床研究仍然以男性為主，這幫助解釋了為什么最近的一項(xiàng)研究發(fā)現(xiàn)超過(guò)一半女性并沒(méi)有那些心臟病的癥狀。既然我們知道女性被排除在那些高層和試驗(yàn)之外，說(shuō)她們的缺席會(huì)令任何用這些數(shù)據(jù)訓(xùn)練的系統(tǒng)的結(jié)果產(chǎn)生扭曲就是安全的假設(shè)了。

有時(shí)候，就算有充足的數(shù)據(jù)，那些建立訓(xùn)練集的人仍然不會(huì)采取審慎的舉措去保證多樣性，這導(dǎo)致了人臉識(shí)別程序在面對(duì)不同人群時(shí)會(huì)出現(xiàn)差異很大的錯(cuò)誤率。其結(jié)果就是所謂的取樣偏差，這是由于缺乏代表性數(shù)據(jù)導(dǎo)致的。算法優(yōu)化是為了盡可能少犯錯(cuò)；其目標(biāo)是降低錯(cuò)誤數(shù)。但是數(shù)據(jù)的構(gòu)成決定了算法將注意力引導(dǎo)到哪里去。

多倫多大學(xué)計(jì)算機(jī)科學(xué)教授Toniann Pitassi的研究重點(diǎn)是機(jī)器學(xué)習(xí)的公平性，他提供了一個(gè)招生計(jì)劃的例子。Pitassi說(shuō)：“比方說(shuō)你有5%的黑人申請(qǐng)，如果這所大學(xué)95%的申請(qǐng)都是白人的話，則幾乎你所有的數(shù)據(jù)都將是白人的。在決定誰(shuí)應(yīng)該進(jìn)入大學(xué)這件事情上算法試圖在整體上考慮將自己的錯(cuò)誤最小化。但是它不會(huì)投入太多的努力到那5%上面，因?yàn)檫@對(duì)總體錯(cuò)誤率的影響很小。”

猶他大學(xué)計(jì)算學(xué)院的Suresh Venkatasubramanian教授解釋說(shuō)：“很多算法是通過(guò)看在訓(xùn)練數(shù)據(jù)中自己得到了多少正確答案來(lái)進(jìn)行訓(xùn)練的。這很好，但如果你只是把答案累計(jì)的話，就會(huì)有一部分小群體總是會(huì)有問(wèn)題。這么做對(duì)你的傷害不太大，但是因?yàn)槟阆到y(tǒng)性的對(duì)那一小群人的全體犯錯(cuò)，錯(cuò)誤決定的影響就要比你的錯(cuò)誤分散到多個(gè)群體的影響嚴(yán)重多了。”

正是因?yàn)檫@個(gè)原因，Buolamwini人肉干發(fā)現(xiàn)IBM的臉部識(shí)別技術(shù)準(zhǔn)確率為87.9%。當(dāng)一個(gè)系統(tǒng)識(shí)別淺膚色女性的準(zhǔn)確率為92.9%，識(shí)別淺膚色男性的準(zhǔn)確率為99.7%時(shí)，黑人女性的識(shí)別率僅為35%就無(wú)關(guān)緊要了。微軟的算法也一樣，她發(fā)現(xiàn)其預(yù)測(cè)性別的準(zhǔn)確率為93.7%。但Buolamwini發(fā)現(xiàn)，那些性別錯(cuò)誤中幾乎有同樣的比例——93.6%是發(fā)生在深膚色受試者的臉上。但是算法并不需要關(guān)心這個(gè)。

垃圾進(jìn)，垃圾出

在跟人工智能專家花費(fèi)了足夠多的時(shí)間進(jìn)行了足夠深入的對(duì)話之后，到了一定時(shí)候，他們都會(huì)得出一條公理：垃圾進(jìn)，垃圾出。繞開樣本偏差確保系統(tǒng)基于豐富的均衡數(shù)據(jù)而進(jìn)行訓(xùn)練是有可能的，但如果數(shù)據(jù)受到我們社會(huì)的偏見(jiàn)和歧視困擾的話，則算法也好不到哪里去。Precup說(shuō)：“我們想要的是忠于現(xiàn)實(shí)的數(shù)據(jù)。”而當(dāng)現(xiàn)實(shí)存在偏見(jiàn)時(shí)，“算法別無(wú)選擇，只有反映那種偏見(jiàn)。算法就是這么做出來(lái)的。”

偶爾，所反映出來(lái)的偏見(jiàn)在預(yù)測(cè)性方面幾乎是很滑稽的。Web搜索，聊天機(jī)器人，給圖像加字幕程序，機(jī)器翻譯等日益依賴于一種叫做詞嵌入的技術(shù)。這是通過(guò)把單詞之間的關(guān)系變成數(shù)值，然后讓系統(tǒng)已數(shù)學(xué)的方式表示語(yǔ)言的社會(huì)背景。通過(guò)這項(xiàng)技術(shù)，AI系統(tǒng)了解到了巴黎和法國(guó)之間的關(guān)系，以及東京與日本之間的關(guān)系；它能覺(jué)察到東京與巴黎之間的不同聯(lián)系。

2016年，波士頓大學(xué)和微軟研究院的研究人員把來(lái)自于Google News文字的超過(guò)300萬(wàn)個(gè)英語(yǔ)單詞提供給一個(gè)算法，他們先是提供一段使用得最多的話，然后讓算法填空。他們問(wèn)道：“男人之于計(jì)算機(jī)程序員正如女人之于什么？”機(jī)器在那堆單詞里面折騰了半天之后給出的答案是家庭主婦。

這些統(tǒng)計(jì)關(guān)聯(lián)就是所謂的隱含偏差：這就是為什么一所人工智能研究機(jī)構(gòu)的圖像收集將烹飪與女性招聘關(guān)聯(lián)起來(lái)的可能性會(huì)增加68%的原因，這也解釋了Google Translate在使用性別中立的代詞的語(yǔ)言時(shí)為什么會(huì)遇到麻煩。

土耳其語(yǔ)的句子不會(huì)指明醫(yī)生是男性還是女性，但是英語(yǔ)翻譯會(huì)假定，如果屋子里有個(gè)醫(yī)生的話，那他一定是個(gè)男的。這種推測(cè)延伸到了網(wǎng)上到處跟蹤我們的廣告身上。2015年，研究人員發(fā)現(xiàn)，在許諾薪水高于20萬(wàn)美元的Google工作崗位廣告里面，男性出現(xiàn)的機(jī)率比女性高6倍。

Kathryn Hume說(shuō)，系統(tǒng)的威力在于其“識(shí)別性別與職業(yè)之間的關(guān)聯(lián)的能力。其不好之處在于系統(tǒng)背后是沒(méi)有目的性的——只是由數(shù)學(xué)來(lái)選擇關(guān)聯(lián)。它并不知道這是個(gè)敏感問(wèn)題。”這種技術(shù)存在著未來(lái)主義和陳舊作風(fēng)的沖突。AI的演進(jìn)速度要比它要處理的數(shù)據(jù)的演進(jìn)快得多，所以這注定了它不僅折射和反映出過(guò)去的偏見(jiàn)，而且還延長(zhǎng)并加強(qiáng)了它們。

因此，當(dāng)判斷被移交給機(jī)器之后，那些曾經(jīng)是包括警察、法院在內(nèi)的機(jī)構(gòu)系統(tǒng)性歧視目標(biāo)的群體并不能得到更好的對(duì)待。多倫多大學(xué)犯罪學(xué)和社會(huì)法學(xué)研究中心的Kelly Hannah-Moffat教授說(shuō)：“那種認(rèn)為可以制造出公平客觀的AI工具的看法是有問(wèn)題的，因?yàn)槟銜?huì)把犯罪發(fā)生的背景簡(jiǎn)化成是或否的二元性。

我們都知道種族跟盤查政策、梳理以及更嚴(yán)格的警方檢查相關(guān)，所以如果你正在研究跟警察的接觸或者之前的逮捕率時(shí)，其實(shí)你看的已經(jīng)是一個(gè)帶偏見(jiàn)的變量。”一旦那個(gè)變量被納入到機(jī)器學(xué)習(xí)系統(tǒng)里面，偏見(jiàn)就被嵌入到算法評(píng)估之中。

兩年前，美國(guó)調(diào)查新聞機(jī)構(gòu)ProPublica仔細(xì)審查了一個(gè)使用廣泛的程序，其名字叫做COMPAS，這個(gè)程序被用來(lái)確定被告再犯的風(fēng)險(xiǎn)。記著收集了超過(guò)7000名在佛羅里達(dá)州被捕的人的分?jǐn)?shù)，然后評(píng)估其中有多少人在隨后2年實(shí)施了犯罪——使用的是跟COMPAS一樣的基準(zhǔn)。他們發(fā)現(xiàn)，算法存在很大的缺陷：黑人被告被錯(cuò)誤地標(biāo)記為存在再犯的高風(fēng)險(xiǎn)的機(jī)率是實(shí)際的2倍多。相反，被標(biāo)記為低風(fēng)險(xiǎn)的白人被告在隨后被指控犯罪的情況是其估計(jì)的2倍。

美國(guó)已經(jīng)有5個(gè)州靠COMPAS來(lái)進(jìn)行刑事司法判決，其他轄區(qū)也已經(jīng)有其他的風(fēng)險(xiǎn)評(píng)估程序就位。加拿大因?yàn)槿匀谎赜眠^(guò)時(shí)的體系，所以還沒(méi)有受到有問(wèn)題的算法之影響。

實(shí)現(xiàn)算法公平

要想實(shí)現(xiàn)算法的公平性，程序員可以簡(jiǎn)單地摒棄種族和性別這樣的屬性。但根深蒂固的歷史關(guān)聯(lián)——那種將女性與廚房關(guān)聯(lián)，或者將一部分人口跟特定郵編關(guān)聯(lián)的做法，使得系統(tǒng)很容易就能弄清楚這些屬性，哪怕這些屬性已經(jīng)被移除了。所以計(jì)算機(jī)科學(xué)家弄出的這種解決方案令人想到管弦樂(lè)世界的盲聽(tīng)：為了掩飾某人的身份，他們豎起了一道幕布。

深度學(xué)習(xí)先驅(qū)Yoshua Bengio說(shuō)：“假設(shè)我們考慮到種族是歧視的因素之一，如果我們?cè)跀?shù)據(jù)里面看到這個(gè)的話，我們就可以衡量它。”可以往神經(jīng)網(wǎng)絡(luò)里面添加另一個(gè)約束，強(qiáng)迫它忽視有關(guān)種族的信息，不管這種信息是不是隱含的（比如郵編）。Bengio說(shuō)，這種方案無(wú)法對(duì)這些受保護(hù)的特征建立完全的不敏感性，但是還是做了相當(dāng)好的工作。

其實(shí)現(xiàn)在已經(jīng)有越來(lái)越多的研究在設(shè)法用算法性解決方案來(lái)解決算法性偏見(jiàn)問(wèn)題。其中反設(shè)事實(shí)可能是手段之一——讓算法分析如果女性獲得貸款的話會(huì)發(fā)生什么，而不是簡(jiǎn)單地去梳理過(guò)去發(fā)生的事情。這可能意味著要給算法它增加約束，確保它在犯錯(cuò)時(shí)這些錯(cuò)誤是均勻分布到每一種代表群體里面的。給算法增加不同的約束來(lái)降低閾值是有可能的，比方說(shuō)對(duì)特定群體的大學(xué)錄取率，從而保證達(dá)到代表性的百分比——姑且稱之為算法性平權(quán)行動(dòng)。

盡管如此，算法干預(yù)也只能到此為止；解決偏見(jiàn)還需要訓(xùn)練機(jī)器的程序員的多樣性。McGill教授Doina Precup說(shuō)：“這甚至還不是說(shuō)意圖不好，只是那些沒(méi)有來(lái)自特定背景的人完全就沒(méi)意識(shí)到那種背景會(huì)是什么樣的，也不了解這會(huì)如何影響著一切。”如果數(shù)據(jù)集匯編進(jìn)來(lái)的時(shí)候Joy Buolamwini在場(chǎng)的話，她當(dāng)場(chǎng)就能發(fā)現(xiàn)那尖端的臉部識(shí)別技術(shù)在黑膚色的表現(xiàn)太過(guò)糟糕。

《壓迫的算法》作者Safiya Noble補(bǔ)充說(shuō)：“我們對(duì)種族主義和性別歧視的理解不夠深入時(shí)可能會(huì)出現(xiàn)的風(fēng)險(xiǎn)遠(yuǎn)不止是公關(guān)混亂以及偶爾的新聞?lì)^條。這不僅意味著公司失去了更深入更多元化的消費(fèi)者參與的可能性，而且有可能他們也沒(méi)有意識(shí)到自己的產(chǎn)品和服務(wù)已經(jīng)成為了會(huì)對(duì)社會(huì)造成破壞的權(quán)力體系的一部分。”

對(duì)算法性偏見(jiàn)認(rèn)知的增強(qiáng)不僅是干預(yù)我們AI系統(tǒng)開發(fā)方式的一個(gè)機(jī)會(huì)。這也是一個(gè)質(zhì)詢的好機(jī)會(huì)，質(zhì)詢?yōu)槭裁次覀儎?chuàng)建的數(shù)據(jù)會(huì)像這樣，質(zhì)詢還有哪些偏見(jiàn)在繼續(xù)塑造一個(gè)允許這些模式在數(shù)據(jù)中出現(xiàn)的社會(huì)。畢竟，算法只是一組指令罷了。Bengio強(qiáng)調(diào)：“我們使用的算法是中立的。不中立的是（神經(jīng)）網(wǎng)絡(luò)，只要用帶偏見(jiàn)的數(shù)據(jù)對(duì)它進(jìn)行過(guò)訓(xùn)練之后，渦輪就不再中立了。我們充滿著各種偏見(jiàn)。”

這正是為什么我們要非常非常當(dāng)心自己收集的數(shù)據(jù)的原因。今年3月，微軟領(lǐng)導(dǎo)的一群研究人員參加在舊金山舉行的一場(chǎng)會(huì)議時(shí)提出了一個(gè)可能的解決方案。因?yàn)樽R(shí)別數(shù)據(jù)集創(chuàng)建方式缺乏標(biāo)準(zhǔn)，也沒(méi)有警示可能存在偏見(jiàn)的警告標(biāo)簽，他們提出做一張包含有公共數(shù)據(jù)集和商用軟件的數(shù)據(jù)表。文檔將明確說(shuō)明訓(xùn)練數(shù)據(jù)集是什么時(shí)候在哪里以及如何匯編出來(lái)的，并且提供使用的受試者的人口統(tǒng)計(jì)信息，提供必要的信息給研究人員和組織，從而確定如何利用數(shù)據(jù)集以及在和背景下加以使用。

在歐洲，已經(jīng)出臺(tái)了一部全新的隱私法律，General Data Protection Regulation（GDPR，通用數(shù)據(jù)保護(hù)條例）規(guī)定要限制對(duì)敏感數(shù)據(jù)的手機(jī)，要求對(duì)算法決策進(jìn)行解釋，并且保護(hù)個(gè)人不會(huì)被機(jī)器唯一來(lái)決定。

當(dāng)然，還有一種優(yōu)雅簡(jiǎn)潔且公平公正的解決方案：獲得更好的數(shù)據(jù)。這就是Joy Buolamwin的發(fā)現(xiàn)指責(zé)IBM的人臉識(shí)別系統(tǒng)在性別和膚色平衡上做的不夠之后發(fā)生的事情。這家公司目前正在提高用于訓(xùn)練的圖片集的廣泛性。后來(lái)拿瑞典、芬蘭、南非、塞內(nèi)加爾等過(guò)議員的照片去測(cè)試這套新系統(tǒng)時(shí)，算法執(zhí)行得很好，這一點(diǎn)并不奇怪。可喜的是對(duì)所有人都是。

雖然不夠完美：深膚色的女性錯(cuò)誤率依然是最高的，3.46%。但這比之前已經(jīng)改進(jìn)了10倍——這已經(jīng)遠(yuǎn)遠(yuǎn)足以證明改變是有可能的，只要你把它當(dāng)作優(yōu)先事項(xiàng)。哪怕是不徹底的智能機(jī)器都知道這一點(diǎn)。