【我們為什麼挑選這篇文章】如果讓 AI 當篩選履歷的 HR 會是什麼光景？AI 會將所有送進來的履歷評分，再將評分最高等的履歷表送至主管面前。這樣的方式不僅省時又省成本，科技感又強，儼然就是企業 HR 部門的未來模式。
然而，近日使用 AI 做 HR 的亞馬遜被爆「性別歧視」。消息指出AI 學會「重男輕女」，只要看到女性就會降分。亞馬遜的公司文化不太可能存在這種陳腐的觀念，那又是誰將性別歧視的概念塞到 AI 腦子裡呢？（責任編輯：陳伯安）
亞馬遜栽了個大跟頭。
長期以來，這家電商巨頭一直應用 AI 提升效率，但萬萬沒想到的是，原本應該公平公正、沒有意識的 AI，也會「作死」了……
好的不學，非要學別人重男輕女、歧視女性。
而這個內部秘密，剛剛被路透社曝光於天下。
事件一出，掀起了軒然大波。
國外的網友們紛紛開始吐槽，講述自己曾經經歷過的不公平事件，以及奇葩的計算機系統等等。還有一堆網友開始分析問題原因。
亞馬遜也喜提了一波嘲諷：
「可以說這個人工智慧很成功，因為它模仿了亞馬遜當前的招聘狀態。」
看到「女」字就將履歷打低分，亞馬遜 AI 竟然學會性別歧視
篩簡歷是很多 HR 的核心工作之一，對於亞馬遜這樣的大公司來講，不僅崗位多，投遞同一個崗位的求職者可能也非常多，於是，無窮無盡的瀏覽簡歷就成了 HR 的日常。
而且，同一個崗位收到的簡歷里，總有一些達不到用人標準的、「文不對題」的簡歷，即使是適合的人，也會分出三六九等，有人很優秀，也有人比優秀的人更優秀。從求職者之中挑選最合適的人，也是讓 HR 們頭疼的一件事。
那能不能找一個 AI，來自動幫 HR 們篩簡歷呢？
於是，作為一家電商公司，亞馬遜把日常的用戶給商品標星打分的功能，挪到了 AI 給求職者簡歷打分上。這樣，HR 們就可以美滋滋的說：「我，只看五星簡歷，AI 快給我挑出來。」
2014 年，這個項目就開始了，亞馬遜的機器學習團隊開始開發篩簡歷 AI。
但是到 2015 年，亞馬遜發現：糟了，這個 AI 不學好，學會了人類性別歧視那一套。
如果把投遞「軟件開發工程師」或者其他技術崗位的求職者簡歷扔給這個 AI 來打分，它就會給包含「女」這個關鍵詞的簡歷打低星，而「男」則不受影響。
另外，如果簡歷上寫著求職者畢業於某兩所女子大學，這個 AI 也會給求職者降星。路透社的線人並沒有說是哪兩所學校。
人類能不能找到一份工作，竟然要看「AI 的臉色」，作為女性求職者，憑什麼讓 AI 對我說三道四？在美國，這種涉嫌歧視的事情稍不注意就會招來一大波反對的聲音，引發大負面。亞馬遜趕緊修改這個 AI，讓它對「男」、「女」這些詞保持中立。
但是，改是改不完的，今天教 AI 不要歧視女性，明天它會不會歧視黑人？後天它會不會歧視 LGBT 人群？大後天它會不會開地圖炮？這些都說不准。
後來，亞馬遜放棄了這個項目。
亞馬遜拿過去 10 年公司履歷，做 AI 訓練大數據
一個好好的 AI，怎麼成長過程中就自動學會了性別歧視這種壞毛病？
這得看它是「吃」什麼長大的，也就是用什麼數據來訓練的 AI。
很不幸，鍋還是得亞馬遜自己來背，因為這個 AI「吃」的都是亞馬遜自家的招聘數據，來自亞馬遜過去 10 年來收到的簡歷，依據這些簡歷，亞馬遜的 AI 學會了挑出男性求職者。
實際數據產生的偏見：科技產業大部分都是男生
這些數據有什麼問題呢？路透社分析，可能是因為科技行業中的大部分技術崗位都是男性在做。
路透社整理了自 2017 年起這些公司公佈的數據，從中可以看出，像谷歌、蘋果、微軟、Facebook 這些公司，整體上男性佔了 2/3，而單獨挑出技術崗位，男性比例則達到了將近 4/5。
要 AI 不歧視女性很難，因為任何社會數據都包含性別歧視
不過，數據量大小並不意味著少數數據就會被歧視，相信亞馬遜的 AI 也不會傻到只選取簡歷數據中大多數人的共同特點，那樣豈不是錯過了少數天才？
在 Hacker News 和 Reddit 的評論區，一些更懂技術的網友把矛頭對準了數據體現的亞馬遜在招聘中現存的性別歧視問題。
從技術上講，可以說這個人工智慧是成功的，因為它模仿了亞馬遜當前的招聘狀態。
並給出了背後的邏輯。
機器學習過程不會引入任何偏差，但訓練數據中存在的任何偏差都將在算法中忠實地展現出來。
也就是說，AI 自己本身是一個天真無邪的「幼兒」，它不會自主的學會偏見和歧視，但如果給「幼兒」上課的「老師」亞馬遜的招聘數據自身帶了偏見，那麼這些偏見就會「言傳身教」給無辜的 AI。
或者說，AI 是從人類社會中，學會了人類的偏見和歧視。
我們不想讓 AI 歧視女性，但這絕非易事，因為 AI 無法忽視它所學習的人類社會對女性的歧視。這絕對是一個難題，不僅僅是技術上的難題，更是哲學層面上的難題。
AI 在無意中學會人類之惡，這並不是第一次發生。
此前的微軟的聊天機器人 Tay，就曾經學會了人類的那些極端言論，在 Twitter 上咒罵女權主義者和猶太人。
而招聘 AI 這一次，人類的錯誤讓 AI 重蹈覆轍了。
「很顯然，我們沒有吸取微軟 Tay 的任何教訓。」有網友評論道。
專門給「AI」看的履歷：關鍵字放全放滿
不只是訓練數據的問題。路透社的報道中還披露了亞馬遜訓練 AI 的細節。
1. 開發了 500 個針對特定工作職能及崗位的模型。
2. 訓練每個模型去識別過去求職者簡歷中出現的近 5 萬個關鍵詞。
3. 模型算法按照重要程度給求職者的技能進行優先級排序。
所以這個 AI，很大一部分工作是在抓關鍵詞嘛。比如它偏好的「執行」、「抓取」這種詞，在男性求職者的簡歷中出現次數更多，也從另一個維度造成了女性候選人的劣勢。
因此，這也是導致性別歧視的一個原因。甚至，還可能會給人「鑽空子」的機會。
Reddit 上的一名網友評論稱：
「亞馬遜閱讀簡歷的 AI 從一開始就注定了要失敗，因為任何人都可以去學習怎樣寫好一份簡歷。讓我寫一份醫生的簡歷，我打賭我會比真醫生寫的要好。」
想一想那些「簡歷寫作技巧」的培訓，是不是都告訴你 HR 看一份簡歷只要二三十秒，簡歷里有某些關鍵詞、重要數據就能吸引 HR 的注意？
因此，這種抓關鍵詞的機制，就得以讓很多人通過強行往簡歷里塞關鍵詞，而獲得更高的星級，造成了另一種不公平。
AI 只會遲到，但不會缺席
根據招聘公司 CareerBuilder 2017 年在美國進行的一項調查，55% 的人力資源經理表示，將會在未來五年中採用 AI，並將其作為日常工作中的工具。
一些「激進」或者說有大量招聘需求的公司，已經將 AI 應用到招聘環節中去了。比如希爾頓酒店，就在招聘的時候，會先利用聊天機器人面試，並為求職者匹配合適的崗位，之後再進入下一輪面試。
在接受採訪時，希爾頓招聘副主管 Sarah Smart 表示，「人工智慧會分析求職者的語調、眼神和回答的表情，來判斷求職者是否對工作富有熱情，從而來幫助我們篩選求職者。」
具體體驗怎麼樣呢？體驗過聊天機器人面試官的 Japser Rey 說，「和聊天機器人對話時，我不用擔心自己會分神，而且機器人不會戴有色眼鏡看人，相對更公平公正一些。」
相對來說，大部分公司並沒有將 AI 放到具體的招聘決策環節之中，只是作為一個輔助工具。
百度：將 AI 應用到了招聘上，在今年的校園招聘中，採用 AI 分析簡歷、推薦崗位。
高盛：開發了簡歷分析工具，會將求職者與「最適合」的部門進行匹配。
LinkedIn：根據網站上發佈的崗位消息，利用算法為雇主提供求職者的排名。
儘管人們對 AI 招聘並不十分待見，但卻無法阻擋這樣一個趨勢：AI 終將左右你找工作這件事。
它只會遲到，但不會缺席。
（本文經原作者 量子位 授權轉載，並同意 TechOrange 編寫導讀與修訂標題，原文標題為〈亚马逊AI惹众怒：一个没有意识的程序，竟然自己学会了“重男轻女”〉，首圖來源：Pxhere, CC Licensed。）
延伸閱讀
四支 AI 設計的廣告被批慘不忍睹，漢堡王坦承：好啦，是廣告公司
intel 人工智慧副總裁：AI 不是一種技能，而是一種對工作的描述
職場撕腦大難題：如何寫出一封讓老闆滿意、燦笑的「完美 E-mail」？
