據(jù)路透社報(bào)道,亞馬遜的機(jī)器學(xué)習(xí)專家們發(fā)現(xiàn)了一個(gè)大問(wèn)題,他們的新人工智能(AI)招聘引擎似乎不喜歡女性,為此將其關(guān)閉。

亞馬遜用AI篩簡(jiǎn)歷卻發(fā)現(xiàn)它對(duì)女性有偏見,最終關(guān)閉

五名知情人士表示,自2014年以來(lái),這個(gè)團(tuán)隊(duì)始終在開發(fā)電腦程序以審查求職者的簡(jiǎn)歷,目的是將尋找頂尖人才的任務(wù)自動(dòng)化。自動(dòng)化一直是亞馬遜在電子商務(wù)領(lǐng)域占據(jù)主導(dǎo)地位的關(guān)鍵,無(wú)論是在配送中心內(nèi)部還是制定價(jià)格決策時(shí)。

知情人士說(shuō),亞馬遜的試驗(yàn)性招聘工具使用AI給應(yīng)聘者打分,分?jǐn)?shù)從一星到五星不等,就像購(gòu)物者給亞馬遜網(wǎng)站上的產(chǎn)品打分一樣。其中一人說(shuō):“每個(gè)人都想要這個(gè)‘圣杯’。亞馬遜真的想將其打造成引擎,給它100份簡(jiǎn)歷,它會(huì)列出前五人,我們會(huì)聘用他們?!?/p>

但到2015年,亞馬遜意識(shí)到其新系統(tǒng)并沒有對(duì)軟件開發(fā)人員和其他技術(shù)職位求職者進(jìn)行性別中立式的評(píng)估。這是因?yàn)椋瑏嗰R遜的電腦模型經(jīng)過(guò)了培訓(xùn),通過(guò)觀察過(guò)去10年被提交給該公司的簡(jiǎn)歷找出固有模式,并以此來(lái)審查應(yīng)聘者。其中大部分簡(jiǎn)歷來(lái)自男性,這也反映了男性在科技行業(yè)占主導(dǎo)地位的現(xiàn)狀。

實(shí)際上,亞馬遜的系統(tǒng)告訴自己,男性求職者更受青睞。這套系統(tǒng)對(duì)簡(jiǎn)歷中含有“女子象棋俱樂部隊(duì)長(zhǎng)”等語(yǔ)句中的“女子”一詞特別敏感。據(jù)知情人士透露,它還下調(diào)了兩所女子學(xué)院的畢業(yè)生評(píng)級(jí),但他們沒有具體說(shuō)明這些學(xué)校的名字。

亞馬遜編輯了這些程序,使它們對(duì)這些特定的術(shù)語(yǔ)保持中立。但上述知情人士說(shuō),這并不能保證其AI系統(tǒng)不會(huì)設(shè)計(jì)出其他可能被證明具有歧視性的篩選求職者的方法。據(jù)不愿透露姓名的知情人士說(shuō),亞馬遜最終在去年年初解散了團(tuán)隊(duì),因?yàn)楦吖軅儗?duì)這個(gè)項(xiàng)目感到失望。

亞馬遜的招聘人員在搜索新員工時(shí)查看了該工具提供的推薦信息,但他們表示,他們從來(lái)沒有僅僅依靠其排名來(lái)做出判斷。亞馬遜拒絕就招聘引擎或其面臨的挑戰(zhàn)置評(píng),但該公司表示,它致力于打造職場(chǎng)多樣性和平等。

路透社率先報(bào)道了亞馬遜的實(shí)驗(yàn),它提供了一個(gè)關(guān)于機(jī)器學(xué)習(xí)局限性的案例研究。此外,希爾頓全球控股公司(Hilton)和高盛集團(tuán)(Goldman Sachs)等越來(lái)越多的大公司也在尋求將招聘流程的部分自動(dòng)化。人才軟件公司CareerBuilder 2017年的一項(xiàng)調(diào)查顯示,約55%的美國(guó)人力資源經(jīng)理表示,在未來(lái)5年內(nèi),AI將成為他們常規(guī)工作的一部分。

雇主們始終夢(mèng)想利用科技來(lái)擴(kuò)大招聘網(wǎng)絡(luò),以減少對(duì)人類招聘者主觀意見的依賴。但卡內(nèi)基梅隆大學(xué)教授機(jī)器學(xué)習(xí)知識(shí)的計(jì)算機(jī)科學(xué)家尼哈爾·沙赫(Nihar Shah)認(rèn)為,他們還有很多工作要做。沙赫表示:“如何確保算法是公平的,如何確保算法是真正可以解釋的,實(shí)現(xiàn)這些目標(biāo)都還十分遙遠(yuǎn)?!?/p>

對(duì)于全球最大的在線零售商亞馬遜來(lái)說(shuō),這項(xiàng)試驗(yàn)開始于一個(gè)關(guān)鍵時(shí)刻。由于低成本計(jì)算能力的激增,機(jī)器學(xué)習(xí)在技術(shù)領(lǐng)域獲得了越來(lái)越大的吸引力。監(jiān)管文件顯示,亞馬遜的人力資源部門即將開始大舉招聘:自2015年6月以來(lái),該公司的全球員工人數(shù)增加了兩倍多,達(dá)到575700人。

因此,亞馬遜在其愛丁堡工程中心成立了新的團(tuán)隊(duì),其所屬人員已經(jīng)增加至12人。知情人士說(shuō),他們的目標(biāo)是開發(fā)能夠迅速在網(wǎng)絡(luò)上搜索并發(fā)現(xiàn)有價(jià)值應(yīng)聘者的AI系統(tǒng)。該團(tuán)隊(duì)創(chuàng)建了500個(gè)計(jì)算機(jī)模型,它們重點(diǎn)關(guān)注特定的工作功能和地點(diǎn)。他們教授每個(gè)模型辨認(rèn)出現(xiàn)在過(guò)去求職者簡(jiǎn)歷上的約5萬(wàn)個(gè)術(shù)語(yǔ)。

知情人士說(shuō),這些算法學(xué)會(huì)了新的技能,知道求職者普遍具備的技能沒有什么意義,比如編寫各種計(jì)算機(jī)代碼的能力。相反,這項(xiàng)技術(shù)更青睞于那些用男性工程師簡(jiǎn)歷上更常見的動(dòng)詞來(lái)描述自己的人,比如“執(zhí)行”和“捕獲”等。

性別偏見不是這種招聘工具唯一的問(wèn)題。這些知情人士說(shuō),支撐模型判斷的數(shù)據(jù)也存在問(wèn)題,這意味著不合格的求職者通常會(huì)被推薦到各種工作崗位上。他們說(shuō),由于這項(xiàng)技術(shù)幾乎是隨機(jī)反饋結(jié)果,亞馬遜關(guān)閉了這個(gè)項(xiàng)目。?

其他公司也在采取積極措施,這突顯出雇主迫切希望利用AI招聘人才的心態(tài)。鹽湖城附近的初創(chuàng)企業(yè)HireVue首席執(zhí)行官凱文·帕克(Kevin Parker)表示,自動(dòng)化正在幫助企業(yè)超越長(zhǎng)期依賴的招聘網(wǎng)絡(luò)。他的公司分析了求職者在視頻面試中的講話和面部表情,以減少對(duì)簡(jiǎn)歷的依賴。他的公司客戶包括聯(lián)合利華(Unilever PLC)和希爾頓(Hilton)。

高盛已創(chuàng)建了自己的簡(jiǎn)歷分析工具,試圖將求職者與“最適合”的部門匹配起來(lái)。微軟旗下的全球最大職業(yè)社交網(wǎng)站LinkedIn走得更遠(yuǎn),它根據(jù)求職者在其網(wǎng)站上發(fā)布的簡(jiǎn)歷是否符合職位要求,向雇主提供基于算法的求職者排名。不過(guò),LinkedIn Talent Solutions副總裁約翰·杰辛(John Jersin)表示,這項(xiàng)服務(wù)并不能取代傳統(tǒng)的招聘方式。他說(shuō):“我當(dāng)然不會(huì)相信今天的任何AI系統(tǒng)會(huì)自行做出招聘決定,這項(xiàng)技術(shù)還沒有成熟?!?/p>

有些活動(dòng)人士表示,他們擔(dān)心AI的透明度。美國(guó)公民自由聯(lián)盟(American Civil Liberties Union)目前正在挑戰(zhàn)一項(xiàng)法律,該法律允許對(duì)那些測(cè)試招聘網(wǎng)站歧視算法的研究人員和記者提起刑事訴訟。該組織Racial Justice Program律師雷切爾·古德曼(Rachel Goodman)說(shuō):“我們?cè)絹?lái)越關(guān)注算法公平性這一問(wèn)題?!?/p>

盡管如此,古德曼和其他對(duì)AI持批評(píng)態(tài)度的人承認(rèn),要就自動(dòng)招聘問(wèn)題對(duì)雇主提起訴訟可能極其困難,畢竟求職者可能永遠(yuǎn)不會(huì)知道雇主在使用AI招聘。至于亞馬遜,該公司設(shè)法從失敗的AI實(shí)驗(yàn)中吸取教訓(xùn)。知情人士表示,亞馬遜現(xiàn)在使用“經(jīng)過(guò)大量稀釋的”的招聘引擎版本,來(lái)幫助完成一些基本工作,包括從數(shù)據(jù)庫(kù)中剔除重復(fù)的求職者資料。

另一名知情人士稱,愛丁堡的亞馬遜新團(tuán)隊(duì)將對(duì)自動(dòng)招聘進(jìn)行另一次嘗試,這次的重點(diǎn)集中在多樣化上。