4月12日，F(xiàn)US獵云網(wǎng)2019年度人工智能產(chǎn)業(yè)峰會(huì)在北京千禧大酒店隆重舉行，近百位知名資本大咖，獨(dú)角獸創(chuàng)始人、創(chuàng)業(yè)風(fēng)云人物及近千位投資人與創(chuàng)業(yè)者共聚一堂。

聯(lián)想集團(tuán)副總裁、聯(lián)想研究院人工智能實(shí)驗(yàn)室負(fù)責(zé)人徐飛玉博士受邀參與本次峰會(huì)并發(fā)表《“可解釋性人工智能“， 打造人機(jī)互信智能時(shí)代》的主題演講。徐飛玉表示：可解釋性AI，可以讓AI由煉金術(shù)變成“化學(xué)”。

近幾年，深度學(xué)習(xí)大大推動(dòng)了人工智能的發(fā)展，但由于可解釋性差，它就像一個(gè)黑盒子，阻礙了人工智能的落地和商業(yè)化。同時(shí)，在一些學(xué)者眼里看來(lái)，由于缺乏可解釋性，現(xiàn)有的人工智能技術(shù)好比煉金術(shù)，不夠科學(xué)和嚴(yán)謹(jǐn)。因此，伴隨著人工智能大火，可解釋性AI成為非常重要的研究方向，而智能時(shí)代需要是一個(gè)人機(jī)互信的時(shí)代

徐飛玉分析指出，可解釋性AI的重要性可以從三個(gè)角度來(lái)體現(xiàn)：對(duì)使用者來(lái)說，如果人工智能技術(shù)幫助我們做決定，做決定的人需要理解，為什么人工智能系統(tǒng)提供這樣的建議。第二，對(duì)于受到AI影響的人，如果AI自己做了決定，那些受到?jīng)Q定影響的人要能夠理解這個(gè)決定。第三，對(duì)于開發(fā)者來(lái)說，理解了深度學(xué)習(xí)的黑盒子，可以通過提供更好的學(xué)習(xí)數(shù)據(jù)， 改善方法和模型， 提高系統(tǒng)能力。

徐飛玉還介紹了目前世界范圍內(nèi)可解釋AI研究的三個(gè)重要領(lǐng)域：一是使深度神經(jīng)網(wǎng)組件變得透明，二是從深度神經(jīng)網(wǎng)里面學(xué)習(xí)到語(yǔ)義網(wǎng)，三是生成解釋，生成人可以理解的解釋。。

對(duì)于AI下一步的發(fā)展和應(yīng)用，徐飛玉指出，必須要把深度學(xué)習(xí)和知識(shí)圖譜結(jié)合起來(lái)。在她的暢想中，未來(lái)的AI將更像化學(xué)一樣，并以人作為最重要的“元素”賦能社會(huì)。

FUS 為“Future Unicorn Summit”的簡(jiǎn)稱，意為未來(lái)獨(dú)角獸峰會(huì)。獵云網(wǎng)以發(fā)現(xiàn)產(chǎn)業(yè)獨(dú)角獸為初衷，開啟系列產(chǎn)業(yè)獨(dú)角獸峰會(huì)。本次大會(huì)將繼續(xù)致力于探究人工智能行業(yè)核心發(fā)展趨勢(shì)，通過優(yōu)質(zhì)AI應(yīng)用實(shí)例分享、科技領(lǐng)域、金融投資等業(yè)界大佬互動(dòng)，聚焦國(guó)內(nèi)人工智能的產(chǎn)業(yè)力量，以行業(yè)從業(yè)者的視角，探討科技浪潮的機(jī)遇與挑戰(zhàn)。

以下為徐飛玉演講實(shí)錄：

可解釋性AI既是一個(gè)舊話題，也是一個(gè)新話題。

上世紀(jì)70年代末、80年代初，當(dāng)時(shí)很多的輔助顧問系統(tǒng)已在可解釋性上有研究。在人工智能研究之初，科學(xué)家們就提出人工智能系統(tǒng)需要能解釋，特別是這些人工智能系統(tǒng)參與決定的情況下。但是過去的人工智能系統(tǒng)，它們是以規(guī)則、以知識(shí)為基礎(chǔ)，而這些人工智能系統(tǒng)的規(guī)則和知識(shí)是人定義的，據(jù)此推算出來(lái)的結(jié)果，人是可以理解的。

近幾年，深度學(xué)習(xí)很大程度上推動(dòng)了人工智能的快速發(fā)展，可解釋性AI成為一個(gè)新的課題。對(duì)機(jī)器學(xué)習(xí)，特別是深度學(xué)習(xí)來(lái)說，可解釋性AI是一個(gè)很大的挑戰(zhàn)。

深度神經(jīng)網(wǎng)絡(luò)對(duì)我們?nèi)藖?lái)說是一個(gè)黑盒子。在人工智能落地做應(yīng)用的時(shí)候，如果是個(gè)黑盒子，大家不敢用，但也可能不能用。深度學(xué)習(xí)在預(yù)測(cè)能力方面比目前任何其他學(xué)習(xí)方法更好，但可解釋性也最差。

最近，人工智能在人臉識(shí)別或者語(yǔ)音識(shí)別上的突破都和它的預(yù)測(cè)準(zhǔn)確性有很大關(guān)系，可是要落地、要商業(yè)化，可解釋性就變得非常重要。深度學(xué)習(xí)很多算法，如人臉識(shí)別的深度神經(jīng)網(wǎng)絡(luò)，我們希望它的神經(jīng)元是有透明度和可視化的。我們可能理想地認(rèn)為每個(gè)神經(jīng)元和我們?nèi)说恼J(rèn)知的語(yǔ)義對(duì)應(yīng)，有可能底層的神經(jīng)元對(duì)應(yīng)鼻子、耳朵，然后再是完整的臉，而實(shí)際中，很多神經(jīng)元既有眼睛的信息，也有鼻子的信息，是很混亂的。

為什么可解釋性AI這么重要呢？第一，對(duì)我們使用者來(lái)說，如果人工智能的技術(shù)只是提一些建議或者幫助我們做決定，做決定的人他要必須理解，為什么人工智能系統(tǒng)給他們提了這個(gè)建議。比如，醫(yī)生做診斷，要能理解為什么醫(yī)療診斷系統(tǒng)做這樣的建議。第二，對(duì)于受到AI影響的人，如果AI自己做了決定，那些受到?jīng)Q定影響的人要能夠理解這個(gè)決定。第三，對(duì)于開發(fā)者來(lái)說，理解了深度學(xué)習(xí)的黑盒子，可以通過提供更好的學(xué)習(xí)數(shù)據(jù)， 改善方法和模型， 提高系統(tǒng)能力。

大家都知道，歐洲共同體，歐盟對(duì)數(shù)據(jù)保護(hù)非常重視，對(duì)用戶權(quán)利保護(hù)非常重視，歐盟在GDPR（GeneralDataProtectionRegulation歐盟一般數(shù)據(jù)保護(hù)條例）上面有要求，要求人工智能的算法如果參與決定必須要有解釋的能力，這對(duì)人工智能的研發(fā)人員和提供人工智能的公司來(lái)說、企業(yè)來(lái)說，我們必須要做可解釋性人工智能的研發(fā)，提供可解釋性的人工智能系統(tǒng)。所以說遵守立法是我們做可解釋性AI的一個(gè)重要的原因之一。

舉個(gè)例子，美國(guó)德州的教師控告了AI系統(tǒng)用于課堂教學(xué)評(píng)估并取得勝訴。德州用一個(gè)AI系統(tǒng)自動(dòng)評(píng)估教師上課的質(zhì)量，老師說不能用這個(gè)系統(tǒng)，這個(gè)系統(tǒng)不能告訴我，為什么我上課的效果不好，后來(lái)德州把這個(gè)系統(tǒng)去掉了。

用可解釋性AI可以幫助我們驗(yàn)證我們的系統(tǒng)推出的是正確的還是錯(cuò)誤的預(yù)算。這里有一個(gè)很簡(jiǎn)單的例子，我們的人工智能黑盒子用了一堆數(shù)據(jù)推算出來(lái)，有哮喘病的病人得肺炎的可能性很低。用常識(shí)來(lái)說，這個(gè)推算不對(duì)。問題在于它的數(shù)據(jù)是有問題的，研發(fā)人員用了住在醫(yī)院里的哮喘病人數(shù)據(jù)來(lái)推算，他們被看護(hù)得很好、治療得很好，他們患肺炎可能性低。但如果用醫(yī)院外的病人數(shù)據(jù)來(lái)推算，哮喘病人得肺炎的可能性非常高。所以通過可解釋性AI可以理解并糾正我們系統(tǒng)的弱點(diǎn)，知道數(shù)據(jù)的偏差，而且發(fā)現(xiàn)模型中的錯(cuò)誤。

最近幾年，在可解釋性AI方面，很多的企業(yè)或者是投資企業(yè)當(dāng)中，可解釋性AI還不是重點(diǎn)。目前，全球在研發(fā)可解釋性AI的工作上，主要有三個(gè)重要領(lǐng)域：第一是使深度神經(jīng)網(wǎng)組件變得透明，第二是從深度神經(jīng)網(wǎng)里面學(xué)習(xí)到語(yǔ)義圖，第三是生成解釋，生成人理解的解釋。

2016年，來(lái)自谷歌機(jī)器學(xué)習(xí)科學(xué)家Ali Rahimi 在NIPS（神經(jīng)信息處理系統(tǒng)大會(huì)）上表示，當(dāng)前有一種把機(jī)器學(xué)習(xí)當(dāng)成煉金術(shù)來(lái)使用的錯(cuò)誤趨勢(shì)。因?yàn)槿斯ぶ悄芟到y(tǒng)已經(jīng)參與了很多社會(huì)的決定，幫助我們醫(yī)療系統(tǒng)、幫助醫(yī)生，但他希望生活在一個(gè)社會(huì)里，在這個(gè)社會(huì)里，這個(gè)社會(huì)里用的系統(tǒng)建立在可驗(yàn)證的、嚴(yán)謹(jǐn)?shù)�、全面的知識(shí)之上，而不是煉金術(shù)。他認(rèn)同Andrew Ng的觀點(diǎn)即人工智能是新的電力，他比喻到，可解釋性AI的發(fā)展是要讓機(jī)器學(xué)習(xí)或者是現(xiàn)在的人工智能從煉金術(shù)變成電力學(xué)。但我個(gè)人認(rèn)為說化學(xué)更合適。

2016年，美國(guó)國(guó)防高級(jí)研究計(jì)劃局（DARPA）制定了《DARPA Explainable AI （XAI） Program》，這是一個(gè)五年研發(fā)計(jì)劃�，F(xiàn)在人工智能機(jī)器學(xué)習(xí)，有了數(shù)據(jù)進(jìn)行訓(xùn)練，訓(xùn)練出來(lái)的模型，一張圖片放進(jìn)去，識(shí)別出這是一只貓，但人不知道為什么是貓，而不是其他東西。而美國(guó)的五年計(jì)劃希望實(shí)現(xiàn)的效果是，有了訓(xùn)練數(shù)據(jù)以后，用新的方法得出來(lái)可解釋性的模型，這個(gè)可解釋性的模型，加上可以解釋的界面，對(duì)投資者來(lái)說是非常重要的，可解釋性AI對(duì)投資的決定是一個(gè)很好的應(yīng)用。

人工智能想模擬人的智力。人有顯性的知識(shí)和隱性的知識(shí)，隱性的知識(shí)就是我們的經(jīng)驗(yàn)直覺，人可以有效結(jié)合兩種不同的知識(shí)，把經(jīng)驗(yàn)、直覺、知識(shí)結(jié)合在一起。我們?cè)诮忉尩臅r(shí)候，理解的時(shí)候必須是顯性的。深度學(xué)習(xí)是以概率的模型得到了隱性的知識(shí)，深度神經(jīng)網(wǎng)它們不理解任何的事情，只是數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系。深度學(xué)習(xí)雖然被強(qiáng)調(diào)了很多，但在人工智能領(lǐng)域還有其他的方法，比如知識(shí)圖譜，知識(shí)圖譜在模擬顯性的知識(shí)。目前深度學(xué)習(xí)和知識(shí)圖譜這兩個(gè)世界還沒有在一起，但是下一步對(duì)整個(gè)人工智能的發(fā)展和應(yīng)用落地來(lái)說，必須把顯性知識(shí)和隱性知識(shí)結(jié)合在一起。