神經(jīng)網(wǎng)絡(luò)內(nèi)部長啥樣？
神經(jīng)網(wǎng)絡(luò)就像“煉丹爐”一樣，投喂大量數(shù)據(jù)，或許能獲得神奇的效果。
“煉丹”成功后，神經(jīng)網(wǎng)絡(luò)也能對沒見過的數(shù)據(jù)進行預(yù)測了~
然而，這種情況下，神經(jīng)網(wǎng)絡(luò)其實成了“黑匣子”——具有一定的功能，但看不見是怎么起作用的。
如果只做簡單的圖像分類，其實還好；但如果用在醫(yī)學(xué)方向，對疾病進行預(yù)測，那么神經(jīng)網(wǎng)絡(luò)下的“判斷”就不可輕信。
如果能了解它是怎么工作的，就更好了。
出于這種考慮，來自牛津大學(xué)的博士生Oana-Maria Camburu撰寫了畢業(yè)論文《解釋神經(jīng)網(wǎng)絡(luò) （Explaining Deep Neural Networks）》。
在這篇論文中，她將這些“黑匣子”一個個打開，對神經(jīng)網(wǎng)絡(luò)原理進行了詳細的解釋。
為什么要打開神經(jīng)網(wǎng)絡(luò)“黑匣子”？
事實上，神經(jīng)網(wǎng)絡(luò)之所以起作用，最直觀的原因就是，它由大量非線性函數(shù)組成。
這些非線性函數(shù)，使得網(wǎng)絡(luò)可以學(xué)習(xí)原始數(shù)據(jù)中各種抽象級特征。
然而，也正是因為神經(jīng)網(wǎng)絡(luò)中的這些非線性函數(shù)，使得人類往往難以理解，它們是如何起作用的。
這就導(dǎo)致神經(jīng)網(wǎng)絡(luò)在疾病預(yù)測、信用額度、刑法等方向上“不太受歡迎”。
醫(yī)生和法律相關(guān)的研究者往往更樂意采用可解釋模型，例如線性回歸、決策樹，因為神經(jīng)網(wǎng)絡(luò)在疾病預(yù)測中的確出過問題：
人們利用神經(jīng)網(wǎng)絡(luò)預(yù)測肺炎患者的病情發(fā)展，其中一項患者特征為是否有哮喘病史。
神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練后預(yù)測，有哮喘病史的患者死于肺炎的可能性較低。
但其實結(jié)果恰好相反，哮喘本身會給肺炎帶來雪上加霜的效果。
之所以數(shù)據(jù)表明哮喘患者較少死于肺炎，往往是因為哮喘能被及早發(fā)現(xiàn)，所以患者得肺炎后能被及早治療。
如果這種神經(jīng)網(wǎng)絡(luò)被應(yīng)用于實踐中，將會帶來非常危險的結(jié)果。
此外，即使是神經(jīng)網(wǎng)絡(luò)，也會對男女性別產(chǎn)生刻板印象、產(chǎn)生種族偏見。
例如，調(diào)查表明，有些語料庫和模型，在預(yù)測再犯時，會更“偏愛”男性。
除了錯誤的預(yù)測和種族、性別歧視以外，神經(jīng)網(wǎng)絡(luò)還很脆弱。
無論是對圖像進行小改動欺騙分類算法、還是用語音識別瞞過NLP模型，神經(jīng)網(wǎng)絡(luò)被“爆雷”的情況也不少。
為了讓神經(jīng)網(wǎng)絡(luò)應(yīng)用于更多的方向，也為了讓我們更好地學(xué)習(xí)它的原理，作者從兩個方向?qū)ι窠?jīng)網(wǎng)絡(luò)進行了解釋。
2 種方法解釋神經(jīng)網(wǎng)絡(luò)
“事后再解釋”
第一種方法，稱之為基于特征的解釋方法，又叫“事后再解釋”——因為這種方法，是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練好后，才對其輸入特征進行解釋的。
這種方法針對文本的詞（token）、或是針對圖像的超像素（super pixels），進行“事后”解釋。
目前這種方法應(yīng)用較為普遍，不容易出現(xiàn)解釋偏見，但需要驗證解釋方法的真實性。
這里的根本原理，是研究外部解釋方法給出的解釋、與模型本身生成的自然語言解釋之間，是否存在相關(guān)性，而相關(guān)性具體又是什么。
在論文中，作者引入了一種新的驗證方法，來判斷解釋方法的真實性。
讓神經(jīng)網(wǎng)絡(luò)自己解釋
那么，如果能讓神經(jīng)網(wǎng)絡(luò)一邊訓(xùn)練、一邊“解釋自己”呢？
這是論文提到的第二種方法，即在模型中植入一個生成預(yù)測解釋的模塊，對預(yù)測的結(jié)果進行解釋。
至于神經(jīng)網(wǎng)絡(luò)對自己的解釋是否正確，還需要人為進行判斷。
在這里面，作者同樣引入了一種判斷方法，對模型自己生成的解釋進行判斷，從而得出神經(jīng)網(wǎng)絡(luò)解釋的結(jié)果。
對神經(jīng)網(wǎng)絡(luò)詳細結(jié)構(gòu)、具體解釋方法感興趣的小伙伴，可以戳下方論文地址查看~
