本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。

陳怡然，杜克大學(xué)電子與計(jì)算機(jī)工程系教授，美國國家科學(xué)基金委（NSF）下一代移動(dòng)網(wǎng)絡(luò)與邊緣計(jì)算研究院（Athena）主任，NSF 新型與可持續(xù)計(jì)算（ASIC）校企合作研究中心（IUCRC）主任，杜克大學(xué)計(jì)算進(jìn)化智能研究中心（DCEI）聯(lián)合主任。

陳怡然是清華大學(xué)電子系1994級(jí)本科生，2001年獲得清華大學(xué)碩士學(xué)位，2005年獲得普渡大學(xué)博士學(xué)位。他的研究興趣包括新的記憶和存儲(chǔ)系統(tǒng)、機(jī)器學(xué)習(xí)、神經(jīng)形態(tài)計(jì)算和移動(dòng)計(jì)算系統(tǒng)。他曾發(fā)表500多篇論文，出版1部專著，并在各種會(huì)議上獲得幾次最佳論文獎(jiǎng)。他獲得的榮譽(yù)包括 IEEE 計(jì)算機(jī)學(xué)會(huì) Edward J. McCluskey技術(shù)成就獎(jiǎng)、ACM SIGDA服務(wù)獎(jiǎng)等，并因其對(duì)非易失性內(nèi)存技術(shù)的貢獻(xiàn)而被提名為ACM Fellow。他還是美國計(jì)算機(jī)學(xué)會(huì)設(shè)計(jì)自動(dòng)化特別興趣小組（SIGDA）主席。

近日，陳怡然教授接受了ACM的采訪，分享了他對(duì)于計(jì)算新架構(gòu)、AI計(jì)算能效、NSF AI邊緣計(jì)算中心、電子設(shè)計(jì)自動(dòng)化和ACM設(shè)計(jì)自動(dòng)化分會(huì)、以及未來技術(shù)趨勢(shì)的看法。

AI科技評(píng)論對(duì)采訪原文做了不改變?cè)獾木幾g。

ACM：自從您進(jìn)入記憶和存儲(chǔ)系統(tǒng)領(lǐng)域以來，該領(lǐng)域的發(fā)展最讓您驚訝的一點(diǎn)是什么?

陳怡然：我認(rèn)為，在過去的15-20年里，記憶和存儲(chǔ)系統(tǒng)領(lǐng)域發(fā)生的最令人興奮的事情，是計(jì)算和存儲(chǔ)之間的界限變得模糊。

現(xiàn)代計(jì)算范式的新近革命始于處理大數(shù)據(jù)的需要，這引發(fā)了對(duì)大容量存儲(chǔ)設(shè)備的日益增長的需求。計(jì)算單元和存儲(chǔ)設(shè)備之間的有限帶寬所帶來的瓶頸很快就出現(xiàn)了（通常被稱為「馮·諾伊曼瓶頸」）。使內(nèi)存和存儲(chǔ)系統(tǒng)更「智能」已經(jīng)成為緩解系統(tǒng)對(duì)內(nèi)存帶寬的依賴和加快數(shù)據(jù)處理的流行解決方案，比如近內(nèi)存計(jì)算和內(nèi)存計(jì)算。

這是一個(gè)很好的例子，說明了目標(biāo)應(yīng)用程序的轉(zhuǎn)變（即從科學(xué)計(jì)算到以數(shù)據(jù)為中心的計(jì)算）如何改變了計(jì)算機(jī)架構(gòu)的設(shè)計(jì)理念。這種理念的改變激發(fā)了各種新的計(jì)算產(chǎn)品，如智能固態(tài)硬盤(SSD)、動(dòng)態(tài)隨機(jī)訪問內(nèi)存(DRAM)和數(shù)據(jù)處理單元(DPU)，以及許多新興的內(nèi)存技術(shù)，如3D Xpoint內(nèi)存(Intel和Micron)。

它也導(dǎo)致了一些新的非馮·諾伊曼架構(gòu)的出現(xiàn)，比如基于交叉桿的點(diǎn)積引擎，它通過直接將計(jì)算映射到計(jì)算硬件的拓?fù)浣Y(jié)構(gòu)來執(zhí)行向量矩陣乘法。

ACM：您最近被引用最多的一篇論文是“Learning Structured Sparsity in Deep Neural Networks”，它闡述了提高深度神經(jīng)網(wǎng)絡(luò)效率的重要性。為什么提高深度神經(jīng)網(wǎng)絡(luò)的效率很重要？在這一領(lǐng)域有哪些有前景的研究方向?

論文地址：https://dl.acm.org/doi/pdf/10.5555/3157096.3157329

陳怡然：眾所周知，現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)（DNNs）的高（推理）精度伴隨著較高的計(jì)算成本，這是神經(jīng)網(wǎng)絡(luò)的深度和寬度的增加所導(dǎo)致的。然而，我們也知道，神經(jīng)網(wǎng)絡(luò)的連接權(quán)值對(duì)神經(jīng)網(wǎng)絡(luò)的精度并沒有同等的影響。當(dāng)連接權(quán)值接近于零時(shí)，連接很可能就可以被修剪（即權(quán)值設(shè)置為零），而不會(huì)以任何方式對(duì)神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性產(chǎn)生顯著的影響。我們?cè)贜eurIPS 2016上發(fā)表的這篇論文表明，學(xué)習(xí)非零權(quán)結(jié)構(gòu)化存儲(chǔ)在內(nèi)存中的稀疏神經(jīng)網(wǎng)絡(luò)可以保持良好的數(shù)據(jù)局部性，降低緩存失誤率。因此，神經(jīng)網(wǎng)絡(luò)的計(jì)算效率大大提高。所提出的技術(shù)，即結(jié)構(gòu)化稀疏學(xué)習(xí)（通常稱為結(jié)構(gòu)化剪接）及其變體已被廣泛應(yīng)用于現(xiàn)代高效DNN模型設(shè)計(jì)，并得到許多人工智能(AI)計(jì)算芯片的支持，如英特爾Nervana和NVIDIA安培。

提高DNN的效率至關(guān)重要，因?yàn)樗诤艽蟪潭壬献璧K了大型DNN模型的擴(kuò)展，也阻礙了大型模型在計(jì)算、存儲(chǔ)資源和電力預(yù)算有限的系統(tǒng)上的部署，例如Edge和物聯(lián)網(wǎng)設(shè)備。該領(lǐng)域的最新研究趨勢(shì)是算法和硬件層面創(chuàng)新的結(jié)合，例如，基于新興納米設(shè)備設(shè)計(jì)人工智能加速器，用于加速新的或未開發(fā)的人工智能模型，如貝葉斯模型、類量子模型、神經(jīng)符號(hào)模型等。

ACM：最近有消息宣布，您將指導(dǎo)美國國家科學(xué)基金委的下一代網(wǎng)絡(luò)與邊緣計(jì)算人工智能研究院的雅典娜項(xiàng)目（Athena）。Athena項(xiàng)目歷時(shí)5年，耗資2000萬美元，包括杜克大學(xué)、麻省理工學(xué)院、普林斯頓大學(xué)、耶魯大學(xué)、密歇根大學(xué)、威斯康辛大學(xué)和北卡羅來納農(nóng)業(yè)技術(shù)州立大學(xué)在內(nèi)的幾家機(jī)構(gòu)將參與其中。Athena項(xiàng)目的目標(biāo)是什么?

陳怡然：我們對(duì)Athena項(xiàng)目的成立感到非常興奮，它是由美國國家科學(xué)基金委和美國國土安全部贊助的邊緣計(jì)算人工智能旗艦研究所。Athena的目標(biāo)是通過提供前所未有的性能和支持以前不可能實(shí)現(xiàn)的服務(wù)，同時(shí)通過先進(jìn)的人工智能技術(shù)控制復(fù)雜性和成本，從而改變未來移動(dòng)網(wǎng)絡(luò)系統(tǒng)的設(shè)計(jì)、運(yùn)營和服務(wù)。

Athena的研究活動(dòng)分為四個(gè)核心領(lǐng)域：邊緣計(jì)算系統(tǒng)、計(jì)算機(jī)系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)以及服務(wù)和應(yīng)用。我們開發(fā)的人工智能技術(shù)也將為未來移動(dòng)網(wǎng)絡(luò)的功能、異構(gòu)性、可擴(kuò)展性和可信賴性提供理論和技術(shù)基礎(chǔ)。

Athena作為社區(qū)的連接點(diǎn)，將促進(jìn)新興技術(shù)的生態(tài)系統(tǒng)，培養(yǎng)多樣化的具有道德和公平價(jià)值觀的新一代技術(shù)領(lǐng)袖。我們預(yù)計(jì)，Athena的成功將重塑移動(dòng)網(wǎng)絡(luò)行業(yè)的未來，創(chuàng)造新的商業(yè)模式和創(chuàng)業(yè)機(jī)會(huì)，并改變未來的移動(dòng)網(wǎng)絡(luò)研究和工業(yè)應(yīng)用。

ACM：設(shè)計(jì)自動(dòng)化領(lǐng)域最令人興奮的趨勢(shì)是什么？作為美國計(jì)算機(jī)學(xué)會(huì)設(shè)計(jì)自動(dòng)化特別興趣小組（SIGDA）的主席，您認(rèn)為該組織在這個(gè)領(lǐng)域扮演著什么樣的角色？

陳怡然：在過去十年中，設(shè)計(jì)自動(dòng)化最令人興奮的趨勢(shì)是在電子設(shè)計(jì)自動(dòng)化（EDA）工具中廣泛采用機(jī)器學(xué)習(xí)技術(shù)。由于芯片設(shè)計(jì)質(zhì)量在很大程度上取決于芯片設(shè)計(jì)師的經(jīng)驗(yàn)，因此開發(fā)智能的EDA工具是很自然的思路，它可以直接學(xué)習(xí)如何從先前已有的設(shè)計(jì)中延承半導(dǎo)體芯片的設(shè)計(jì)方法，而無需再經(jīng)歷一遍傳統(tǒng)的笨重模型。各種機(jī)器學(xué)習(xí)模型已嵌入到最新的EDA流程中，以加速計(jì)算的試驗(yàn)路由和布局、功率估計(jì)、時(shí)序分析、參數(shù)調(diào)整、信號(hào)完整性等。機(jī)器學(xué)習(xí)算法也已經(jīng)在芯片的硬件模塊中實(shí)現(xiàn)，以監(jiān)測(cè)和預(yù)測(cè)芯片的運(yùn)行時(shí)功耗。例如我們的APOLLO框架（獲得MICRO 2021 最佳論文獎(jiǎng)）。

論文地址：https://dl.acm.org/doi/pdf/10.1145/3466752.3480064

作為最大的EDA專業(yè)協(xié)會(huì)之一，SIGDA致力于提升全球EDA專業(yè)人士和學(xué)生的技能和知識(shí)。SIGDA每年贊助和組織30多個(gè)國際和地區(qū)會(huì)議，編輯和支持多種期刊和通訊，并主辦十幾場(chǎng)教育和技術(shù)活動(dòng)，包括研討會(huì)、教程、網(wǎng)絡(luò)研討會(huì)、競(jìng)賽、研究論壇和大學(xué)演示。通過與我們的行業(yè)伙伴合作，SIGDA還為年輕學(xué)生、教師和專業(yè)人士提供旅行津貼，以支持他們參加會(huì)議。我們也頒發(fā)一些獎(jiǎng)項(xiàng)給社區(qū)中的杰出研究人員和志愿者。

ACM：在未來幾年里，您所在領(lǐng)域的研究途徑會(huì)特別具有影響力的一個(gè)例子是什么？

陳怡然：我相信，一個(gè)通用的和可解釋的AI計(jì)算硬件設(shè)計(jì)流程，將是EDA和計(jì)算系統(tǒng)研究的下一個(gè)革命性技術(shù)。

在過去的十年中，人們提出各種硬件設(shè)計(jì)來加速人工智能模型的計(jì)算。然而，設(shè)計(jì)者總是在設(shè)計(jì)的通用性和效率之間掙扎，因?yàn)闉榱诉m應(yīng)不斷變化的模型的獨(dú)特結(jié)構(gòu)，需要進(jìn)行許多硬件定制。另一方面，可解釋性一直是確保AI模型的魯棒性和推廣模型設(shè)計(jì)的一個(gè)長期挑戰(zhàn)。

未來的AI計(jì)算硬件設(shè)計(jì)可能由各種可解釋的硬件模塊組成，這些模塊對(duì)應(yīng)它們各自的算法。AI計(jì)算硬件的性能由一個(gè)通用的設(shè)計(jì)流程來保證。一種可能的解決方案是使用神經(jīng)符號(hào)化方法構(gòu)建一個(gè)可組合的AI模型，并實(shí)現(xiàn)與符號(hào)化算法模塊相對(duì)應(yīng)的硬件模塊。然后，可以使用擴(kuò)展的AutoML流自動(dòng)化目標(biāo)AI計(jì)算硬件的設(shè)計(jì)，從而在保證通用性和可解釋性的情況下實(shí)現(xiàn)所需的性能。