正如圖像處理、智能醫(yī)療、自動駕駛汽車和智慧城市等各個 AI 領(lǐng)域的突破所展現(xiàn)的那樣，深度學習無疑正在經(jīng)歷著黃金期。在未來十年左右，AI 和計算機系統(tǒng)將最終具備類人的學習和思考能力，以處理持續(xù)的信息流，與現(xiàn)實世界進行交互。

但是，當前的 AI 模型在連續(xù)進行新信息訓練時會遭受性能損失。這是因為每當生成新數(shù)據(jù)時，都會在已有數(shù)據(jù)之上寫入，從而擦除以前的信息。這種效應被稱為「災難性遺忘」。穩(wěn)定性 - 可塑性困境導致 AI 模型需要更新其記憶以不斷地適應新信息，同時保持當前知識的穩(wěn)定性。這一問題阻止了 SOTA AI 模型持續(xù)地從現(xiàn)實世界信息中學習。

同時，邊緣計算系統(tǒng)允許將計算從云存儲和數(shù)據(jù)中心轉(zhuǎn)移到原始來源附近，例如連接物聯(lián)網(wǎng)的設備。在資源有限的邊緣計算設備上高效地應用持續(xù)學習仍然是一個挑戰(zhàn)，盡管領(lǐng)域內(nèi)也提出了很多持續(xù)學習模型來解決這一問題。傳統(tǒng)模型需要高計算能力和大存儲容量。

最近，新加坡科技設計大學（SUTD）的一個研究團隊設計了一種能夠?qū)崿F(xiàn)高能效持續(xù)學習系統(tǒng)的新型模型，研究《Continual Learning Electrical Conduction in Resistive-Switching-Memory Materials》發(fā)表在了期刊《先進理論與模擬》上。

論文地址：https://onlinelibrary.wiley.com/doi/abs/10.1002/adts.202200226

該團隊提出一種受大腦啟發(fā)的模型—Brain-Inspired Replay(BIR)，它可以自然地進行持續(xù)學習。BIR 模型基于人工神經(jīng)網(wǎng)絡和變分自編碼器來模擬人類大腦的功能，在沒有存儲數(shù)據(jù)的類增量學習場景中也能表現(xiàn)得很好。研究者還使用 BIR 模型來表示在數(shù)字存儲系統(tǒng)中使用電流的導電絲生長。

下圖左上為生成式回放設置，右上為訓練具有生成式回放的人工神經(jīng)網(wǎng)絡；左下和右下分別為常規(guī)以及 BIR 模型的歸一化電流精度。

論文通訊作者之一、助理教授 Loke 解釋稱，「在 BIR 中，知識被保存在訓練過的模型中，從而在引入額外任務時將性能損失降至最低，并無需參考以往工作中的數(shù)據(jù)。因此，這種做法可以大量節(jié)能?！?br>

他還補充道，「在無存儲數(shù)據(jù)的情況下，在當前學習任務的合規(guī)性挑戰(zhàn)上實現(xiàn)了 89% 的 SOTA 準確率，這比傳統(tǒng)持續(xù)學習模型高了約兩倍，并且實現(xiàn)了高能效?！?br>

此外，為了使 BIR 模型能夠獨立處理現(xiàn)實世界的現(xiàn)場信息，該團隊計劃在下一階段的研究中擴展它的可調(diào)能力。

Loke 表示，這項研究基于小規(guī)模演示，仍處于早期階段。不過，采用這種方法有望使得邊緣 AI 系統(tǒng)在無人類控制的情況下獨立發(fā)展。