偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

Richard Sutton 直言卷積反向傳播已經(jīng)落后,AI 突破要有新思路:持續(xù)反向傳播

人工智能 新聞
強(qiáng)化學(xué)習(xí)算法利用了策略迭代思想,持續(xù)學(xué)習(xí)問題固然存在,保持深度學(xué)習(xí)網(wǎng)絡(luò)的可塑性為 RL 和基于模型的 RL 開辟了巨大的新可能性。

“可塑性損失”(Loss of Plasticity)是深度神經(jīng)網(wǎng)絡(luò)最常被詬病的一個缺點(diǎn),這也是基于深度學(xué)習(xí)的 AI 系統(tǒng)被認(rèn)為無法持續(xù)學(xué)習(xí)的原因之一。

對于人腦而言,“可塑性”是指產(chǎn)生新神經(jīng)元和神經(jīng)元之間新連接的能力,是人進(jìn)行持續(xù)學(xué)習(xí)的重要基礎(chǔ)。隨著年齡的增長,作為鞏固已學(xué)到知識的代價,大腦的可塑性會逐漸下降。神經(jīng)網(wǎng)絡(luò)也是類似。

一個形象的例子是,2020 年熱啟動式(warm-starting)訓(xùn)練被證明:只有拋除最初學(xué)到的內(nèi)容,以一次性學(xué)習(xí)的方式在整個數(shù)據(jù)集上訓(xùn)練,才會取得比較好的學(xué)習(xí)效果。

在深度強(qiáng)化學(xué)習(xí)(DRL)中,AI 系統(tǒng)往往也要“遺忘”神經(jīng)網(wǎng)絡(luò)之前所學(xué)習(xí)的所有內(nèi)容,只將部分內(nèi)容保存到回放緩沖區(qū),再從零開始實(shí)現(xiàn)不斷學(xué)習(xí)。這種重置網(wǎng)絡(luò)的方式也被認(rèn)為證明了深度學(xué)習(xí)無法持續(xù)學(xué)習(xí)。

那么,如何才能使學(xué)習(xí)系統(tǒng)保持可塑性?

近日,強(qiáng)化學(xué)習(xí)之父 Richard Sutton 在 CoLLAs 2022 會議中作了一個題為“Maintaining Plasticity in Deep Continual Learning” 的演講,提出了他認(rèn)為能夠解決這個問題的答案:持續(xù)反向傳播算法(Continual Backprop)。

Richard Sutton 首先從數(shù)據(jù)集的角度證明了可塑性損失的存在,然后從神經(jīng)網(wǎng)絡(luò)內(nèi)部分析了可塑性損失的原因,最后提出持續(xù)反向傳播算法作為解決可塑性損失的途徑:重新初始化一小部分效用度較低的神經(jīng)元,這種多樣性的持續(xù)注入可以無限期地保持深度網(wǎng)絡(luò)的可塑性。

以下是演講全文,AI 科技評論做了不改原意的整理。

可塑性損失的真實(shí)存在

深度學(xué)習(xí)是否能真正解決持續(xù)學(xué)習(xí)的問題?

答案是否定的,主要原因有以下三點(diǎn):

  1. “無法解決”是指如同非深度的線性網(wǎng)絡(luò),學(xué)習(xí)速度最終會非常緩慢;
  2. 深度學(xué)習(xí)中采用的專業(yè)標(biāo)準(zhǔn)化方法只在一次性學(xué)習(xí)中有效,與持續(xù)學(xué)習(xí)相違背;
  3. 回放緩存本身就是承認(rèn)深度學(xué)習(xí)不可行的極端方法。

因此,我們必須尋找適用于這種新型學(xué)習(xí)模式的更優(yōu)算法,擺脫一次性學(xué)習(xí)的局限性。

首先,我們利用 ImageNet 和 MNIST 數(shù)據(jù)集做分類任務(wù),實(shí)現(xiàn)回歸預(yù)測,對持續(xù)學(xué)習(xí)效果進(jìn)行直接測試,證明了監(jiān)督學(xué)習(xí)中可塑性損失的存在。

ImageNet 數(shù)據(jù)集測試

ImageNet 是一個包含數(shù)百萬張用名詞標(biāo)記的圖像的數(shù)據(jù)集。它有 1000 個類別,每個類別有700張或更多圖像,被廣泛用于類別學(xué)習(xí)和類別預(yù)測。

下面是一張鯊魚照片,通過下采樣降到 32*32 大小。這個實(shí)驗(yàn)的目的是從深度學(xué)習(xí)實(shí)踐中尋找最小的變化。我們將每個類別的 700 張圖像劃分成 600 個訓(xùn)練樣例和 100 個測試樣例,然后將 1000 個類別分成兩組,生成長度為 500 的二元分類任務(wù)序列,所有的數(shù)據(jù)集會被隨機(jī)地打亂順序。每個任務(wù)訓(xùn)練結(jié)束后,我們在測試樣例上評估模型的準(zhǔn)確率,獨(dú)立運(yùn)行 30 次后取平均,再進(jìn)入下一個二元分類任務(wù)。

圖片

500 個分類任務(wù)會共享相同的網(wǎng)絡(luò),為了消除復(fù)雜性影響,任務(wù)切換后會重置頭網(wǎng)絡(luò)。我們采用標(biāo)準(zhǔn)網(wǎng)絡(luò),即 3 層卷積 + 3 層全連接,不過對于 ImageNet 數(shù)據(jù)集來說輸出層可能相對小一些,這是由于一個任務(wù)只用了兩種類別。對于每個任務(wù),每 100 個示例作為一個 batch,共有 12 個 batch,訓(xùn)練 250 個 epoch。在開始第一個任務(wù)前只進(jìn)行一次初始化,利用 Kaiming 分布初始化權(quán)重。針對交叉熵?fù)p失采用基于動量的隨機(jī)梯度下降法,同時采用 ReLU 激活函數(shù)。

這里引出兩個問題:

1、在任務(wù)序列中,性能會如何演化?

2、在哪一個任務(wù)上的性能會更好?是初始的第一個任務(wù)會更好?還是后續(xù)任務(wù)會從前面任務(wù)的經(jīng)驗(yàn)中獲益?

下圖給出了答案,持續(xù)學(xué)習(xí)的性能是由訓(xùn)練步長和反向傳播綜合決定的。

由于是二分類問題,偶然性概率是 50%,陰影區(qū)域表示標(biāo)準(zhǔn)差,這種差異并不顯著。線性基準(zhǔn)采用線性層直接處理像素值,沒有深度學(xué)習(xí)方法效果好,這種差異很顯著。

圖片

圖注:使用更小的學(xué)習(xí)率(α=0.001)準(zhǔn)確率會更高,在前 5 個任務(wù)中性能逐步提升,但從長遠(yuǎn)來看卻呈下降趨勢。

我們接著將任務(wù)數(shù)目增加到了 2000,進(jìn)一步分析了學(xué)習(xí)率對于持續(xù)學(xué)習(xí)效果的影響,平均每 50 個任務(wù)計(jì)算一次準(zhǔn)確率。結(jié)果如下圖。

圖片

圖注:α=0.01 的紅色曲線在第一個任務(wù)上的準(zhǔn)確率大約是 89%,一旦任務(wù)數(shù)超過 50,準(zhǔn)確率便下降,隨著任務(wù)數(shù)進(jìn)一步增加,可塑性逐漸缺失,最終準(zhǔn)確率低于線性基準(zhǔn)。α=0.001 時,學(xué)習(xí)速度減慢,可塑性也會急劇降低,準(zhǔn)確率只是比線性網(wǎng)絡(luò)高一點(diǎn)點(diǎn)。

因此,對于良好的超參數(shù),任務(wù)間的可塑性會衰減,準(zhǔn)確率會比只使用一層神經(jīng)網(wǎng)絡(luò)還要低,紅色曲線所顯示的幾乎就是“災(zāi)難性的可塑性缺失”。

訓(xùn)練結(jié)果同樣取決于迭代次數(shù)、步長數(shù)和網(wǎng)絡(luò)尺寸等參數(shù),圖中每條曲線在多個處理器上的訓(xùn)練時間是 24 小時,在做系統(tǒng)性實(shí)驗(yàn)時可能并不實(shí)用,我們接下來選擇 MNIST 數(shù)據(jù)集進(jìn)行測試。

MNIST 數(shù)據(jù)集測試

MNIST 數(shù)據(jù)集共包含 60000 張手寫數(shù)字圖像,有 0-9 這 10 個類別,為 28*28 的灰度圖像。

Goodfellow 等人曾通過打亂順序或者隨機(jī)排列像素創(chuàng)建一種新的測試任務(wù),如右下角的圖像就是生成的排列圖像的示例,我們采用這種方法來生成整個任務(wù)序列,在每個任務(wù)中 6000 張圖像以隨機(jī)的形式呈現(xiàn)。這里沒有增加任務(wù)內(nèi)容,網(wǎng)絡(luò)權(quán)重只在進(jìn)行第一個任務(wù)之前初始化一次。我們可以用在線的交叉熵?fù)p失進(jìn)行訓(xùn)練,同樣繼續(xù)使用準(zhǔn)確率指標(biāo)衡量持續(xù)學(xué)習(xí)的效果。

圖片

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為 4 層全連接層,前 3 層神經(jīng)元數(shù)為 2000,最后一層神經(jīng)元數(shù)為 10。由于 MNIST 數(shù)據(jù)集的圖像居中并進(jìn)行過縮放,所以可以不執(zhí)行卷積操作。所有的分類任務(wù)共享相同的網(wǎng)絡(luò),采用了不含動量的隨機(jī)梯度下降法,其他的設(shè)置與 ImageNet 數(shù)據(jù)集測試的設(shè)置相同。

圖片

圖注:中間的圖是在任務(wù)序列上獨(dú)立運(yùn)行 30 次取平均值后的結(jié)果,每個任務(wù)有 6000 個樣本,由于是分類任務(wù),開始時隨機(jī)猜的準(zhǔn)確率是 10%,模型學(xué)習(xí)到排列圖像的規(guī)律后,預(yù)測準(zhǔn)確率會逐漸提升,但切換任務(wù)后,準(zhǔn)確率又降到 10%,所以總體呈現(xiàn)不斷波動趨勢。右邊的圖是模型在每個任務(wù)上的學(xué)習(xí)效果,初始準(zhǔn)確率為 0,隨著時間推移,效果逐漸變好。在第 10 個任務(wù)上的準(zhǔn)確率比第 1 個任務(wù)好,但在進(jìn)行第 100 個任務(wù)時準(zhǔn)確率有所下降,在第 800 個任務(wù)上的準(zhǔn)確率比第一個還要低。

為了弄清楚整個過程,后續(xù)還需要重點(diǎn)分析凸起部分的準(zhǔn)確率,對其取均值后得到中間圖像的藍(lán)色曲線。可以清晰地看到,準(zhǔn)確率剛開始會逐步提升,后面直到第 100 個任務(wù)時趨于平穩(wěn)。那在第 800 個任務(wù)時準(zhǔn)確率為什么會急劇下降呢?

接下來,我們在更多的任務(wù)序列上嘗試了不同的步長值,進(jìn)一步觀察它們的學(xué)習(xí)效果。結(jié)果如下圖:

圖片

圖注:紅色曲線采用和前面實(shí)驗(yàn)相同的步長值,準(zhǔn)確率的確在穩(wěn)步下降,可塑性損失相對較大。

同時,學(xué)習(xí)率越大,可塑性減小的速度就越快。所有的步長值都會存在巨大的可塑性損失。此外,隱藏層神經(jīng)元數(shù)目也會影響準(zhǔn)確率,棕色曲線的神經(jīng)元數(shù)目為 10000,由于神經(jīng)網(wǎng)絡(luò)的擬合能力增強(qiáng),此時準(zhǔn)確率會下降得非常緩慢,仍有可塑性損失,但網(wǎng)絡(luò)尺寸越小,可塑性減小的速度也越快。

那么從神經(jīng)網(wǎng)絡(luò)內(nèi)部來看,為什么會產(chǎn)生可塑性損失?

下圖解釋了其中的原因??梢园l(fā)現(xiàn),“死亡”神經(jīng)元數(shù)目占比過高、神經(jīng)元的權(quán)重過大以及神經(jīng)元多樣性喪失,都是產(chǎn)生可塑性損失的原因。

圖片

圖注:橫軸仍然都表示任務(wù)編號,第一張圖的縱軸表示“死亡”神經(jīng)元的百分比,“死亡”神經(jīng)元是指輸出和梯度總為 0 的神經(jīng)元,不再預(yù)測網(wǎng)絡(luò)的可塑性。第二張圖的縱軸表示權(quán)重大小。第三張圖的縱軸表示剩余隱藏神經(jīng)元數(shù)目的有效等級。

現(xiàn)有方法的局限性

我們分析了現(xiàn)有的、反向傳播以外的深度學(xué)習(xí)方法是否會有助于保持可塑性。

圖片

結(jié)果表明,L2 正則化方法會使可塑性損失減小,在此過程中令權(quán)重縮小到 0,從而可以動態(tài)調(diào)整并保持可塑性。

收縮和擾動方法與 L2 正則化類似,同時還會向所有權(quán)重中加入隨機(jī)噪聲增加多樣性,基本不會有可塑性損失。

我們還嘗試了其他在線標(biāo)準(zhǔn)化方法,開始時效果還比較好,但隨著持續(xù)學(xué)習(xí)可塑性損失嚴(yán)重。Dropout 方法的表現(xiàn)更糟糕,我們隨機(jī)將一部分神經(jīng)元設(shè)置為0再訓(xùn)練,發(fā)現(xiàn)可塑性損失急劇加大。

各種方法對神經(jīng)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)也會產(chǎn)生影響。使用正則化方法會使“死亡”神經(jīng)元數(shù)量百分比上升,因?yàn)樵趯?quán)重縮小到 0 的過程中,如果其一直為 0 ,就會導(dǎo)致輸出為 0,神經(jīng)元就會“死亡”。而收縮和擾動向權(quán)重中添加了隨機(jī)噪聲,所以不會有太多的“死亡”神經(jīng)元。標(biāo)準(zhǔn)化方法也有很多的“死亡”神經(jīng)元,它似乎在朝著錯誤的方向走,Dropout 也類似。

圖片

權(quán)值隨任務(wù)數(shù)量變化的結(jié)果更為合理,使用正則化會獲得很小的權(quán)值,收縮和擾動在正則化的基礎(chǔ)上添加了噪聲,權(quán)值下降幅度相對減弱,而標(biāo)準(zhǔn)化則會使權(quán)重變大。但是對于 L2 正則化以及收縮和擾動方,其隱藏神經(jīng)元數(shù)有效等級相對較低,說明其在保持多樣性方面表現(xiàn)較差,這也是一個問題。

緩慢變化的回歸問題(SCR)

我們所有的 idea 和算法都源自緩慢變化的回歸問題實(shí)驗(yàn),這是一個聚焦于持續(xù)學(xué)習(xí)的新的理想化問題。

在這個實(shí)驗(yàn)中,我們的目的是要實(shí)現(xiàn)一個具有隨機(jī)權(quán)重的單層神經(jīng)網(wǎng)絡(luò)形成的目標(biāo)函數(shù),隱藏層神經(jīng)元為 100 個線性閾值神經(jīng)元。

我們沒有做分類,只是生成了一個數(shù)字,因此這是一個回歸問題。每訓(xùn)練 10000 步,我們才會從輸入的后 15 位中選擇 1 位進(jìn)行翻轉(zhuǎn),因此這是一個緩慢變化的目標(biāo)函數(shù)。

我們的解決方案是用相同的網(wǎng)絡(luò)結(jié)構(gòu),只包含一個神經(jīng)元的隱藏層,同時保證激活函數(shù)可微,但是我們將會有 5 個隱藏神經(jīng)元。這就類似于在 RL 中,智能體探索的范圍比交互的環(huán)境小很多,所以只能做近似處理,隨著目標(biāo)函數(shù)的變化嘗試改變近似值,這樣就會容易做一些系統(tǒng)性實(shí)驗(yàn)。

圖片

圖注:輸入為 21 位隨機(jī)的二進(jìn)制數(shù),第 1 位是值為 1 的輸入常數(shù)偏差,中間 5 位是獨(dú)立同分布的隨機(jī)數(shù),其他 15 位是緩慢變化的常數(shù),輸出為實(shí)數(shù)。權(quán)值隨機(jī)化為 0,可以隨機(jī)地選擇 +1 或者 -1。

我們進(jìn)一步研究了變化的步長值和激活函數(shù)對學(xué)習(xí)效果的影響,比如這里用了 tanh、sigmoid 和 relu 激活函數(shù)等:

圖片

以及激活函數(shù)形式對所有算法學(xué)習(xí)效果的影響:

圖片

在步長和激活函數(shù)同時變化的情況下,我們也對 Adam 反向傳播的影響做了系統(tǒng)性分析:

圖片

最后是使用不同激活函數(shù)后,基于 Adam 機(jī)制的不同算法之間的誤差變化情況:

圖片

以上實(shí)驗(yàn)結(jié)果都表明深度學(xué)習(xí)方法已經(jīng)不再適用于持續(xù)學(xué)習(xí),遇到新的問題時,學(xué)習(xí)過程會變得非常緩慢,沒有體現(xiàn)出深度的優(yōu)勢。深度學(xué)習(xí)中的標(biāo)準(zhǔn)化方法也只適合一次性學(xué)習(xí),我們需要改進(jìn)深度學(xué)習(xí)方法才有可能將其用于持續(xù)學(xué)習(xí)中。

持續(xù)反向傳播

卷積反向傳播算法本身會是一個好的持續(xù)學(xué)習(xí)算法嗎?

我們認(rèn)為不是。

卷積反向傳播算法主要包含兩個方面:用小的隨機(jī)權(quán)重進(jìn)行初始化和在每個時間步進(jìn)行梯度下降。盡管它在開始生成小的隨機(jī)數(shù)來初始化權(quán)重,但并不會再次重復(fù)。理想情況下,我們可能需要一些在任何時候都可以進(jìn)行類似計(jì)算的學(xué)習(xí)算法。

那我們?nèi)绾问咕矸e反向傳播算法持續(xù)地學(xué)習(xí)?

最簡單的方法就是選擇性地進(jìn)行重新初始化,比如在執(zhí)行幾項(xiàng)任務(wù)后進(jìn)行初始化。但同時,重新初始化整個網(wǎng)絡(luò)在持續(xù)學(xué)習(xí)中可能并不合理,因?yàn)檫@意味著神經(jīng)網(wǎng)絡(luò)正在忘記全部所學(xué)內(nèi)容。所以我們最好選擇性地初始化神經(jīng)網(wǎng)絡(luò)的一部分,比如重新初始化一些“死亡”神經(jīng)元,或者根據(jù)效用度對神經(jīng)網(wǎng)絡(luò)進(jìn)行排序,重新初始化效用度較低的神經(jīng)元。

隨機(jī)選擇初始化的思想與 2012 年 Mahmood 和 Sutton 提出的生成和測試方法有關(guān),只需要生成一些神經(jīng)元并測試它們的實(shí)用性,持續(xù)反向傳播算法搭建了這兩個概念之間的橋梁。生成和測試方法存在一些局限性,只用一個隱藏層并只有一個輸出神經(jīng)元,我們將其擴(kuò)展到多層網(wǎng)絡(luò),可以用一些深度學(xué)習(xí)方法進(jìn)行優(yōu)化。

我們首先考慮將網(wǎng)絡(luò)設(shè)置成多層,不再是單個輸出。之前的工作提到過效用度的概念,由于只有一個權(quán)重,這個效用度只是權(quán)重層面的概念,但是我們有多個權(quán)重,最簡單的泛化是考慮權(quán)重求和層面的效用度。

另一個想法是考慮特征的活動,而不僅僅是考慮輸出權(quán)重,因此我們可以將權(quán)重的總和乘以平均特征激活函數(shù),從而分配不同的比例。我們希望設(shè)計(jì)能夠持續(xù)學(xué)習(xí)并保持快速運(yùn)行的算法,我們在計(jì)算效用度的時候還考慮了特征的可塑性。最后,將特征的平均貢獻(xiàn)轉(zhuǎn)移到輸出的偏置中,降低特征刪除的影響。

圖片

未來的改進(jìn)方向主要有兩點(diǎn):(1)我們需要對效用度進(jìn)行全局度量,衡量神經(jīng)元對所表征的整個函數(shù)的影響,而不僅僅局限于輸入權(quán)重、輸出權(quán)重和激活函數(shù)這樣的局部度量;(2)我們需要進(jìn)一步改進(jìn)生成器,目前只是從初始分布中采樣進(jìn)行進(jìn)行初始化,還要探索可以改善性能的初始化方法。

那么,持續(xù)反向傳播在保持可塑性方面表現(xiàn)如何呢?

實(shí)驗(yàn)結(jié)果表明,持續(xù)反向傳播利用在線排列的 MNIST 數(shù)據(jù)集訓(xùn)練,完全保持了可塑性。下圖中的藍(lán)色曲線顯示了這一結(jié)果。

圖片

圖注:右圖顯示了不同替換率對于持續(xù)學(xué)習(xí)的影響,例如替換率為 1e-6 表示在每個時間步長替換 1/1000000 個表征。即假設(shè)有 2000 個特征,每走 500 步,就會在每一層更換一個神經(jīng)元。這個更新速度非常緩慢,所以替換率對超參數(shù)不是很敏感,不會顯著影響學(xué)習(xí)效果。

接下來,我們需要研究持續(xù)反向傳播對于神經(jīng)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)的影響。持續(xù)反向傳播幾乎沒有“死亡”神經(jīng)元,因?yàn)樾в枚瓤紤]了平均特征激活,如果某個神經(jīng)元“死亡”,會立即被更換。而且由于我們不斷更換神經(jīng)元,我們得到了權(quán)重幅度較小的新神經(jīng)元。因?yàn)殡S機(jī)初始化了神經(jīng)元,它們也相應(yīng)地保留了更豐富的表征和多樣性。

圖片

因此,持續(xù)反向傳播解決了 MNIST 數(shù)據(jù)集上可塑性缺失引發(fā)的全部問題。

那么,持續(xù)反向傳播是否可以擴(kuò)展到更深的卷積神經(jīng)網(wǎng)絡(luò)中?

答案是肯定的!在 ImageNet 數(shù)據(jù)集上,持續(xù)反向傳播完全保持了可塑性,模型最終的準(zhǔn)確率在 89% 左右。其實(shí)在初始的訓(xùn)練階段,這幾種算法的表現(xiàn)相當(dāng),前面提到過替換率的變化非常緩慢,任務(wù)數(shù)目足夠大的時候才近似的比較好。

圖片

這里以“Slippery Ant”問題為例展示一個強(qiáng)化學(xué)習(xí)的實(shí)驗(yàn)結(jié)果。

“Slippery Ant”問題是非平穩(wěn)強(qiáng)化問題的一個擴(kuò)展,與 PyBullet 環(huán)境基本類似,唯一不同的是地面和智能體之間的摩擦力每 1000 萬步后會發(fā)生變化。我們基于持續(xù)反向傳播實(shí)現(xiàn)了持續(xù)學(xué)習(xí)版本的 PPO 算法,可以選擇性初始化。PPO 算法和持續(xù) PPO 算法的對比結(jié)果如下圖。

圖片

圖注:PPO 算法在剛開始表現(xiàn)還不錯,但隨著訓(xùn)練進(jìn)行性能不斷下降,引入 L2 算法以及收縮和擾動算法后會有所緩解。而持續(xù) PPO 算法的表現(xiàn)相對較好,保留了大部分可塑性。

有趣的是,PPO 算法訓(xùn)練的智能體只能掙扎著走路,但是持續(xù) PPO 算法訓(xùn)練的智能體可以跑到很遠(yuǎn)的地方。

結(jié)論

深度學(xué)習(xí)網(wǎng)絡(luò)主要為一次性學(xué)習(xí)進(jìn)行優(yōu)化,從某種意義上說用于持續(xù)學(xué)習(xí)可能會完全失敗。像標(biāo)準(zhǔn)化和 DropOut 等深度學(xué)習(xí)方法對于持續(xù)學(xué)習(xí)可能沒有幫助,但是在此基礎(chǔ)上做一些小的改進(jìn)可能會非常有效,比如持續(xù)反向傳播。

持續(xù)反向傳播根據(jù)神經(jīng)元的效用對網(wǎng)絡(luò)特征進(jìn)行排序,特別是對于遞歸神經(jīng)網(wǎng)絡(luò),排序方式可能有更多改進(jìn)方法。

強(qiáng)化學(xué)習(xí)算法利用了策略迭代思想,持續(xù)學(xué)習(xí)問題固然存在,保持深度學(xué)習(xí)網(wǎng)絡(luò)的可塑性為 RL 和基于模型的 RL 開辟了巨大的新可能性。

責(zé)任編輯:張燕妮 來源: AI科技評論
相關(guān)推薦

2024-08-29 14:20:00

AI訓(xùn)練

2018-08-30 09:15:42

人工智能神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)

2022-09-30 15:26:57

人工智能技術(shù)

2016-12-27 16:31:34

反向傳播課程

2017-09-28 16:15:12

神經(jīng)網(wǎng)絡(luò)訓(xùn)練多層

2017-04-24 08:35:09

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)合成梯度

2025-04-08 09:20:00

神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

2024-08-09 12:46:53

模型訓(xùn)練

2025-03-03 08:10:00

神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)人工智能

2024-04-03 08:47:49

隧道傳播WPF冒泡傳播

2017-11-20 13:46:10

AI深度學(xué)習(xí)方法

2024-11-01 09:39:26

強(qiáng)化學(xué)習(xí)AI

2022-06-21 14:37:46

AI經(jīng)驗(yàn)發(fā)展

2024-06-05 09:35:00

2018-04-08 11:20:43

深度學(xué)習(xí)

2023-05-29 07:23:45

傳統(tǒng)監(jiān)測模式

2022-03-18 12:08:10

微分計(jì)算模式

2024-07-12 12:47:39

2017-07-06 17:03:45

BP算法Python神經(jīng)網(wǎng)絡(luò)

2023-12-05 09:14:54

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號