偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

強(qiáng)化學(xué)習(xí)能否在2020年取得突破?

新聞 人工智能
強(qiáng)化學(xué)習(xí)對于實(shí)現(xiàn)我們的人工智能 / 機(jī)器學(xué)習(xí)技術(shù)的目標(biāo)來說至關(guān)重要,但現(xiàn)在我們還有一些障礙需要克服。

 強(qiáng)化學(xué)習(xí)對于實(shí)現(xiàn)我們的人工智能 / 機(jī)器學(xué)習(xí)技術(shù)的目標(biāo)來說至關(guān)重要,但現(xiàn)在我們還有一些障礙需要克服。盡管可靠性和減少訓(xùn)練數(shù)據(jù)的目標(biāo)在一年內(nèi)就可能實(shí)現(xiàn),但是,強(qiáng)化學(xué)習(xí)本質(zhì)上是一種“黑盒”解決方案,其缺乏透明度的特性會帶來很多質(zhì)疑。

傳統(tǒng)的機(jī)器學(xué)習(xí)乃至深度學(xué)習(xí)的監(jiān)督及非監(jiān)督學(xué)習(xí),是企業(yè)目前在人工智能 / 機(jī)器學(xué)習(xí)領(lǐng)域進(jìn)行大量投資并從中獲取回報的核心領(lǐng)域。但事實(shí)是, 這些技術(shù)目前已經(jīng)相當(dāng)成熟,收益曲線也日趨平坦。

如果我們要在人工智能 / 機(jī)器學(xué)習(xí)領(lǐng)域?qū)ふ蚁乱粋€突破技術(shù),那么幾乎可以肯定的是,這個突破將來自強(qiáng)化學(xué)習(xí)。在強(qiáng)化學(xué)習(xí)領(lǐng)域需要投入大量的努力,但是平心而論,強(qiáng)化學(xué)習(xí)還沒有達(dá)到必要的標(biāo)準(zhǔn)化水平,尚不足以成為為商用化準(zhǔn)備就緒的工具。

在游戲領(lǐng)域已經(jīng)有相當(dāng)多值得報道的成功案例(如 Alpha Go),在無人駕駛領(lǐng)域也有一些成功案例。但盡管在解決涉及系列決策的問題時,強(qiáng)化學(xué)習(xí)應(yīng)該是我們的首選技術(shù),可它還沒有達(dá)到我們所需要的水平。

在我們的上一篇文章中,我們強(qiáng)調(diào)了兩個阻礙強(qiáng)化學(xué)習(xí)的缺點(diǎn),這正是微軟強(qiáng)化學(xué)習(xí)領(lǐng)域的首席研究員 Romain Laroche 所描述的:

“它們基本上是不可靠的。更糟糕的是,由于強(qiáng)化學(xué)習(xí)過程中的隨機(jī)性,使用不同隨機(jī)種子的兩次運(yùn)行的結(jié)果可能非常不同。”

“它們需要數(shù)十億的樣本才能獲得結(jié)果,而在現(xiàn)實(shí)世界的應(yīng)用中提取如此天量的樣本是不可行的。”

我們專注于一些有希望的研究,這些研究用少得多的數(shù)據(jù)、有限的財務(wù)投入和實(shí)際約束解決了訓(xùn)練問題。然而,剩下的問題甚至更加復(fù)雜。

由于強(qiáng)化學(xué)習(xí)解決方案是用隨機(jī)種子啟動的,因此,它們本質(zhì)上是對狀態(tài)空間的隨機(jī)搜索。設(shè)想一下,兩個啟動算法隨機(jī)進(jìn)入這個潛在解決方案的巨大叢林,目標(biāo)是找到最快的出路。盡管這兩個解決方案可能達(dá)到相同的性能級別,但是,強(qiáng)化學(xué)習(xí)是眾所周知的黑盒,它使我們無法了解系統(tǒng)為何及如何選擇執(zhí)行這一系列步驟。

Gartner 最近的報告 《2020 年 10 大戰(zhàn)略技術(shù)趨勢》 中提到的兩個互相矛盾的目標(biāo),突顯了其重要性。

引起我們注意的兩個趨勢是:

趨勢 8:智能設(shè)備(Autonomous things)

“智能設(shè)備,包括無人機(jī)、機(jī)器人、船舶和家用電器,利用人工智能代替人類完成任務(wù)。該技術(shù)在半智能到完全智能的智能范圍內(nèi)運(yùn)作,并能在包括天空、海洋和陸地等各種各樣的環(huán)境中運(yùn)作。智能設(shè)備也將從獨(dú)立的設(shè)備向協(xié)作的集群轉(zhuǎn)變,例如在 2018 年冬季奧運(yùn)會上使用的無人機(jī)群。”

該報告沒有提到的是,要實(shí)現(xiàn)這一點(diǎn)將需要強(qiáng)大而可靠的強(qiáng)化學(xué)習(xí)。盡管有一些非常震撼人的機(jī)器人(想想 Boston Dynamics 公司吧)主要依靠物理運(yùn)動的算法,而不是人工智能 / 機(jī)器學(xué)習(xí)技術(shù),但行業(yè)需要強(qiáng)化學(xué)習(xí)才能走進(jìn)下一個發(fā)展階段。

而第 2 個趨勢對強(qiáng)化學(xué)習(xí)來說將更加困難。

趨勢 5:透明度和可追溯性

“技術(shù)的發(fā)展正在制造信任危機(jī)。隨著消費(fèi)者越來越關(guān)注自身信息被收集和使用的情況,各種組織也意識到存儲和收集這些數(shù)據(jù)時所肩負(fù)的責(zé)任越來越大。”

“此外,人工智能和機(jī)器學(xué)習(xí)越來越多地用于代替人類做出決策,從而演變出信任危機(jī),并推動了對可解釋的人工智能和人工智能治理等理念的需求。”

盡管我們很可能想到 GDPR 以及圍繞著電子商務(wù)的隱私問題,但事實(shí)是,基于我們對人工智能 / 機(jī)器學(xué)習(xí)如何做出決策的理解,這些技術(shù)終將受到挑戰(zhàn)。

尤其是考慮到強(qiáng)化學(xué)習(xí)政策制定的隨機(jī)性,以及兩個成功的強(qiáng)化學(xué)習(xí)程序可以以完全不同的方式實(shí)現(xiàn)相同的目標(biāo),這將是一個難以克服的挑戰(zhàn)。

應(yīng)對可靠性問題

Romain Laroche 提出了兩種技術(shù),有望解決可靠性問題。在其論文中,一個使用集成方法(EBAS),而另一個使用調(diào)整微調(diào)參數(shù)條件風(fēng)險值(Conditional value at Risk,簡稱 CvaR,即最差運(yùn)行的平均值),這兩種技術(shù)都能提高性能并減少訓(xùn)練時間,同時限制強(qiáng)化學(xué)習(xí)運(yùn)行的自然趨勢,以在系統(tǒng)中找到及利用故障。如果實(shí)際投入生產(chǎn),該系統(tǒng)可以導(dǎo)致成功的結(jié)果,但是包含某種形式的意外損害。后一種技術(shù)以 SPIBB 命名,SPIBB 是 Safe Policy Improvement with Baseline Bootstrapping 的縮寫,即具有基線引導(dǎo)的安全策略改進(jìn)。

該集成方法借鑒了機(jī)器學(xué)習(xí)中的相同概念,并且與遺傳算法選擇訓(xùn)練過程中的搜索過程類似,從而得到了一些很好的結(jié)果。

强化学习能否在2020年取得突破?

EBAS 算法學(xué)習(xí)速度更快,而且最終性能沒有任何下降。

透明度?

我們似乎正在解決可靠性問題以及另一個海量訓(xùn)練數(shù)據(jù)的需求問題。這無疑將把我們引向透明度問題。比如,無人駕駛汽車在發(fā)生人員傷亡后所受到的審查。對比人類操作人員犯錯,我們對機(jī)器犯錯的容忍度更低。

毫無疑問,強(qiáng)化學(xué)習(xí)將在 2020 年做出重大貢獻(xiàn),但是,想要實(shí)現(xiàn)一個經(jīng)過驗(yàn)證的,商業(yè)上得到接受的方案所面臨的障礙,以及由于其缺乏透明性而帶來的阻力等問題,不太可能在一年內(nèi)完全解決。

 

責(zé)任編輯:張燕妮 來源: AI前線
相關(guān)推薦

2021-01-20 10:58:34

云計算公有云IT

2025-05-08 09:16:00

模型強(qiáng)化學(xué)習(xí)訓(xùn)練

2024-12-09 08:45:00

模型AI

2024-12-23 14:40:00

AI模型訓(xùn)練

2017-02-27 11:36:31

阿里

2025-03-03 09:12:00

2020-09-02 10:36:52

機(jī)器人人工智能系統(tǒng)

2021-04-13 16:18:30

人工智能強(qiáng)化學(xué)習(xí)人臉識別

2023-03-09 08:00:00

強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)圍棋

2020-08-10 06:36:21

強(qiáng)化學(xué)習(xí)代碼深度學(xué)習(xí)

2025-01-17 13:41:24

2023-11-07 07:13:31

推薦系統(tǒng)多任務(wù)學(xué)習(xí)

2019-05-28 11:11:27

強(qiáng)化學(xué)習(xí)AI深度學(xué)習(xí)

2024-09-13 06:32:25

2021-09-17 15:54:41

深度學(xué)習(xí)機(jī)器學(xué)習(xí)人工智能

2022-11-02 14:02:02

強(qiáng)化學(xué)習(xí)訓(xùn)練

2020-11-12 19:31:41

強(qiáng)化學(xué)習(xí)人工智能機(jī)器學(xué)習(xí)

2024-04-03 07:56:50

推薦系統(tǒng)多任務(wù)推薦

2021-02-02 10:08:17

AI深度強(qiáng)化學(xué)習(xí)智能城市

2019-09-29 10:42:02

人工智能機(jī)器學(xué)習(xí)技術(shù)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號