偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

機器學習三個時代的計算趨勢

人工智能 機器學習
決定現(xiàn)代機器學習發(fā)展的三個基礎(chǔ)是計算、數(shù)據(jù)和算法進化 (ML,機器學習),本文著眼于最易量化的元素的趨勢。

在 2010 年之前,訓練計算的發(fā)展與摩爾定律同步,每兩年一翻;自 2010 年代初,引入深度學習以來,訓練計算的速度已經(jīng)加快,大約每六個月增加一倍;2015 年末,出現(xiàn)了一種新的趨勢。

基于這些觀察,機器學習的計算歷史被劃分為三個時代——前深度學習時代、深度學習時代 和 大規(guī)模時代。本文總結(jié)了用于訓練高級機器學習系統(tǒng)快速增長的計算需求。

趨勢

比較是在一個由 123 個里程碑式的機器學習系統(tǒng)組成的數(shù)據(jù)集上進行的,并標注了訓練它們所需的計算量。在深度學習起步之前,有一段進展緩慢的時間,這種趨勢在 2010 年加速,此后一直沒有放緩。另外,在 2015 年和 2016 年,出現(xiàn)了大規(guī)模模型的新趨勢,以比上一個時代快兩個數(shù)量級的速度擴張。

過渡到深度學習在深度學習出現(xiàn)之前和之后,人們注意到了兩種不同的趨勢機制。

此前,訓練機器學習算法所需的算力是每 17 至 29 個月翻一番。之后,整體趨勢加快速,每 4 到 9 個月翻一番。

根據(jù)摩爾定律,晶體管密度每兩年翻一番(Moore,1965 年),通常簡化為計算性能每兩年翻一番——基本上符合前深度學習時代的趨勢。目前尚不清楚深度學習時代何時開始,從前深度學習到深度學習時代的過渡沒有明顯的間斷。此外,無論深度學習時代始于 2010 年還是 2012 年,結(jié)果幾乎都不會改變。

大規(guī)模深度時代的趨勢

數(shù)據(jù)顯示,大規(guī)模型模型的新趨勢始于 2015-2016 年,這種新趨勢始于 2015 年底的 AlphaGo,一直持續(xù)到現(xiàn)在,大規(guī)模模型是由大公司訓練的,更高的訓練預算可能是打破先前的趨勢的原因。

另外,常規(guī)規(guī)模模型受歡迎的程度并未受到影響,這一趨勢在 2016 年之前和之后是相同的速度,每 5 到 6 個月翻一番,如下表所示。大規(guī)模模型的計算量增加的趨勢明顯放緩,每 9 到 10 個月翻一番。由于這些模型的數(shù)據(jù)有限,明顯放緩可能是噪聲的結(jié)果。

這一發(fā)現(xiàn)與 Amodei & Hernandez (2018) 和 Lyzhov (2021) 形成對比,前者發(fā)現(xiàn) 2012 年至 2018 年的倍增期為 3.4 個月,后者發(fā)現(xiàn) 2018 年至 2020 年的倍增期超過 2 年。以前的評估無法區(qū)分這兩個獨立的模式,因為大規(guī)模的趨勢是最近才發(fā)展起來的。

結(jié)論

研究結(jié)果與早期研究一致,這顯示了訓練計算更適度的規(guī)模。1952 年到 2010 年有 18 個月的倍增時間,2010 年到 2022 年有 6 個月的倍增時間,從 2015 年末到 2022 年的大規(guī)模新趨勢,快了 2 到 3 個數(shù)量級,倍增時間為 10 個月。

總而言之,在前深度學習時代,計算進展緩慢,隨著 2010 年進入深度學習時代,這種趨勢加速了。在 2015 年底,企業(yè)開始生產(chǎn)優(yōu)于趨勢的大規(guī)模模型,如 AlphaGo,標志著大規(guī)模時代的開始。然而,這并不能確定區(qū)分大規(guī)模和常規(guī)規(guī)模的模型而形成模式。

在計算機教學中,硬件基礎(chǔ)設(shè)施和工程師的作用越來越大,凸顯了兩者的戰(zhàn)略必要性。獲得巨大的計算預算或計算集群,以及應用它們的專業(yè)知識,已經(jīng)成為前沿機器學習研究的代名詞。


責任編輯:華軒 來源: AI前線
相關(guān)推薦

2021-12-27 15:40:10

云計算云計算環(huán)境云應用

2018-07-11 05:24:05

機器學習人工智能數(shù)據(jù)

2020-06-10 12:19:21

機器學習技術(shù)人工智能

2023-04-03 11:30:12

云計算趨勢云平臺

2018-05-17 12:00:11

云安全應用程序安全

2017-09-20 15:14:40

云計算網(wǎng)絡(luò)企業(yè)

2022-04-05 15:30:01

機器學習人工智能深度學習

2022-03-23 10:25:39

IT基礎(chǔ)設(shè)施醫(yī)療保健

2020-06-12 07:00:00

AI 人工智能機器學習

2021-04-16 09:17:39

機器學習人工智能AI

2022-04-22 14:16:15

元宇宙虛擬現(xiàn)實電商

2022-06-28 08:47:27

醫(yī)療AI人工智能

2021-12-23 10:05:43

機器學習人工智能黑盒模型

2022-08-08 10:52:59

邊緣計算混合云

2021-11-17 10:38:22

邊緣計算云端

2016-09-13 22:28:08

云計算saaspaas

2020-10-30 10:23:14

機器學習趨勢范式

2021-08-19 11:22:22

深度學習編程人工智能

2022-01-23 08:25:18

云安全網(wǎng)絡(luò)安全云計算

2022-03-24 14:05:56

數(shù)字孿生IT領(lǐng)導者數(shù)據(jù)分析
點贊
收藏

51CTO技術(shù)棧公眾號