斯坦福2023 AI指數(shù)報(bào)告出爐!中國霸榜AI頂會(huì),中科院論文發(fā)表量世界第一
今天,斯坦福發(fā)布了2023年AI指數(shù)報(bào)告。
值得注意的是,斯坦福AI指數(shù)報(bào)告列出了「AI論文發(fā)表量」世界前十的機(jī)構(gòu),9所全部來自中國,紛紛趕超MIT。
它們分別是:中國科學(xué)院、清華大學(xué)、中國科學(xué)院大學(xué)、上海交通大學(xué)、浙江大學(xué)、哈爾濱工業(yè)大學(xué)、北京航空航天大學(xué)、電子科技大學(xué)、北京大學(xué)、以及MIT。
今年的報(bào)告主要分為八大節(jié):研究與發(fā)展,技術(shù)表現(xiàn),人工智能技術(shù)倫理,經(jīng)濟(jì),教育,政策和治理,多樣性,以及公眾觀點(diǎn)。
以下內(nèi)容提取了報(bào)告幾項(xiàng)要點(diǎn)。
兩國論文合作全球居首
從2010年-2021年,盡管AI論文跨國合作的步伐已經(jīng)放緩,但是自2010年以來,美國和中國的人工智能研究合作數(shù)量增加了大約4倍,比中國和英國合作總數(shù)多2.5倍。
然而,從2020年-2021年,兩國合作的總數(shù)僅增長了2.1%,是自2010年以來的最小同比增長率。
此外,人工智能論文的總數(shù)自2010年以來翻了一番以上。從2010年的20萬篇增長到2021年的近50萬篇(49601)。
就AI論文發(fā)表的類型來看, 2021 年,所有已發(fā)表的AI論文中有60%是期刊文章,17%是會(huì)議論文,13%來自存儲(chǔ)庫。
雖然在過去12年中期刊和儲(chǔ)存庫論文分別增長了3倍和26.6倍,但會(huì)議論文的數(shù)量自2019年以來有所下降。
模式識別、機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺依舊是人工智能領(lǐng)域研究的熱門話題。
中國在期刊、會(huì)議和儲(chǔ)存庫論文總量方面依舊處于領(lǐng)先地位。
美國在人工智能會(huì)議和儲(chǔ)存庫引用方面仍然領(lǐng)先,但這些領(lǐng)先優(yōu)勢正被慢慢削弱。盡管如此,世界上大多數(shù)的大型語言模型和多模態(tài)模型(2022年54%)是由美國機(jī)構(gòu)產(chǎn)生的。
中國霸榜AI頂會(huì),但引用量低于美國
AI期刊論文的發(fā)表,中國始終保持領(lǐng)先地位,2021年為39.8%,其次是歐盟和英國(15.1%),然后是美國(10.0%)。
自2010年以來,中國人工智能期刊論文被引頻次占比逐步上升,歐盟、英國、美國均有所下降。中國、歐盟和英國、美國占全球總引用量的65.7%。
那么,世界頂會(huì)論文發(fā)表的情況又如何?
2021年,中國以26.15%的比例在全球AI頂會(huì)發(fā)表的論文數(shù)所占份額最大,而歐盟和英國以20.29%緊隨其后,美國以17.23%位居第三。
從頂會(huì)論文引用量來看,中國雖然高產(chǎn),但引用量相較于美國來說較低。美國頂會(huì)論文引用量23.9%,中國為22.02%。
從側(cè)面可以看出,中國論文發(fā)表數(shù)量最多,但質(zhì)量不如美國高。
在AI論文儲(chǔ)存庫提交方面,美國在世界居首,23.48%。中國最低,11.87%。
中國9所機(jī)構(gòu),AI論文發(fā)表趕超MIT
2021年,發(fā)表論文總量世界前十機(jī)構(gòu)中,中國占了9所,不同機(jī)構(gòu)發(fā)表的論文總數(shù)如下圖,MIT位列第十,發(fā)表論文1745。
就計(jì)算機(jī)視覺領(lǐng)域(CV)來看,中國的十所機(jī)構(gòu)位居世界前十,它們分別是,中國科學(xué)院、上海交通大學(xué)、中國科學(xué)院大學(xué)、清華大學(xué)、浙江大學(xué)、北京航空航天大學(xué)、武漢大學(xué)、北京理工大學(xué)、哈爾濱工業(yè)大學(xué),以及天津大學(xué)。
在自然語言處理(NLP)領(lǐng)域,就有所不同了。
世界前十的機(jī)構(gòu)/公司有:中國科學(xué)院、卡內(nèi)基梅隆大學(xué)、微軟、清華大學(xué)、卡內(nèi)基梅隆大學(xué)-澳大利亞分校、谷歌、北京大學(xué)、中國科學(xué)院大學(xué)、阿里、亞馬遜。
語音識別領(lǐng)域排名如下:
工業(yè)界領(lǐng)先學(xué)術(shù)界
在2022年發(fā)布的重要人工智能機(jī)器學(xué)習(xí)系統(tǒng)中,語言系統(tǒng)占最多,有23個(gè),是多模態(tài)系統(tǒng)數(shù)量的6倍。
在論文產(chǎn)量上,工業(yè)界領(lǐng)先于學(xué)術(shù)界。
直到2014年,大多數(shù)重要的模型都是由學(xué)術(shù)界發(fā)布的。從那時(shí)起,工業(yè)界便逆襲翻身。到2022年,32個(gè)重要的機(jī)器學(xué)習(xí)模型都誕生在工業(yè)界,而學(xué)術(shù)界僅有3個(gè)。
由此可見,與非營利組織和學(xué)術(shù)界相比,構(gòu)建最先進(jìn)的人工智能系統(tǒng)越來越需要大量的數(shù)據(jù)、計(jì)算機(jī)能力和資金資源,而行業(yè)參與者固然有更多的資金資源去做這件事情。
2022年,美國產(chǎn)生了數(shù)量最多的重要機(jī)器學(xué)習(xí)系統(tǒng),有16個(gè),其次是英國(8個(gè))和中國(3個(gè))。
此外,自2002年以來,就創(chuàng)建的重要機(jī)器學(xué)習(xí)系統(tǒng)總數(shù)而言,美國已經(jīng)超過了英國和歐盟、中國
再來看做出這些重要AI系統(tǒng)背后研究者國分布,美國有最多的研究者,285人,是英國的2倍多,是中國的近6倍。
LLM越來越大,算力越貴
大型語言和多模態(tài)模型,有時(shí)稱為基礎(chǔ)模型,是當(dāng)前一種新興且日益流行的AI模型類型,它在大量數(shù)據(jù)上進(jìn)行訓(xùn)練并適用于各種下游應(yīng)用程序。
ChatGPT、DALL-E 2和MakeA-Video等大型語言和多模態(tài)模型已經(jīng)展示了令人印象深刻的功能,并開始在現(xiàn)實(shí)世界中廣泛部署。
通過對這些模型作者的國家隸屬關(guān)系進(jìn)行了分析,這些研究人員中的大多數(shù)來自美國機(jī)構(gòu)(54.2%)。
斯坦福AI指數(shù)報(bào)告還列出了大型語言和多模態(tài)模型發(fā)布的時(shí)間表。
大型語言模型正變得越來越大,也越來越昂貴。
第一個(gè)大型語言模型GPT-2于2019年發(fā)布,有15億參數(shù),訓(xùn)練成本約50000美元。谷歌PaLM是2022年推出的大型語言模型之一,有5400億參數(shù),成本高達(dá)800萬美元。
從參數(shù)和訓(xùn)練成本來看,PalM比GPT-2大360倍,成本高出160倍。
不僅僅是 PalM,從整體上看,大型語言和多模態(tài)模型變得越來越大和昂貴。
例如,DeepMind于2022年5月推出的大型語言模型Chinchilla估計(jì)耗資210萬美元,而BLOOM的訓(xùn)練大約耗資230 萬美元。
隨著時(shí)間的推移,GAN在人臉生成方面的進(jìn)展,最后一個(gè)圖像由Diffusion-GAN生成,這一模型在STL-10上取得了最新的SOTA。
去年,隨著OpenAI的DALL-E 2、Stability AI的Stable Diffusion、Midjourney、Meta的Make-AScene,以及谷歌的 Imagen等模型的發(fā)布,文本到圖像生成模型逐漸走進(jìn)大眾視野。
如下,輸入相同的提示,「一只熊貓?jiān)跍嘏陌屠枰雇韽椾撉佟梗謩e由DALL-E 2、Stable Diffusion和Midjourney這三個(gè)可公開訪問的 AI 文本到圖像系統(tǒng)生成的圖像。
在最近發(fā)布的所有文本到圖像生成模型中,谷歌的Imagen在COCO基準(zhǔn)測試中表現(xiàn)最好。
今年,創(chuàng)建Imagen的谷歌研究人員還發(fā)布了一個(gè)更難的文本到圖像基準(zhǔn)測試 DrawBench,旨在挑戰(zhàn)功能越來越強(qiáng)大的文本到圖像模型。
此外,報(bào)告還介紹了當(dāng)前生成式AI模型存在一些偏見,比如給DELLE-2提示CEO時(shí),每個(gè)人似乎都采取了交叉雙臂自信的姿勢。
在Midjourney中,當(dāng)提示生成「有影響力的人」時(shí),它會(huì)生成4張看起來年長的白人男性圖像。
完整報(bào)告內(nèi)容請參見:
?https://aiindex.stanford.edu/wp-content/uploads/2023/04/HAI_AI-Index_Report_2023.pdf?