統(tǒng)計(jì)網(wǎng)站：https://mlcontests.com/作者得出了幾個(gè)重要結(jié)論：

1、在所有競(jìng)賽中，Kaggle上的競(jìng)賽數(shù)量仍然占據(jù)1/3，而且獎(jiǎng)金數(shù)量占270萬美元總獎(jiǎng)金池的一半；
2、在所有比賽中，有67場(chǎng)比賽是在前5大平臺(tái)（Kaggle、AIcrowd、Tianchi、DrivenData 和 Zindi）上舉行的，有8場(chǎng)比賽是在去年只舉辦了一場(chǎng)比賽的平臺(tái)上舉行的；
3、幾乎所有的冠軍都使用了Python，只有一個(gè)冠軍使用了C++；
4、77%的深度學(xué)習(xí)解決方案使用了PyTorch（去年高達(dá)72%）；
5、所有獲獎(jiǎng)的CNN解決方案都使用了CNN；
6、所有獲獎(jiǎng)的NLP解決方案都使用了Transformer。

以下是這次調(diào)查的詳細(xì)信息：

平臺(tái)類型

在本次調(diào)查中，作者總共統(tǒng)計(jì)了16個(gè)平臺(tái)上的83場(chǎng)競(jìng)賽。這些競(jìng)賽的總獎(jiǎng)金池超過270萬美元，其中獎(jiǎng)金最豐厚的比賽是由Driven data舉辦的Facebook AI Image Similarity Challenge: Matching Track，獎(jiǎng)金高達(dá)20萬美元。

競(jìng)賽類型

此次調(diào)查顯示，2021年最常見的競(jìng)賽類型是計(jì)算機(jī)視覺和自然語言處理。與2020年相比，這部分變化很大，當(dāng)時(shí)NLP競(jìng)賽僅占競(jìng)賽總數(shù)的7.5%。

在眾多NLP競(jìng)賽中，Zindi與AI4D（Artificial Intelligence for Development Africa）合作舉辦的競(jìng)賽數(shù)量最多，比賽內(nèi)容包括將一種非洲語言翻譯成英語或其他語言以及針對(duì)一種非洲語言進(jìn)行情感分析。

語言與框架

在這次調(diào)查中，主流的機(jī)器學(xué)習(xí)框架依然是基于Python的。Scikit-learn非常通用，幾乎被用于每個(gè)領(lǐng)域。

不出所料，兩個(gè)最流行的機(jī)器學(xué)習(xí)庫是Tensorflow和Pytorch。其中，Pytorch在深度學(xué)習(xí)比賽中最受歡迎。與2020年相比，在深度學(xué)習(xí)競(jìng)賽中使用PyTorch的人數(shù)突飛猛進(jìn)，PyTorch框架每年都在快速發(fā)展。

冠軍模型

監(jiān)督學(xué)習(xí)

在經(jīng)典機(jī)器學(xué)習(xí)問題中，Catboost、LightGBM等梯度提升模型占據(jù)主流。舉個(gè)例子，在一個(gè)室內(nèi)定位和導(dǎo)航的Kaggle競(jìng)賽中，選手需要設(shè)計(jì)算法，基于實(shí)時(shí)傳感器數(shù)據(jù)預(yù)測(cè)智能手機(jī)在室內(nèi)的位置。冠軍解決方案考慮了三種建模方法：神經(jīng)網(wǎng)絡(luò)、LightGBM和K-Nearest Neighbors。但在最后的pipeline中，他們只用LightGBM和K-Nearest Neighbours達(dá)到了最高分。

計(jì)算機(jī)視覺

自從AlexNet在2012年贏得ImageNet競(jìng)賽以來，CNN算法已經(jīng)成為很多深度學(xué)習(xí)問題都在用的算法，特別是在計(jì)算機(jī)視覺方面。

循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)并不相互排斥。盡管它們似乎被用來解決不同的問題，但重要的是這兩個(gè)架構(gòu)都可以處理某些類型的數(shù)據(jù)。例如，RNN使用序列作為輸入。值得注意的是，序列并不局限于文本或音樂。視頻是圖像的集合，也可以用作序列。循環(huán)神經(jīng)網(wǎng)絡(luò)，如LSTM，被用于數(shù)據(jù)具有時(shí)間特征的情況（如時(shí)間序列），以及數(shù)據(jù)上下文敏感的情況（如句子補(bǔ)全），其中反饋循環(huán)的記憶功能是達(dá)到理想性能的關(guān)鍵。RNN還在計(jì)算機(jī)視覺的下列領(lǐng)域中得到了成功的應(yīng)用：

• 「日間圖片」與「夜間圖片」是圖像分類的一個(gè)例子（一對(duì)一RNN）；
• 圖像描述（一對(duì)多RNN）是根據(jù)圖像的內(nèi)容為圖像分配標(biāo)題的過程，例如「獅子獵鹿」；
• 手寫體識(shí)別；

最后，RNN和CNN的結(jié)合是可能的，這可能是計(jì)算機(jī)視覺的最先進(jìn)的應(yīng)用。當(dāng)數(shù)據(jù)適合CNN，但包含時(shí)間特征時(shí)，混合RNN和CNN的技術(shù)可能是有利的策略。

在其他架構(gòu)中，EfficientNet脫穎而出，因?yàn)樗鼘Ｗ⒂谔岣吣Ｐ偷臏?zhǔn)確性和效率。EfficientNet使用一種簡(jiǎn)單而有效的技術(shù)——復(fù)合系數(shù)（compound coefficient）來放大模型，使用縮放策略創(chuàng)建了7個(gè)不同維度的模型，其精度超過了大多數(shù)卷積神經(jīng)網(wǎng)絡(luò)的SOTA水平。

NLP

像2020年一樣，2021年NLP領(lǐng)域大型語言模型（如Transformer）的采用比例顯著增加，創(chuàng)歷史新高。作者找到了大約6個(gè)NLP解決方案，它們?nèi)蓟趖ransformer。

獲勝團(tuán)隊(duì)情況

作者在數(shù)據(jù)集中追蹤了35場(chǎng)比賽的獲勝者。其中，只有9人之前從未在比賽中獲獎(jiǎng)。與2020年相比，可以看到贏得很多比賽的老參與者一次又一次獲勝，只有少數(shù)幾人首次得獎(jiǎng)，在百分比上沒有真正明顯的變化。

優(yōu)勢(shì)方案

在機(jī)器學(xué)習(xí)競(jìng)賽的優(yōu)勝方案中，集成模型成為了首選方法之一。集成方法中最常用的方法是求平均，即構(gòu)建多個(gè)模型并通過將輸出和的平均值相加將其組合在一起，從而達(dá)到更穩(wěn)健的性能。

在調(diào)整一個(gè)模型時(shí)，一旦你達(dá)到了一個(gè)收益率下降的點(diǎn)，通常最好重新開始構(gòu)建一個(gè)產(chǎn)生不同類型錯(cuò)誤的新模型，并將它們的預(yù)測(cè)求平均。

集成方法應(yīng)用示例

在一個(gè)kaggle「木薯葉病分類」比賽中，選手要將木薯葉子圖像分類為健康或四類疾病。冠軍解決方案包括4個(gè)不同的模型CropNet、EfficientNet B4、ResNext50和Vit，并采用了平均方法。

獲勝者從ResNext和ViT模型中取類權(quán)重的平均值，并在第二階段將這種組合與MobileNet和EfficientnetB4結(jié)合。