本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

近日，阿里云正式開(kāi)源了深度遷移學(xué)習(xí)框架EasyTransfer，這是業(yè)界首個(gè)面向NLP場(chǎng)景的深度遷移學(xué)習(xí)框架。開(kāi)源鏈接：https://github.com/alibaba/EasyTransfer

該框架由阿里云機(jī)器學(xué)習(xí)PAI團(tuán)隊(duì)研發(fā)，讓自然語(yǔ)言處理場(chǎng)景的模型預(yù)訓(xùn)練和遷移學(xué)習(xí)開(kāi)發(fā)與部署更加簡(jiǎn)單和高效。

面向自然語(yǔ)言處理場(chǎng)景的深度遷移學(xué)習(xí)在現(xiàn)實(shí)場(chǎng)景里有巨大的需求，因?yàn)榇罅啃碌念I(lǐng)域不斷涌現(xiàn)，傳統(tǒng)的機(jī)器學(xué)習(xí)需要對(duì)每個(gè)領(lǐng)域都積累大量訓(xùn)練數(shù)據(jù)，這將會(huì)耗費(fèi)大量標(biāo)注的人力與物力。深度遷移學(xué)習(xí)技術(shù)可以將源領(lǐng)域?qū)W到的知識(shí)遷移到新的領(lǐng)域的任務(wù)，進(jìn)而大大減少標(biāo)注的資源。

盡管面向自然語(yǔ)言場(chǎng)景的深度遷移學(xué)習(xí)有很多的需求，目前開(kāi)源社區(qū)還沒(méi)有一個(gè)完善的框架，而且構(gòu)建一個(gè)簡(jiǎn)單易用且高性能的框架有巨大挑戰(zhàn)。

首先，預(yù)訓(xùn)練模型加知識(shí)遷移現(xiàn)在是主流的NLP應(yīng)用模式，通常預(yù)訓(xùn)練模型尺寸越大學(xué)習(xí)到的知識(shí)表征越有效，然而超大的模型給框架的分布式架構(gòu)帶來(lái)了巨大挑戰(zhàn)。如何提供一個(gè)高性能的分布式架構(gòu)，從而有效支持超大規(guī)模的模型訓(xùn)練。

其次，用戶(hù)應(yīng)用場(chǎng)景的多樣性很高，單一的遷移學(xué)習(xí)算法無(wú)法適用，如何提供一個(gè)完備的遷移學(xué)習(xí)工具來(lái)提升下游場(chǎng)景的效果。

第三，從算法開(kāi)發(fā)到業(yè)務(wù)落地通常需要很長(zhǎng)的鏈路，如何提供一個(gè)簡(jiǎn)單易用的從模型訓(xùn)練到部署的一站式服務(wù)。

面對(duì)這三大挑戰(zhàn)，PAI團(tuán)隊(duì)推出了EasyTransfer，一個(gè)簡(jiǎn)單易用且高性能的遷移學(xué)習(xí)框架?？蚣苤С种髁鞯倪w移學(xué)習(xí)算法，支持自動(dòng)混合精度、編譯優(yōu)化和高效的分布式數(shù)據(jù)/模型并行策略，適用于工業(yè)級(jí)的分布式應(yīng)用場(chǎng)景。

值得一提的是，配合混合精度、編譯優(yōu)化和分布式策略，EasyTransfer支持的ALBERT模型比社區(qū)版的ALBERT在分布式訓(xùn)練的運(yùn)算速度上快4倍多。

同時(shí)，經(jīng)過(guò)了阿里內(nèi)部10多個(gè)BU，20多個(gè)業(yè)務(wù)場(chǎng)景打磨，給NLP和遷移學(xué)習(xí)用戶(hù)提供了多種便利，包括業(yè)界領(lǐng)先的高性能預(yù)訓(xùn)練工具鏈和預(yù)訓(xùn)練ModelZoo，豐富易用的AppZoo，高效的遷移學(xué)習(xí)算法，以及全面兼容阿里巴巴PAI生態(tài)產(chǎn)品，給用戶(hù)提供一個(gè)從模型訓(xùn)練到部署的一站式服務(wù)。

阿里云機(jī)器學(xué)習(xí)PAI團(tuán)隊(duì)負(fù)責(zé)人林偉表示： 本次開(kāi)源EasyTransfer代碼，希望把阿里能力賦能給更多的用戶(hù)，降低NLP的預(yù)訓(xùn)練和知識(shí)遷移的門(mén)檻，同時(shí)也和更多伙伴一起深入合作打造一個(gè)簡(jiǎn)單，易用，高性能的NLP和遷移學(xué)習(xí)工具。

EasyTransfer工具的框架總覽

EasyTransfer的整體框架如下圖所示，在設(shè)計(jì)上盡可能的簡(jiǎn)化了深度遷移學(xué)習(xí)的算法開(kāi)發(fā)難度?？蚣艹橄罅顺Ｓ玫腎O，layers，losses，optimizers, models，用戶(hù)可以基于這些接口開(kāi)發(fā)模型，也可以直接接入預(yù)訓(xùn)練模型庫(kù)ModelZoo快速建模?？蚣苤С治宸N遷移學(xué)習(xí)(TL)范式，model finetuning，feature-based TL, instance-based TL, model-based TL和meta learning。同時(shí)，框架集成了AppZoo，支持主流的NLP應(yīng)用，方便用戶(hù)搭建常用的NLP算法應(yīng)用。最后，框架無(wú)縫兼容PAI生態(tài)的產(chǎn)品，給用戶(hù)從訓(xùn)練到部署帶來(lái)一站式的體驗(yàn)。

業(yè)界領(lǐng)先的高性能預(yù)訓(xùn)練工具鏈和預(yù)訓(xùn)練ModelZoo

EasyTransfer框架支持工業(yè)級(jí)的分布式應(yīng)用場(chǎng)景，改善了分布式優(yōu)化器，配合自動(dòng)混合精度，編譯優(yōu)化，和高效的分布式數(shù)據(jù)/模型并行策略，做到比社區(qū)版的多機(jī)多卡分布式訓(xùn)練在運(yùn)算速度上快4倍多。基于這個(gè)高性能的分布式底座，框架推出完整的預(yù)訓(xùn)練工具鏈，方便用戶(hù)預(yù)訓(xùn)練語(yǔ)言模型如BERT和ALBERT。值得一提的是，基于該預(yù)訓(xùn)練工具產(chǎn)出的模型在多個(gè)公開(kāi)的榜單上取得好成績(jī)，比方說(shuō)多輪對(duì)話(huà)榜單QuAC第一名（2019年10月），中文CLUE榜單取得第一名（2019年12月），和英文SuperGLUE榜單第二名。同時(shí)EasyTransfer集成了預(yù)訓(xùn)練模型ModelZoo，支持BERT，ALBERT，XLNet等主流模型的Continual Pretrain和Finetune，也集成了在PAI平臺(tái)上訓(xùn)練的高質(zhì)量預(yù)訓(xùn)練模型和自研的電商場(chǎng)景多模態(tài)模型FashionBERT。

豐富易用的AppZoo & 知識(shí)蒸餾

EasyTransfer封裝了高度易用、靈活且學(xué)習(xí)成本低的AppZoo，支持用戶(hù)在僅用幾行命令的條件下“大規(guī)模”運(yùn)行“前沿”的開(kāi)源與自研算法，即可迅速接入不同場(chǎng)景和業(yè)務(wù)數(shù)據(jù)下的NLP應(yīng)用，包括文本向量化、匹配、分類(lèi)、閱讀理解和序列標(biāo)注等。并且集成了豐富知識(shí)蒸餾算法，使得用戶(hù)能從參數(shù)量大、推理速度慢的大模型中蒸餾出參數(shù)少、推理性能高的可上線(xiàn)的小模型。比方說(shuō)，EasyTransfer集成了任務(wù)自適應(yīng)蒸餾模型AdaBERT，從神經(jīng)架構(gòu)搜索（NAS）這個(gè)全新的角度出發(fā)，搜索出最適合目標(biāo)任務(wù)的小模型架構(gòu)，在6個(gè)NLP經(jīng)典任務(wù)上，將BERT模型壓縮到原來(lái)的1/17~1/10，推理加速達(dá)到原先的12 ~ 29倍。同時(shí)該模型相應(yīng)論文已被AI頂級(jí)會(huì)議 IJCAI 2020 所接收。

高效的遷移學(xué)習(xí)算法

EasyTransfer框架支持所有主流的遷移學(xué)習(xí)范式，包括Model Fine-tuning, Feature-based TL, Instance-based TL, Model-based TL和Meta Learning。基于這些遷移學(xué)習(xí)范式開(kāi)發(fā)了10多種算法，在阿里的業(yè)務(wù)實(shí)踐中取得了良好效果的效果。后續(xù)所有的算法都會(huì)開(kāi)源到EasyTransfer代碼庫(kù)里。在具體應(yīng)用的時(shí)候，用戶(hù)可以根據(jù)下圖來(lái)選擇一種遷移學(xué)習(xí)范式來(lái)測(cè)試效果。

集成適應(yīng)多任務(wù)的自研元學(xué)習(xí)算法

EasyTransfer框架集成了基于元學(xué)習(xí)（Meta Learning）的多任務(wù)學(xué)習(xí)算法，支持用戶(hù)在訓(xùn)練特定任務(wù)的模型時(shí)利用其他任務(wù)的數(shù)據(jù)集進(jìn)行學(xué)習(xí)增強(qiáng)。EasyTransfer集成了自研的元調(diào)優(yōu)（Meta Fine-tuning）算法，借鑒元學(xué)習(xí)的思想，旨在學(xué)習(xí)預(yù)訓(xùn)練語(yǔ)言模型跨領(lǐng)域的Meta-leaner，從而使得學(xué)習(xí)的Meta-leaner可以快速遷移到特定領(lǐng)域的任務(wù)上。該算法相應(yīng)論文已被NLP頂級(jí)會(huì)議 EMNLP 2020 所接收。由于上述模型仍然具有參數(shù)量太大、推理速度慢的問(wèn)題，EasyTransfer團(tuán)隊(duì)進(jìn)一步自研了元知識(shí)蒸餾算法，在蒸餾階段額外對(duì)Meta-leaner進(jìn)行選擇性蒸餾，使得蒸餾得到的小模型在相應(yīng)的領(lǐng)域的效果顯著提升，逼近原始模型的效果。相關(guān)的代碼和論文會(huì)在近期發(fā)布。

全面兼容阿里巴巴PAI生態(tài)產(chǎn)品

EasyTransfer框架全面兼容PAI-Tensorflow，用戶(hù)通過(guò)簡(jiǎn)單的代碼或配置文件修改，就可以使用PAI自研高效的分布式訓(xùn)練，編譯優(yōu)化等特性；同時(shí)框架完美兼容PAI生態(tài)的產(chǎn)品，在PAI Web組件（PAI Studio），開(kāi)發(fā)平臺(tái)（PAI DSW），云原生訓(xùn)練平臺(tái)（PAI DLC），和PAI Serving平臺(tái)（PAI EAS）上均可直接使用。

應(yīng)用落地和創(chuàng)新的算法解決方案

EasyTransfer框架已在阿里集團(tuán)內(nèi)數(shù)十個(gè)NLP場(chǎng)景落地，包括智能客服、搜索推薦、安全風(fēng)控、大文娛等，帶來(lái)了顯著業(yè)務(wù)效果的提升。目前EasyTransfer日常服務(wù)有上億次調(diào)用，月均訓(xùn)練調(diào)用量超過(guò)5萬(wàn)次。EasyTransfer團(tuán)隊(duì)在落地業(yè)務(wù)的同時(shí)也沉淀了很多的創(chuàng)新的算法解決方案，包括元學(xué)習(xí)，多模態(tài)預(yù)訓(xùn)練，強(qiáng)化遷移學(xué)習(xí)，特征遷移學(xué)習(xí)等方向的工作，共合作發(fā)表了幾十篇頂級(jí)會(huì)議文章，下面列舉一些代表性工作。這些算法一部分已經(jīng)開(kāi)源，其他部分會(huì)在EasyTransfer框架里陸續(xù)開(kāi)源供廣大用戶(hù)使用。

•[EMNLP 2020]. Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining. 2020.

•[SIGIR2020] FashionBERT: Text and Image Matching for Fashion Domain with Adaptive Loss. 2020.

•[IJCAI 2020] AdaBERT: Task-Adaptive BERT Compression with Differentiable Neural Architecture Search. 2020.

•[KDD 2019]. A Minimax Game for Instance based Selective Transfer Learning. 2019.

•[CIKM 2019]. Cross-domain Attention Network with Wasserstein Regularizers for E-commerce Search, 2019.

•[WWW 2019]. Multi-Domain Gated CNN for Review Helpfulness Prediction, 2019.

•[WSDM 2019]. Learning to Selectively Transfer: Reinforced Transfer Learning for Deep Text Matching. 2019.

•[WSDM 2018]. Modeling Domain Relationships for Transfer Learning on Retrieval-based Question Answering Systems in E-commerce. 2018.

•[ACL 2018]. Transfer Learning for Context-Aware Question Matching in Information-seeking Conversations in E-commerce. 2018.

•[ICDM 2017]. A Short-Term Rainfall Prediction Model using Multi-Task Convolutional Neural Networks. 2017.

最后，EasyTransfer工具是中文CLUE社區(qū)官方推薦的toolkit。同時(shí)，阿里云天池平臺(tái)將攜手CLUE社區(qū)打造一個(gè)多任務(wù)語(yǔ)義理解的大賽，EasyTransfer為默認(rèn)的開(kāi)發(fā)工具，用戶(hù)可以基于EasyTransfer輕松搭建多任務(wù)的baseline和進(jìn)行建模和優(yōu)化，敬請(qǐng)大家期待。