偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

業(yè)界首個(gè)面向NLP場(chǎng)景深度遷移學(xué)習(xí)框架開(kāi)源

新聞 機(jī)器學(xué)習(xí)
近日,阿里云正式開(kāi)源了深度遷移學(xué)習(xí)框架EasyTransfer,這是業(yè)界首個(gè)面向NLP場(chǎng)景的深度遷移學(xué)習(xí)框架。

 本文經(jīng)AI新媒體量子位(公眾號(hào)ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。

近日,阿里云正式開(kāi)源了深度遷移學(xué)習(xí)框架EasyTransfer,這是業(yè)界首個(gè)面向NLP場(chǎng)景的深度遷移學(xué)習(xí)框架。開(kāi)源鏈接:https://github.com/alibaba/EasyTransfer

該框架由阿里云機(jī)器學(xué)習(xí)PAI團(tuán)隊(duì)研發(fā),讓自然語(yǔ)言處理場(chǎng)景的模型預(yù)訓(xùn)練和遷移學(xué)習(xí)開(kāi)發(fā)與部署更加簡(jiǎn)單和高效。

面向自然語(yǔ)言處理場(chǎng)景的深度遷移學(xué)習(xí)在現(xiàn)實(shí)場(chǎng)景里有巨大的需求,因?yàn)榇罅啃碌念I(lǐng)域不斷涌現(xiàn),傳統(tǒng)的機(jī)器學(xué)習(xí)需要對(duì)每個(gè)領(lǐng)域都積累大量訓(xùn)練數(shù)據(jù),這將會(huì)耗費(fèi)大量標(biāo)注的人力與物力。深度遷移學(xué)習(xí)技術(shù)可以將源領(lǐng)域?qū)W到的知識(shí)遷移到新的領(lǐng)域的任務(wù),進(jìn)而大大減少標(biāo)注的資源。

盡管面向自然語(yǔ)言場(chǎng)景的深度遷移學(xué)習(xí)有很多的需求,目前開(kāi)源社區(qū)還沒(méi)有一個(gè)完善的框架,而且構(gòu)建一個(gè)簡(jiǎn)單易用且高性能的框架有巨大挑戰(zhàn)。

首先,預(yù)訓(xùn)練模型加知識(shí)遷移現(xiàn)在是主流的NLP應(yīng)用模式,通常預(yù)訓(xùn)練模型尺寸越大學(xué)習(xí)到的知識(shí)表征越有效,然而超大的模型給框架的分布式架構(gòu)帶來(lái)了巨大挑戰(zhàn)。如何提供一個(gè)高性能的分布式架構(gòu),從而有效支持超大規(guī)模的模型訓(xùn)練。

其次,用戶(hù)應(yīng)用場(chǎng)景的多樣性很高,單一的遷移學(xué)習(xí)算法無(wú)法適用,如何提供一個(gè)完備的遷移學(xué)習(xí)工具來(lái)提升下游場(chǎng)景的效果。

第三,從算法開(kāi)發(fā)到業(yè)務(wù)落地通常需要很長(zhǎng)的鏈路,如何提供一個(gè)簡(jiǎn)單易用的從模型訓(xùn)練到部署的一站式服務(wù)。

面對(duì)這三大挑戰(zhàn),PAI團(tuán)隊(duì)推出了EasyTransfer,一個(gè)簡(jiǎn)單易用且高性能的遷移學(xué)習(xí)框架??蚣苤С种髁鞯倪w移學(xué)習(xí)算法,支持自動(dòng)混合精度、編譯優(yōu)化和高效的分布式數(shù)據(jù)/模型并行策略,適用于工業(yè)級(jí)的分布式應(yīng)用場(chǎng)景。

值得一提的是,配合混合精度、編譯優(yōu)化和分布式策略,EasyTransfer支持的ALBERT模型比社區(qū)版的ALBERT在分布式訓(xùn)練的運(yùn)算速度上快4倍多。

同時(shí),經(jīng)過(guò)了阿里內(nèi)部10多個(gè)BU,20多個(gè)業(yè)務(wù)場(chǎng)景打磨,給NLP和遷移學(xué)習(xí)用戶(hù)提供了多種便利,包括業(yè)界領(lǐng)先的高性能預(yù)訓(xùn)練工具鏈和預(yù)訓(xùn)練ModelZoo,豐富易用的AppZoo,高效的遷移學(xué)習(xí)算法,以及全面兼容阿里巴巴PAI生態(tài)產(chǎn)品,給用戶(hù)提供一個(gè)從模型訓(xùn)練到部署的一站式服務(wù)。

阿里云機(jī)器學(xué)習(xí)PAI團(tuán)隊(duì)負(fù)責(zé)人林偉表示: 本次開(kāi)源EasyTransfer代碼,希望把阿里能力賦能給更多的用戶(hù),降低NLP的預(yù)訓(xùn)練和知識(shí)遷移的門(mén)檻,同時(shí)也和更多伙伴一起深入合作打造一個(gè)簡(jiǎn)單,易用,高性能的NLP和遷移學(xué)習(xí)工具。

業(yè)界首個(gè)面向NLP場(chǎng)景深度遷移學(xué)習(xí)框架開(kāi)源 | 阿里云出品

EasyTransfer工具的框架總覽

EasyTransfer的整體框架如下圖所示,在設(shè)計(jì)上盡可能的簡(jiǎn)化了深度遷移學(xué)習(xí)的算法開(kāi)發(fā)難度??蚣艹橄罅顺S玫腎O,layers,losses,optimizers, models,用戶(hù)可以基于這些接口開(kāi)發(fā)模型,也可以直接接入預(yù)訓(xùn)練模型庫(kù)ModelZoo快速建模??蚣苤С治宸N遷移學(xué)習(xí)(TL)范式,model finetuning,feature-based TL, instance-based TL, model-based TL和meta learning。同時(shí),框架集成了AppZoo,支持主流的NLP應(yīng)用,方便用戶(hù)搭建常用的NLP算法應(yīng)用。最后,框架無(wú)縫兼容PAI生態(tài)的產(chǎn)品,給用戶(hù)從訓(xùn)練到部署帶來(lái)一站式的體驗(yàn)。

業(yè)界首個(gè)面向NLP場(chǎng)景深度遷移學(xué)習(xí)框架開(kāi)源 | 阿里云出品

業(yè)界領(lǐng)先的高性能預(yù)訓(xùn)練工具鏈和預(yù)訓(xùn)練ModelZoo

EasyTransfer框架支持工業(yè)級(jí)的分布式應(yīng)用場(chǎng)景,改善了分布式優(yōu)化器,配合自動(dòng)混合精度,編譯優(yōu)化,和高效的分布式數(shù)據(jù)/模型并行策略,做到比社區(qū)版的多機(jī)多卡分布式訓(xùn)練在運(yùn)算速度上快4倍多。基于這個(gè)高性能的分布式底座,框架推出完整的預(yù)訓(xùn)練工具鏈,方便用戶(hù)預(yù)訓(xùn)練語(yǔ)言模型如BERT和ALBERT。值得一提的是,基于該預(yù)訓(xùn)練工具產(chǎn)出的模型在多個(gè)公開(kāi)的榜單上取得好成績(jī),比方說(shuō)多輪對(duì)話(huà)榜單QuAC第一名(2019年10月),中文CLUE榜單取得第一名(2019年12月),和英文SuperGLUE榜單第二名。同時(shí)EasyTransfer集成了預(yù)訓(xùn)練模型ModelZoo,支持BERT,ALBERT,XLNet等主流模型的Continual Pretrain和Finetune,也集成了在PAI平臺(tái)上訓(xùn)練的高質(zhì)量預(yù)訓(xùn)練模型和自研的電商場(chǎng)景多模態(tài)模型FashionBERT。

豐富易用的AppZoo & 知識(shí)蒸餾

EasyTransfer封裝了高度易用、靈活且學(xué)習(xí)成本低的AppZoo,支持用戶(hù)在僅用幾行命令的條件下“大規(guī)模”運(yùn)行“前沿”的開(kāi)源與自研算法,即可迅速接入不同場(chǎng)景和業(yè)務(wù)數(shù)據(jù)下的NLP應(yīng)用,包括文本向量化、匹配、分類(lèi)、閱讀理解和序列標(biāo)注等。并且集成了豐富知識(shí)蒸餾算法,使得用戶(hù)能從參數(shù)量大、推理速度慢的大模型中蒸餾出參數(shù)少、推理性能高的可上線(xiàn)的小模型。比方說(shuō),EasyTransfer集成了任務(wù)自適應(yīng)蒸餾模型AdaBERT,從神經(jīng)架構(gòu)搜索(NAS)這個(gè)全新的角度出發(fā),搜索出最適合目標(biāo)任務(wù)的小模型架構(gòu),在6個(gè)NLP經(jīng)典任務(wù)上,將BERT模型壓縮到原來(lái)的1/17~1/10,推理加速達(dá)到原先的12 ~ 29倍。同時(shí)該模型相應(yīng)論文已被AI頂級(jí)會(huì)議 IJCAI 2020 所接收。

高效的遷移學(xué)習(xí)算法

EasyTransfer框架支持所有主流的遷移學(xué)習(xí)范式,包括Model Fine-tuning, Feature-based TL, Instance-based TL, Model-based TL和Meta Learning。基于這些遷移學(xué)習(xí)范式開(kāi)發(fā)了10多種算法,在阿里的業(yè)務(wù)實(shí)踐中取得了良好效果的效果。后續(xù)所有的算法都會(huì)開(kāi)源到EasyTransfer代碼庫(kù)里。在具體應(yīng)用的時(shí)候,用戶(hù)可以根據(jù)下圖來(lái)選擇一種遷移學(xué)習(xí)范式來(lái)測(cè)試效果。

業(yè)界首個(gè)面向NLP場(chǎng)景深度遷移學(xué)習(xí)框架開(kāi)源 | 阿里云出品

集成適應(yīng)多任務(wù)的自研元學(xué)習(xí)算法

EasyTransfer框架集成了基于元學(xué)習(xí)(Meta Learning)的多任務(wù)學(xué)習(xí)算法,支持用戶(hù)在訓(xùn)練特定任務(wù)的模型時(shí)利用其他任務(wù)的數(shù)據(jù)集進(jìn)行學(xué)習(xí)增強(qiáng)。EasyTransfer集成了自研的元調(diào)優(yōu)(Meta Fine-tuning)算法,借鑒元學(xué)習(xí)的思想,旨在學(xué)習(xí)預(yù)訓(xùn)練語(yǔ)言模型跨領(lǐng)域的Meta-leaner,從而使得學(xué)習(xí)的Meta-leaner可以快速遷移到特定領(lǐng)域的任務(wù)上。該算法相應(yīng)論文已被NLP頂級(jí)會(huì)議 EMNLP 2020 所接收。由于上述模型仍然具有參數(shù)量太大、推理速度慢的問(wèn)題,EasyTransfer團(tuán)隊(duì)進(jìn)一步自研了元知識(shí)蒸餾算法,在蒸餾階段額外對(duì)Meta-leaner進(jìn)行選擇性蒸餾,使得蒸餾得到的小模型在相應(yīng)的領(lǐng)域的效果顯著提升,逼近原始模型的效果。相關(guān)的代碼和論文會(huì)在近期發(fā)布。

全面兼容阿里巴巴PAI生態(tài)產(chǎn)品

EasyTransfer框架全面兼容PAI-Tensorflow,用戶(hù)通過(guò)簡(jiǎn)單的代碼或配置文件修改,就可以使用PAI自研高效的分布式訓(xùn)練,編譯優(yōu)化等特性;同時(shí)框架完美兼容PAI生態(tài)的產(chǎn)品,在PAI Web組件(PAI Studio),開(kāi)發(fā)平臺(tái)(PAI DSW),云原生訓(xùn)練平臺(tái)(PAI DLC),和PAI Serving平臺(tái)(PAI EAS)上均可直接使用。

應(yīng)用落地和創(chuàng)新的算法解決方案

EasyTransfer框架已在阿里集團(tuán)內(nèi)數(shù)十個(gè)NLP場(chǎng)景落地,包括智能客服、搜索推薦、安全風(fēng)控、大文娛等,帶來(lái)了顯著業(yè)務(wù)效果的提升。目前EasyTransfer日常服務(wù)有上億次調(diào)用,月均訓(xùn)練調(diào)用量超過(guò)5萬(wàn)次。EasyTransfer團(tuán)隊(duì)在落地業(yè)務(wù)的同時(shí)也沉淀了很多的創(chuàng)新的算法解決方案,包括元學(xué)習(xí),多模態(tài)預(yù)訓(xùn)練,強(qiáng)化遷移學(xué)習(xí),特征遷移學(xué)習(xí)等方向的工作,共合作發(fā)表了幾十篇頂級(jí)會(huì)議文章,下面列舉一些代表性工作。這些算法一部分已經(jīng)開(kāi)源,其他部分會(huì)在EasyTransfer框架里陸續(xù)開(kāi)源供廣大用戶(hù)使用。

•[EMNLP 2020]. Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining. 2020.

•[SIGIR2020] FashionBERT: Text and Image Matching for Fashion Domain with Adaptive Loss. 2020.

•[IJCAI 2020] AdaBERT: Task-Adaptive BERT Compression with Differentiable Neural Architecture Search. 2020.

•[KDD 2019]. A Minimax Game for Instance based Selective Transfer Learning. 2019.

•[CIKM 2019]. Cross-domain Attention Network with Wasserstein Regularizers for E-commerce Search, 2019.

•[WWW 2019]. Multi-Domain Gated CNN for Review Helpfulness Prediction, 2019.

•[WSDM 2019]. Learning to Selectively Transfer: Reinforced Transfer Learning for Deep Text Matching. 2019.

•[WSDM 2018]. Modeling Domain Relationships for Transfer Learning on Retrieval-based Question Answering Systems in E-commerce. 2018.

•[ACL 2018]. Transfer Learning for Context-Aware Question Matching in Information-seeking Conversations in E-commerce. 2018.

•[ICDM 2017]. A Short-Term Rainfall Prediction Model using Multi-Task Convolutional Neural Networks. 2017.

最后,EasyTransfer工具是中文CLUE社區(qū)官方推薦的toolkit。同時(shí),阿里云天池平臺(tái)將攜手CLUE社區(qū)打造一個(gè)多任務(wù)語(yǔ)義理解的大賽,EasyTransfer為默認(rèn)的開(kāi)發(fā)工具,用戶(hù)可以基于EasyTransfer輕松搭建多任務(wù)的baseline和進(jìn)行建模和優(yōu)化,敬請(qǐng)大家期待。

 

 

責(zé)任編輯:張燕妮 來(lái)源: 量子位
相關(guān)推薦

2017-06-30 11:21:39

滴滴開(kāi)源

2021-01-18 11:46:28

漏洞惡意軟件Malvuln

2009-02-03 09:44:00

服務(wù)器虛擬化Arkeia Soft

2022-10-19 16:51:10

Linux優(yōu)化

2009-02-02 15:34:36

Arkeia備份虛擬備份

2015-10-19 18:00:21

SDNONFPoC

2015-07-30 10:46:50

2018-08-16 11:00:42

華為云

2009-08-03 16:37:18

OLT方案FTTx網(wǎng)絡(luò)接入華為

2009-04-22 10:14:09

VMwarevSphere 4

2011-07-20 16:31:35

思科以太網(wǎng)

2017-10-24 11:48:04

思科服務(wù)組合

2018-06-22 10:54:49

ODCC

2019-01-21 09:52:26

深度學(xué)習(xí)開(kāi)源人工智能

2023-11-13 15:42:07

2020-05-15 12:27:33

RPA人工智能
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)