偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

攜程旅游大語(yǔ)言模型系統(tǒng)介紹及其應(yīng)用

開發(fā) 人工智能
無(wú)論是在學(xué)術(shù)研究還是商業(yè)領(lǐng)域中,LLM都有潛力成為一個(gè)強(qiáng)大的工具,幫助我們更好地理解和利用自然語(yǔ)言。

作者簡(jiǎn)介

Terry,攜程自然語(yǔ)言處理和大語(yǔ)言模型算法方向?qū)<?,有多年的自然語(yǔ)言處理項(xiàng)目經(jīng)驗(yàn)和AI落地經(jīng)驗(yàn)。

一、背景

隨著OpenAI的ChatGPT火遍全球,大語(yǔ)言模型(Large Language Model,下文簡(jiǎn)稱LLM)成為了人工智能領(lǐng)域的熱門話題。大語(yǔ)言模型是一種基于深度學(xué)習(xí)的自然語(yǔ)言處理技術(shù),它能夠模擬人類的語(yǔ)言能力并生成連貫的文本。這種技術(shù)的出現(xiàn)引起了廣泛的關(guān)注和應(yīng)用。大型語(yǔ)言模型在機(jī)器翻譯、文本生成、智能對(duì)話等領(lǐng)域發(fā)揮著重要作用。在這些領(lǐng)域中,它們能夠理解和生成自然語(yǔ)言,使得機(jī)器能夠更好地與人類進(jìn)行交流和合作。

無(wú)論是在學(xué)術(shù)研究還是商業(yè)領(lǐng)域中,LLM都有潛力成為一個(gè)強(qiáng)大的工具,幫助我們更好地理解和利用自然語(yǔ)言。但由于ChatGPT是閉源且信息安全存疑,并不適合在企業(yè)內(nèi)部的所有業(yè)務(wù)場(chǎng)景使用。此外,最近有大批優(yōu)秀的開源大語(yǔ)言模型涌現(xiàn),比如Llama-2。因此,很多企業(yè)構(gòu)建屬于自己領(lǐng)域的LLM和配套系統(tǒng),應(yīng)用在自身的業(yè)務(wù)場(chǎng)景中。為了適應(yīng)旅游場(chǎng)景的應(yīng)用,我們也構(gòu)建了一套訓(xùn)練、推理LLM的系統(tǒng),充分利用LLM的強(qiáng)大能力。

二、LLM訓(xùn)練系統(tǒng)

2.1 訓(xùn)練基礎(chǔ)架構(gòu)

LLM訓(xùn)練系統(tǒng)有預(yù)訓(xùn)練(Pretrain)、繼續(xù)預(yù)訓(xùn)練(Continue Pretrain)、微調(diào)(Finetune)幾個(gè)模式。

1)預(yù)訓(xùn)練階段使用的數(shù)據(jù)是大規(guī)模的通用數(shù)據(jù),通常訓(xùn)練成本高達(dá)數(shù)百萬(wàn)GPU-hour,成本很高。例如在Llama-2-70B的預(yù)訓(xùn)練中,使用的172萬(wàn)GPU-hour,在Falcon-180B的預(yù)訓(xùn)練中,使用了超過700萬(wàn)GPU-hour。

2)繼續(xù)預(yù)訓(xùn)練階段基于預(yù)訓(xùn)練過的基座模型(foundation model),使用特定領(lǐng)域的無(wú)標(biāo)注數(shù)據(jù)訓(xùn)練,通常需要數(shù)千GPU-hour??梢杂糜趯W(xué)習(xí)領(lǐng)域內(nèi)知識(shí),拓展語(yǔ)言、領(lǐng)域詞表。

3)微調(diào)階段基于基座模型,使用特定任務(wù)的數(shù)據(jù)訓(xùn)練,可以使模型對(duì)齊某些輸出范式,完成特定的任務(wù),通常需要10到1000 GPU-hour,成本較低。代表模型有Alpaca等。

訓(xùn)練框架基于PyTorch + DeepSpeed、Transformers的技術(shù)路線,有Nvidia、Meta、Microsoft、HuggingFace等公司支持,并且有廣泛社區(qū)支持。PyTorch在更新至2.0后,加入compile模式,大幅提升訓(xùn)練速度;DeepSpeed中的ZeRO與offload技術(shù)幫助模型在多機(jī)多卡的訓(xùn)練中使用較小的顯存用量;這些技術(shù)簡(jiǎn)化了百億到千億參數(shù)的模型的訓(xùn)練,并且在訓(xùn)練中保持穩(wěn)定。

通過Flash Attention、Apex、算子融合等提高硬件利用率的技術(shù),目前我們可以以超過50%浮點(diǎn)利用率(MFU)的效率訓(xùn)練百億參數(shù)的模型。

2.2 訓(xùn)練參數(shù)量

根據(jù)可訓(xùn)練的參數(shù)量可以分為全參數(shù)訓(xùn)練、LoRA、QLoRA等技術(shù)。

全參數(shù)訓(xùn)練推薦在大量數(shù)據(jù)及預(yù)算充分的情況下使用,訓(xùn)練時(shí)模型的全部參數(shù)參與訓(xùn)練,可以精準(zhǔn)的對(duì)齊目標(biāo)范式;LoRA、QLoRA作為參數(shù)高效的訓(xùn)練方式,推薦在資源受限或需要快速獲取結(jié)果的情況下使用。

2.3 拓展詞表

Llama原生詞表中1個(gè)中文字通常對(duì)應(yīng)2個(gè)token,導(dǎo)致中文內(nèi)容的token數(shù)量較長(zhǎng),不利于模型訓(xùn)練與推理的效率;并且Llama的預(yù)訓(xùn)練語(yǔ)料中中文占比較少,沒有針對(duì)中文語(yǔ)料優(yōu)化。

拓展詞表可以幫助解決這兩個(gè)問題。我們?cè)贚lama詞表的基礎(chǔ)上拓展了超過1萬(wàn)的中文詞表,并使用大量中文語(yǔ)料繼續(xù)預(yù)訓(xùn)練,模型在中文數(shù)據(jù)上的困惑度(Perplexity)顯著降低。在訓(xùn)練與推理時(shí),相同字?jǐn)?shù)的中文數(shù)據(jù)的token減少一半,成本降低。

2.4 Flash Attention

在GPU SRAM與HBM(High Bandwidth Memory)的IO速度相差十多倍,使用更少的內(nèi)存訪問量可以顯著提高計(jì)算速度。Flash Attention 的目標(biāo)是避免從HBM中讀寫注意力矩陣。Flash Attention解決了兩個(gè)問題達(dá)到這個(gè)目標(biāo):

1)在不訪問整個(gè)輸入的情況下計(jì)算 softmax reduction。Flash Attention重組注意力計(jì)算,將輸入分成塊,并在輸入塊上進(jìn)行多次傳遞,從而逐步執(zhí)行 softmax reduction。

2)在后向傳播中不能存儲(chǔ)中間注意力矩陣。存儲(chǔ)前向傳遞的 softmax 歸一化因子,在后向傳播中快速重新計(jì)算片上注意力,這比從 HBM 中讀取中間注意力矩陣的標(biāo)準(zhǔn)方法更快。

三、LLM推理系統(tǒng)

LLM的推理系統(tǒng)的關(guān)鍵的是延遲與成本。延遲關(guān)系到用戶的感受,最低標(biāo)準(zhǔn)是不能低于人類的打字速度,每秒1-3字,在給用戶整段文章或者代碼提示時(shí)需要更快的速度,理想情況時(shí)可以略高于人類看文字的速度,約每秒5-10字。然而高速通常意味著更高的硬件要求,更高的成本。

我們的推理部署系統(tǒng)有低延遲、高吞吐、高并發(fā)、高可用的特性。(以13B模型、1xA100部署為例)

1)低延遲:最快生成速度20ms/token;

2)批量生成吞吐量達(dá)到1600+ token/s;

3)可有效應(yīng)對(duì)并發(fā)數(shù)超過100;

4)高可用部署,僅需10分鐘即可部署兩地、多區(qū)域部署。

3.1 KV-Cache

LLM在推理時(shí)是一個(gè)自回歸的過程,使用前n個(gè)token作為輸入預(yù)測(cè)第n+1個(gè)token。其中attention部分使用的K和V部分的前n token的向量在每次預(yù)測(cè)中時(shí)是不變的,可以將KV的值緩存下來,在預(yù)測(cè)下一個(gè)token的時(shí)候避免重復(fù)計(jì)算。

圖片

3.2 PagedAttention

在應(yīng)用KV-cache進(jìn)行LLM的自回歸解碼過程中,LLM 的所有輸入token都會(huì)生成其注意K和V張量,并且這些張量保存在x顯存中以生成下一個(gè)token。其中有兩個(gè)特點(diǎn)導(dǎo)致內(nèi)存大量浪費(fèi),大約浪費(fèi)了60%-80%的顯存:

1)緩存占用大:在Llama-13B中單個(gè)序列最多占用1.7GB;

2)動(dòng)態(tài):緩存大小取決于序列長(zhǎng)度,序列長(zhǎng)度變化很大并且不可預(yù)測(cè)。

PagedAttention 允許在不連續(xù)的內(nèi)存空間中存儲(chǔ)連續(xù)的KV張量。PagedAttention 將每個(gè)序列的 KV 緩存劃分為塊,每個(gè)塊包含固定數(shù)量toke的KV。在注意力計(jì)算過程中,PagedAttention 內(nèi)核有效地識(shí)別并獲取這些塊。除此之外使用的內(nèi)存共享,Copy-on-write等機(jī)制大幅降低內(nèi)存使用量,并提升吞吐量。比HuggingFace默認(rèn)方法提高最多24倍。

圖片

3.3 Continuous Batching

批量預(yù)測(cè)可以減少模型的加載次數(shù),提高內(nèi)存帶寬利用率,提高計(jì)算資源的利用率,最終增加吞吐量、降低推理成本。

傳統(tǒng)的批量預(yù)測(cè)是靜態(tài)批處理,批處理的大小在推理完成前保持不變。然而在LLM的推理中每個(gè)請(qǐng)求逐個(gè)生成token,直到生成到最大長(zhǎng)度或者停止token(EOS),在同一批次中每個(gè)請(qǐng)求的生成長(zhǎng)度幾乎不可能相同。如果采用傳統(tǒng)的靜態(tài)批處理,需要不停生成直到最長(zhǎng)的序列完成,GPU并不能完全充分利用。在極端情況,同一批次同時(shí)生成最大長(zhǎng)度為100token與8000token的序列時(shí),需要等待8000 token的序列完成,才能進(jìn)行下一批次的預(yù)測(cè),這樣GPU利用率會(huì)低于分別推理每一條請(qǐng)求,即批處理大小為1的情況。


圖片

為了充分利用GPU,增大吞吐量,可以使用連續(xù)批處理(Continuous Batching)。在模型輸出停止token后放入新的待生成序列,批次中的每一個(gè)空白token都可以被充分利用。

圖片

3.4 實(shí)際推理速度

以部署在A100的13B模型為例,從第1個(gè)token生成至128token,在并發(fā)為1時(shí)可以實(shí)現(xiàn)2.6qps,在并發(fā)100時(shí)可以實(shí)現(xiàn)13qps,并且延遲得到有效控制,用戶感知的生成token速度在16-48 token/s,超過人類聊天時(shí)的打字速度,在客服聊天場(chǎng)景下體驗(yàn)良好。在需要高吞吐量的場(chǎng)景下,最高可以超過1700 token/s。按照A100 20元/小時(shí)的成本估算,約0.003元/1000token,比使用GPT-3.5的使用成本低5-10倍。

如下圖所示,并發(fā)限制在100時(shí)可以達(dá)到用戶感知與吞吐量的最佳平衡,用戶無(wú)需忍受超長(zhǎng)時(shí)間的等待,服務(wù)器可以以較低的成本提供服務(wù)。


圖片

圖片

四、旅游場(chǎng)景的應(yīng)用

4.1 智能客服機(jī)器人

智能客服機(jī)器人在攜程的服務(wù)環(huán)節(jié)起到非常重要的作用,60%以上的客人通過智能客服機(jī)器人等自助功能解決咨詢問題,例如下圖中的場(chǎng)景。

圖片

傳統(tǒng)的智能客服機(jī)器人,一般借助分類或者匹配模型,準(zhǔn)確識(shí)別用戶的意圖,進(jìn)而回答客人問題或者幫助客人解決問題。但傳統(tǒng)的分類或匹配模型經(jīng)常面臨召回率不高,缺少訓(xùn)練語(yǔ)料等問題,特別是針對(duì)較為長(zhǎng)尾的用戶意圖。一般情況下,有了充足的高質(zhì)量訓(xùn)練語(yǔ)料,模型才能有好的效果,而為了收集高質(zhì)量語(yǔ)料,往往需要投入較多的人力。

大語(yǔ)言模型系統(tǒng),解決了上述的問題。首先,LLM可以取代傳統(tǒng)小模型,完成識(shí)別用戶意圖的任務(wù),并且在準(zhǔn)確率和召回率上都有提升。此外,在我們LLM推理系統(tǒng)的加持下,LLM的推理速度可以達(dá)到傳統(tǒng)小模型的水平。線上數(shù)據(jù)表明,在識(shí)別意圖方面,LLM相比于傳統(tǒng)模型,準(zhǔn)確率提升5%以上,召回率提升20%以上,而響應(yīng)速度保持不變。

其次,由于LLM使用成本較高,對(duì)于繼續(xù)使用小模型的場(chǎng)景,借助LLM的生成能力,可以輕松構(gòu)造出大量的高質(zhì)量語(yǔ)料,并且這些樣本類型多樣,與客人的真實(shí)問題相近。通過這種方式可以提高模型的泛化性能,還能節(jié)省人力投入。目前已經(jīng)落地的場(chǎng)景中,準(zhǔn)備語(yǔ)料的人力投入平均從20人日減少到5人日以下。

4.2 信息抽取

在旅游的服務(wù)場(chǎng)景中,往往從客人或供應(yīng)商獲取的是大段的非結(jié)構(gòu)化文本信息,此時(shí)需要依賴人工進(jìn)行信息抽取并填表,需要花費(fèi)很高的人工成本。

而采用傳統(tǒng)算法進(jìn)行抽取,實(shí)際使用中的準(zhǔn)確率和召回率都不是很高。此外,當(dāng)提取復(fù)雜關(guān)系的實(shí)體時(shí),需要花費(fèi)大量時(shí)間設(shè)計(jì)模型與規(guī)則,依然有很高的開發(fā)成本。

大語(yǔ)言模型系統(tǒng),解決了上述的問題。使用LLM只需要簡(jiǎn)單地構(gòu)造prompt,就能輕松識(shí)別復(fù)雜關(guān)系的實(shí)體,開發(fā)成本大大降低。

以下圖的火車票信息抽取場(chǎng)景為例,非結(jié)構(gòu)化文本內(nèi)包含多人、多時(shí)間、不同出發(fā)地、到達(dá)地、車廂、座位等實(shí)體,并且輸出也需要?dú)w納為多行。經(jīng)過微調(diào)后的LLM,可以準(zhǔn)確地將目標(biāo)信息結(jié)構(gòu)化輸出為表格。針對(duì)火車票信息抽取場(chǎng)景,相比于采用傳統(tǒng)算法,LLM的抽取準(zhǔn)確率可以從80%提升到95%以上,而開發(fā)人日從5人日左右減少到1人日以下。

圖片

4.3 會(huì)話總結(jié)

在客服場(chǎng)景中,不同時(shí)間或不同場(chǎng)景,往往會(huì)由不同的客服人員服務(wù)客人。當(dāng)客人的對(duì)話結(jié)束時(shí),需要對(duì)客人的對(duì)話記錄進(jìn)行歸納、總結(jié),便于后續(xù)其他客服人員服務(wù)客人時(shí),能快速了解之前的背景信息,否則需要花費(fèi)時(shí)間去查看歷史對(duì)話記錄。

如果依賴人工總結(jié),會(huì)花費(fèi)大量的人工成本。而采用傳統(tǒng)的算法小模型,很容易造成信息丟失,準(zhǔn)確率不高等問題。

大語(yǔ)言模型系統(tǒng),解決了上述的問題。借助LLM強(qiáng)大的生成能力,我們可以通過調(diào)整prompt,讓模型對(duì)會(huì)話內(nèi)容進(jìn)行歸納,并按我們需要的方式輸出,例如將客人問題發(fā)生的時(shí)間、地點(diǎn)、任務(wù)等信息,串聯(lián)成一段通順且便于理解的話,也可以將客人的問題總結(jié)成標(biāo)簽。

線上數(shù)據(jù)表明,采用LLM,準(zhǔn)確率相比小模型提升5%以上,節(jié)省客服人員平均每段對(duì)話的查看時(shí)間2分鐘以上。

五、未來與展望

除了大語(yǔ)言模型以外,其他的大模型也在高速發(fā)展中,多模態(tài)大模型未來會(huì)成為主流。可以預(yù)見到,大模型在旅游領(lǐng)域的未來是非常廣闊的,隨著科技的不斷發(fā)展,大模型將在旅游行業(yè)中發(fā)揮重要作用。例如:

  • 幫助旅游企業(yè)進(jìn)行市場(chǎng)分析和預(yù)測(cè):通過對(duì)大量的數(shù)據(jù)進(jìn)行分析,大模型可以幫助企業(yè)了解旅游市場(chǎng)的趨勢(shì)和消費(fèi)者的需求,從而更好地制定營(yíng)銷策略和推出符合市場(chǎng)需求的產(chǎn)品。
  • 提供個(gè)性化的旅游推薦和定制服務(wù):通過分析用戶的歷史數(shù)據(jù)和偏好,大模型可以為用戶提供個(gè)性化的旅游推薦,包括旅游線路、酒店、景點(diǎn)等推薦場(chǎng)景。同時(shí),大模型還可以根據(jù)用戶的需求進(jìn)行旅游行程的定制,提供更好的旅行體驗(yàn)。

隨著使用量的提高,對(duì)模型的反饋也可以幫助模型進(jìn)行大規(guī)模的人類反饋的強(qiáng)化學(xué)習(xí)(RLHF),進(jìn)一步提升大模型的性能,實(shí)現(xiàn)更優(yōu)秀的表現(xiàn)。

責(zé)任編輯:張燕妮 來源: 攜程技術(shù)
相關(guān)推薦

2024-01-26 11:11:11

攜程模型

2022-07-15 12:58:02

鴻蒙攜程華為

2021-10-08 16:25:33

數(shù)字化

2023-10-11 07:20:17

2025-03-06 07:28:31

DeepSeek大模型人工智能

2014-12-25 17:51:07

2022-12-14 10:09:44

研發(fā)效能

2009-12-18 10:58:17

Linux應(yīng)用程序

2023-01-13 14:35:00

攜程實(shí)踐

2024-07-22 09:10:04

大語(yǔ)言模型推薦系統(tǒng)人工智能

2014-03-25 14:54:48

2024-08-06 14:13:43

2024-04-25 14:40:47

2024-01-03 18:53:13

語(yǔ)言模型LLM

2023-11-01 07:34:04

大語(yǔ)言模型應(yīng)用協(xié)議識(shí)別

2017-07-06 19:57:11

AndroidMVP攜程酒店

2024-07-05 15:05:00

2022-08-06 08:27:41

Trace系統(tǒng)機(jī)票前臺(tái)微服務(wù)架構(gòu)

2016-08-11 23:58:05

文化傳媒大數(shù)據(jù)應(yīng)用

2024-09-30 09:29:18

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)