嘉賓丨白碩

采訪/撰稿丨張潔

編輯丨千山

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

在千行百業(yè)中，金融業(yè)一貫是新技術(shù)的早期采用者。無論是在數(shù)字化水平，還是在關(guān)于產(chǎn)業(yè)AI化的探索上，都走在了前列。因此，金融業(yè)也被視為生成式AI應(yīng)用落地的潛力股。

然而，我們也應(yīng)該清醒地認識到，生成式AI目前仍處于起步階段，其在金融領(lǐng)域的廣泛應(yīng)用還需要時間的沉淀。

此外，大語言模型在實際生產(chǎn)環(huán)境中還面臨著諸多挑戰(zhàn)。例如，引入這些模型后，金融機構(gòu)能從中獲得多大的經(jīng)濟利益，其投資回報率是否明確，以及如何有效解決大模型可能產(chǎn)生的幻覺問題，確保模型在產(chǎn)業(yè)應(yīng)用的最后一環(huán)能夠順利落地，都是亟待解決的關(guān)鍵問題。

此次AIGC實戰(zhàn)派特別邀請了恒生電子首席科學(xué)家白碩來聊一聊生成式AI在金融行業(yè)落地的那些事兒。

白碩認為，金融業(yè)是擁抱AI最積極的行業(yè)之一，也是有實力將其做深做精的行業(yè)。然而一體兩面，不可忽視的是，鑒于其業(yè)務(wù)性質(zhì)，金融業(yè)對風(fēng)險因素極度厭惡。同時，應(yīng)用生成式AI需要成本投入，包括購置算力和進行持續(xù)預(yù)訓(xùn)練，全面鋪開仍然需要時間。金融機構(gòu)和AI服務(wù)提供者需要聯(lián)合共創(chuàng)和試錯，才能踐行價值、提升體驗。

論點先導(dǎo)：

• 金融行業(yè)樂于擁抱 AI。但金融業(yè)天性謹慎，極度厭惡新技術(shù)帶來的風(fēng)險因素。
• 真正能夠落地并滿足剛需的場景需要時間打磨，不是馬上就能實現(xiàn)的。
• 你擔(dān)心模型會“說錯話”，究其根本就表明你對它的技術(shù)成熟度是不那么信任的。
• 要保證大模型輸出內(nèi)容的可控，主要有三種模式：內(nèi)嵌、外掛、上傳。
• 一是長文本，一是多模態(tài)，只有這兩個能力不斷發(fā)展，才能更好地滿足我們的場景需求。
• 不建議廣大中小金融機構(gòu)去自建大模型或者自訓(xùn)大模型。
• 針對多任務(wù)支持，采用適中規(guī)模參數(shù)模型，但可以用多塊卡多部署幾套，滿足高并發(fā)需求。
• 未來大模型發(fā)展是否能在“大力出奇跡”之外走出另一條路，值得期待。

（為了表述更為流暢，以下采訪內(nèi)容做了部分文本整理）

一、讓子彈再飛一會兒：真正能落地并滿足剛需的場景仍需時間打磨

AIGC實戰(zhàn)派：當(dāng)前金融行業(yè)中生成式AI的整體應(yīng)用程度如何？

白碩：金融行業(yè)是擁抱新技術(shù)最積極的行業(yè)之一。一方面，它的人才結(jié)構(gòu)和業(yè)務(wù)本身的數(shù)字化水平較高，這決定了其有足夠動力來擁抱和落地新技術(shù)。

但另一方面，金融業(yè)天然謹慎，極度厭惡新技術(shù)帶來的風(fēng)險因素。這是由金融業(yè)務(wù)本身（屬性）所決定的。它希望在落地過程中能夠遠離風(fēng)險、控制風(fēng)險。如果新技術(shù)面臨一些諸如合規(guī)、政治正確、誤導(dǎo)用戶的風(fēng)險，那么這個行業(yè)會試圖盡量排除這些因素。

因此，我們可以看到：首先這個行業(yè)有利于創(chuàng)新技術(shù)的發(fā)展。只要這些技術(shù)能夠帶來價值，那么金融業(yè)會是不錯的值得深耕的土壤。但同時也要慎重考慮風(fēng)險因素，如果沒有特別落到實處的解決方案，新技術(shù)的應(yīng)用也不會有很快的節(jié)奏。

另外，在與金融機構(gòu)的同仁們交流中，我們發(fā)現(xiàn)，還有不可忽視的一點是：他們想擁抱AI，但是使用AI的成本并不便宜，尤其是購置算力和對模型進行量身定制的成本。有些非常有實力的金融機構(gòu)還需要自己進行持續(xù)的預(yù)訓(xùn)練。模型越大，需要的算力支持越高，這是大家不得不考慮的成本因素。

從落地的順序來看，一開始大家可能會去找比較容易落地的場景試水，但這一塊不一定是剛需。真正能夠落地并滿足剛需的場景需要時間打磨，不是馬上就能實現(xiàn)的。

目前，我認為我們應(yīng)該認識到AI的價值。局部已經(jīng)開始使用AI，個別業(yè)務(wù)可能會先試先行，但全面鋪開并翻新IT架構(gòu)還需要時間。需要金融機構(gòu)和我們這樣的AI服務(wù)提供者之間的共創(chuàng)和試錯，才能打磨出既剛需又能帶來價值、提升體驗的場景?？梢宰屪訌椩亠w一會兒。

AIGC 實戰(zhàn)派：在您看來，當(dāng)前對生成式AI落地構(gòu)成挑戰(zhàn)的因素中，技術(shù)因素更多還是非技術(shù)因素更多？

白碩：說到底，都是技術(shù)因素。為什么這么說呢？你擔(dān)心模型會“說錯話”，對它是否會“胡言亂語”沒有把握，歸根結(jié)底就表明你對它的技術(shù)的成熟度是不那么信任的。

你擔(dān)心它誤導(dǎo)你的客戶，那這就說明它確實有一定的出錯的概率，有一定的產(chǎn)生幻覺的可能。但是如果AI技術(shù)足夠成熟，那么這些擔(dān)心都不會是問題。

大家可能會從各個不同的方面對大模型及其應(yīng)用存疑。我們行業(yè)老大也非常直白地提到過——輸入怕泄密，輸出怕違規(guī)。   

“輸入怕泄密”，就是指金融機構(gòu)給大模型上傳數(shù)據(jù)，這個環(huán)節(jié)萬一出現(xiàn)泄密怎么辦？不該被大模型知道的數(shù)據(jù)如果“出獄”了那就會造成問題?！拜敵雠逻`規(guī)”，就是指大模型生成的內(nèi)容超過了我們的可控范圍，輸出了不該說的話，也非常令人擔(dān)心。

這種不放心的深層原因還是對新技術(shù)沒有信任到那個程度，技術(shù)本身也沒有發(fā)展到讓行業(yè)信任的那個程度。所以我個人判斷，這本質(zhì)上是技術(shù)問題。當(dāng)然，如果長遠來說，我們相信技術(shù)一定會不斷地發(fā)展，按照目前技術(shù)迭代的節(jié)奏，未來這些擔(dān)心都不會是太大的問題。

不過我們也不可能坐等未來。那么，當(dāng)下我們該怎么辦呢？

實際上，我們可以做一些事情。比如，使用一些強化的手段，去跟金融業(yè)務(wù)需求對齊，這是大模型訓(xùn)練中需要解決的問題之一。另外，設(shè)置好“防線”，讓大模型去使用有充分來源的、可以控制的內(nèi)容，如果它想輸出一個數(shù)據(jù)，那么我們要求這個數(shù)據(jù)是有出處的、可檢驗的。

我們可以在大模型的個別部位加上“鎧甲”讓其強壯起來，另外一些部位加上大模型外掛等手段去構(gòu)筑“防線”，以此規(guī)避我們擔(dān)心的問題。這些都是可以暫時采取的策略。當(dāng)前的應(yīng)對之策和長遠的技術(shù)發(fā)展，我認為兩者是需要兼顧的。

二、為大模型設(shè)置“護欄”：長文本和多模態(tài)能力成為關(guān)鍵

AIGC實戰(zhàn)派：如今大模型還不能完全滿足金融業(yè)對于可解釋性和可追溯性的要求。如果要讓它真正落地，需要遵循哪些原則？

白碩：從實戰(zhàn)的角度看，是有一些辦法去繞開它的短處的。在現(xiàn)階段，首先，在我們自己也并非內(nèi)行的領(lǐng)域，可以請教專家來設(shè)置“禁區(qū)”，由專家提供相應(yīng)的實例和標(biāo)準，把這些標(biāo)準變成可訓(xùn)練的，然后通過訓(xùn)練強化大模型，以便讓大模型擁有這種對齊的能力。

其次，放眼整個架構(gòu)，我們還要更專注大模型的生態(tài)。我們要讓大模型的生態(tài)是更可控的。因為在很多的時候，我們不采用大模型本身提供的數(shù)據(jù)，只利用它的語言理解能力。大模型的語言理解能力是很過關(guān)的，但是它把握事實的能力不過關(guān)，我們要盡量揚長避短，比如用金融機構(gòu)信得過的數(shù)據(jù)庫、文檔庫、FAQ來產(chǎn)生輸出內(nèi)容。

那怎么樣控制大模型能夠忠實地產(chǎn)生這些輸出呢？這里面就不得不提另一個技術(shù)問題。實際上，當(dāng)我們把這些信得過的數(shù)據(jù)作為外掛的話，那我們能夠借大模型力的地方就比較少了，靠檢索本身的能力一般來說是不夠的。雖然現(xiàn)在有 RAG（檢索增強生成）技術(shù)，但是這與大模型自身由訓(xùn)練獲得的語言理解能力相比，也是有差距的。   

這里實際上分三種模式。一是內(nèi)嵌，就是把數(shù)據(jù)訓(xùn)練到大模型里邊去。但是缺點在于，它就固化了、過時了，無法使用最新的數(shù)據(jù)；二是外掛，就像之前提到的，外掛可以保證內(nèi)容的準確性，其風(fēng)險是相對可控的。但是要找到最準確的內(nèi)容來回答問題依然存在門檻，因為離開大模型去做這件事就顯得不夠“聰明” ;三是上傳，就是把可靠的內(nèi)容上傳給大模型，讓大模型就這個內(nèi)容來回答問題，讓大模型的能力也得到充分發(fā)揮，同時也能夠比較精準地命中可控的數(shù)據(jù)和話術(shù)，然后更好地去服務(wù)客戶。

就第三種模式來說，問題在于必須要上傳一個文檔。

如果這個文檔很大，大模型能不能全吃得下？在大模型發(fā)展的初期，窗口上下文比較有限，如果是很大的文檔上傳給它，它也吃不下。再比如這個文檔的對象比較豐富，除了純文本以外，還有圖表、表格、圖片等等數(shù)據(jù)信息，這又牽涉到多模態(tài)的能力。

所以一是長文本，一是多模態(tài)，只有這兩個能力在不斷發(fā)展，才能更好地滿足我們的實際場景需求，生成命中率高且精準可控的內(nèi)容。如此一來，我們的生成式 AI 應(yīng)用質(zhì)量也會更高，用戶體驗也會更好。令人欣慰的是，在技術(shù)發(fā)展過程中，我們已經(jīng)可以很清晰地看到發(fā)展脈絡(luò)，的確就是在朝這個方向前進。

三、為應(yīng)用找一條出路：在私有部署的限定條件將大模型能力發(fā)揮到極致

AIGC實戰(zhàn)派：金融機構(gòu)如何量體裁衣，進行大模型選型？

白碩：首先我個人強烈不建議廣大中小金融機構(gòu)去自建大模型或者自訓(xùn)大模型。這個肯定不是出路，因為大模型卷得厲害，而且是重資產(chǎn)投入。無論算力投入、人才投入、技術(shù)投入、數(shù)據(jù)投入，一般的玩家是玩不起的，而且也沒有必要去跟大家卷這個賽道。

那么出路在哪里呢？拿別人的模型，按自己的任務(wù)類型做精調(diào)，跟自己的數(shù)據(jù)資源、場景資源去做深度的適配，這才是出路。

我覺得我們恒生電子做對的一件事情，就是幫我們的金融機構(gòu)客戶去真正地建場景、建應(yīng)用。同時把大模型選型帶來的影響盡量規(guī)避到最低，尤其在很多只能做私有化部署的場景中。我們希望在私有部署這樣的限定條件下將大模型的能力做到天花板，這是我們現(xiàn)在正在做的事情。

AIGC 實戰(zhàn)派：追問一下，具體選型時有沒有參照的標(biāo)準？

白碩：用參數(shù)體量來說的話，就是50B到100B之間。這個區(qū)間內(nèi)的大模型，其語言理解能力、通用知識儲備，和其規(guī)模本身所需要的算力（尤其在不做訓(xùn)練只做推理的情況下）部署的成本之間存在一個比較好的平衡。

到了50B，即500億參數(shù)，大模型就會出現(xiàn)“涌現(xiàn)”現(xiàn)象。所以你要讓它的智能稍微看得過去一點，那最好要到這樣一個量級，讓模型不至于太笨。但如果更高的話，達到1000億以上，那可能我們部署的成本又要吃不消了。當(dāng)然這是在一定要私有部署的必要條件下，我們覺得比較好的平衡點是上限1000億，下限500億。

另外大模型選型，我們也不建議過于多元化。我們需要模型的多元化來彌補各個模型的短板，但是過于多元化的話是有問題的，選型本身還是要相對聚焦，把握住幾個特長方向，各展所長，一般確定兩三個就可以了。

還有針對多任務(wù)支持，并不意味著一定要用大參數(shù)模型，依然采用適中規(guī)模參數(shù)模型，但可以用多塊卡多部署幾套，不同的任務(wù)用不同的卡去支持，以此來保證高并發(fā)的需求。

四、未來之鑰：“大力出奇跡”之外，或許會誕生另一條路

AIGC實戰(zhàn)派：未來幾年內(nèi)，生成式AI將會如何改變金融服務(wù)的傳統(tǒng)形態(tài)和格局？

白碩：這個其實是很難預(yù)測的。站在大模型產(chǎn)品的研發(fā)一線，我們也需要一定的對相關(guān)需求的洞察能力和一定程度的預(yù)判，但是這個預(yù)判還是有限的，我們看不了太遠。從我們對技術(shù)本身發(fā)展的預(yù)判來看，如果大模型的長文本能力和多模態(tài)能力不斷提升的話，那我們現(xiàn)有的對大模型的一些判斷是會改觀的。

現(xiàn)在很多人說大模型會產(chǎn)生幻覺，甚至?xí)槐菊?jīng)胡說八道，那么當(dāng)文本足夠長，所掌握的數(shù)據(jù)類型足夠豐富的時候，這種不可控的觀感也會隨之變化，隨著技術(shù)迭代，很多你最初嘲笑的東西也會變成你需要仰視的東西。

我相信，大模型整個生態(tài)的變化對我們業(yè)務(wù)生態(tài)來說，主要會產(chǎn)生正面的促進作用。比如，之前業(yè)務(wù)人員需要求助 IT部門才能做到的事情，如今通過大模型應(yīng)用就做到了。這是最直觀的一個例子，把業(yè)務(wù)解放出來，降低對IT的依賴，很多零碎的、即時的、沒有沉淀價值的需求，就不值得把它再變成一個應(yīng)用。這是我們近幾年內(nèi)就很可能發(fā)生的一些事情。

再把目光放遠一點，如今很多服務(wù)是以產(chǎn)品形態(tài)出現(xiàn)的，甚至是以個性化定制的方式出現(xiàn)的。未來我們可能更多地將能力封裝起來，以可調(diào)用的 API呈現(xiàn)，用戶通過自然語言就可以實現(xiàn)驅(qū)動。雖然看起來有點遙遠，但我相信這一圖景最終也會實現(xiàn)。

最后，綜觀目前大模型的發(fā)展路徑，“大力出奇跡”的路線目前還是占了上風(fēng)。但是代價在于，我們需要不斷地去堆疊算力。但這條道路繼續(xù)發(fā)展下去，也未必是我們樂見的。是否會有不耗費這么大算力，但智能水平更上一層樓的大模型出現(xiàn)，也是我們所期待的。如果真能取得突破，沒有了算力成本的顧忌，無疑將成為金融業(yè)實現(xiàn)大模型應(yīng)用的巨大推手。

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：張潔