嘉賓丨詹坤林
撰稿丨諾亞
在這個信息爆炸的時代，人工智能正悄然融入生活。然而，將AI技術迅速、高效地轉化為實用工具，始終是挑戰(zhàn)。在近期的WOT全球技術創(chuàng)新大會上，58同城高級總監(jiān)、AI Lab負責人詹坤林分享了解決之道：通過使用大模型和AI智能體技術，突破傳統(tǒng)AI應用開發(fā)的局限，加速其落地，使人工智能成為觸手可及的智能伙伴。
1.搭建AI平臺，彌合算力到應用之間的巨大鴻溝
詹坤林介紹，“從去年開始我們全面擁抱大模型，尤其是大語言模型。在此背景下，我們構建了我們自己的垂類大語言模型——靈犀大模型（生成式人工智能服務備案編號：Beijing—LingXi—202407050027）。以此為基礎，我們對傳統(tǒng)的智能對話平臺進行了升級，并搭建了我們的智能體平臺，核心目的是讓我們的AI應用能夠快速落地。”
作為知名生活服務平臺，58同城的主要業(yè)務模式是連接B端與C端用戶，促成雙方交流，與此同時，近年來也在推動平臺內的交易閉環(huán)，進行產(chǎn)業(yè)化升級，深化產(chǎn)業(yè)價值鏈。
AI Lab作為58同城基礎平臺部，重點在支撐房產(chǎn)、招聘、汽車、本地服務四大業(yè)務線。鑒于從最基礎的AI算力到實際的AI應用之間存在巨大鴻溝，AI平臺就需要著力搭建橋梁，確保AI應用與算力高效對接，驅動創(chuàng)新實踐。
基于這一訴求，AI平臺架構分為這樣三層：底層為AI計算引擎，統(tǒng)一管理CPU/GPU資源，實現(xiàn)算力調度、模型訓練及推理，目標是“模型即服務”。在此基礎上，集成圖文音算法與大語言模型、多模態(tài)模型，供應用方調用構建服務；同時，為加速AI應用，增設AI應用平臺層，涵蓋智能對話、數(shù)字人、Agent等解決方案，使應用方能基于中間的應用平臺層的解決方案去快速落地應用；最終，讓AI應用滲透至銷售、客服、產(chǎn)品及內部辦公等全業(yè)務流程。
圖片
2.構建大模型平臺，適應多樣化的業(yè)務場景和硬件環(huán)境
那具體來說要怎么做呢？
詹坤林首先提到了構建大語言模型平臺的思路：之所以要打造這樣一個平臺，一則是因為AI Lab作為平臺部門需要提供一個能夠滿足各業(yè)務線需求的通用平臺，使大家能夠便捷地利用大模型，避免重復造輪子；二則基于這樣的認知——通用的大語言模型結合Prompt提示在某些應用場景下可能難以滿足特定需求，需要應用方基于特定應用場景進行模型的微調。
在這樣的思路指引下，建設路徑也漸趨清晰：構建一套支持大語言模型訓練、推理的平臺，集成各類開源通用大模型，供應用方調用和微調。
落到實處，平臺建設遵循了這一路徑：集成了主流開源大模型，并嵌入LoRA、QLoRA微調算法及MoE訓練策略，支持從模型微調到一鍵部署的全流程。應用方僅需上傳數(shù)據(jù)，選擇微調方法，即可快速上線定制模型，利用開源推理框架如vLLM實現(xiàn)高效推理。
與此同時，詹坤林強調，有了平臺還不夠，還需要持續(xù)追蹤業(yè)界進展來不斷優(yōu)化。比如，采用MoE架構，通過分割大模型為小模塊，減少推理時所需參數(shù)，優(yōu)化GPU資源利用；再比如，針對GPU稀缺場景，采用S-LoRA技術，可以在同一張GPU卡上部署和運行多個微調過的模型，顯著降低部署成本。
3.打造垂類大模型“靈犀”，為具體業(yè)務場景量體裁衣
在58同城的創(chuàng)新之旅中，除了構建大模型平臺之外，打造垂類大模型是另一個重點。
考慮到58同城特有的房產(chǎn)、招聘等垂直場景，通用大模型往往因缺乏針對性數(shù)據(jù)而在這些領域表現(xiàn)平平。因此，AI Lab在搭建平臺之外開始著手開發(fā)專屬于58的垂直大模型，以期獲得更佳的場景適應性和表現(xiàn)效果。
據(jù)詹坤林介紹，為了避免從0到1的高昂成本，他們決定在開源模型基礎上，利用58同城豐富的業(yè)務數(shù)據(jù)進行增量預訓練，從而平衡模型性能與資源消耗。
訓練過程分為三個階段，融入58業(yè)務數(shù)據(jù)的同時引入公共數(shù)據(jù)，然后進行精心配比，確保模型既能夠吸收特定領域的知識，又能夠保留通用語言模型的能力，避免災難性遺忘的問題，之后再進行微調和對齊，確保其在特定任務上的表現(xiàn)達到最優(yōu)。
在評測效果方面，靈犀大模型經(jīng)公開數(shù)據(jù)集與內部場景雙重評測，相較于同尺寸開源模型，在特定指標上展現(xiàn)優(yōu)勢。另外，安全模型的開發(fā)尤為關鍵，針對內容審核需求，如涉政、涉黃信息識別，靈犀安全大模型在與GPT4的對比中也展現(xiàn)出顯著優(yōu)勢。
圖片
目前，58同城靈犀大模型已經(jīng)正式通過生成式人工智能服務備案（模型名稱：靈犀，備案單位：北京五八信息技術有限公司，上線備案編號：Beijing—LingXi—202407050027）。點擊可見
詹坤林還提到，在某些場景下，基于百億參數(shù)的模型去打造應用，相比千億參數(shù)模型更有優(yōu)勢?！叭ツ?，在業(yè)界未開源大參數(shù)模型時，我們的百億參數(shù)模型效果和性能媲美甚至優(yōu)于某閉源千億參數(shù)模型，證明小規(guī)模模型亦可高效應對復雜場景?！?/p>
為滿足不同技能水平團隊的需求，58同城AI Lab構建了全面的大模型API體系，不僅允許迅速部署內部模型，確保新模型發(fā)布后能即時上線，而且整合了市場上的商用大模型API，簡化了調用流程。
依托這套邏輯，AI平臺與應用方的合作形式靈活多樣：應用方可直接在平臺上微調模型；也可以采用垂直模型定制解決方案；即使是缺乏技術背景的團隊也可以直接收獲一站式服務。
4.建設AI Agent平臺，按下應用落地加速鍵
需要承認的是，對于不少應用方，尤其是小型團隊開發(fā)者來說，微調大模型還是成本過高、耗時過長。為此，58同城AI Lab以靈犀大模型作為大腦驅動，構建了一套AI Agent平臺，旨在加速AI應用落地。
詹坤林簡單說明了這套智能體平臺的構建過程：他們基于開源模型微調出適應Agent場景的模型，強化角色扮演（如扮演HR或銷售）和工具調用能力。經(jīng)過優(yōu)化，不僅提升了工具調用的準確性，還增強了模型的通用性能。
平臺的關鍵特色之一是自主研發(fā)的RAG功能，允許上傳文檔以構建知識庫，從而豐富AI的回答。工作流自動化使得AI Agent能獨立執(zhí)行任務。
區(qū)別于業(yè)界其他智能體平臺只能在自有生態(tài)下生成智能體頁面，該平臺可以生成智能體API，提供的API便于開發(fā)者將智能體無縫整合進自定義應用，極大地提高了靈活性和創(chuàng)新空間。
對比多家智能體平臺，實測表明，在綜合場景下，因對文本向量化和大模型進行了針對性微調，平臺的RAG方案優(yōu)勢明顯借助此技術，運營方即使無算法團隊，也能通過AI Agent平臺快速搭建應用。只需上傳文檔，系統(tǒng)便自動完成解析、向量化、檢索與排序，由大模型完成回答，大幅簡化了文檔問答的實現(xiàn)過程。
目前58同城正全面應用大模型技術，涉足銷售、客服、用戶體驗和內部辦公等多個領域，已成功部署逾50款AI應用。
以銷售培訓場景為例，58同城面對高流動性的電銷團隊，新員工需迅速掌握銷售技巧。傳統(tǒng)培訓耗資費時，涉及大量人力一對一指導話術。為解決此問題，引入了基于大模型的角色扮演機器人作為陪練，它能模仿優(yōu)秀銷售的溝通方式及不同客戶的反應，幫助新員工通過互動學習提高銷售技能，減少真人培訓的成本。
再比如，在內部辦公和研發(fā)效率方面，SQL智能助手優(yōu)化了數(shù)據(jù)分析流程。這款工具專注于生成SQL語句、自動糾錯以及響應自然語言查詢，例如快速獲取部門收入數(shù)據(jù)或圖表展示，極大提升了決策者和業(yè)務團隊獲取關鍵信息的速度，減少了編寫復雜查詢的需求。
5.結語
最后，詹坤林分享了他關于大模型開發(fā)與應用的實踐總結：
第一，對于專注于特定垂直領域的公司而言，基于開源大模型開發(fā)的垂直模型展現(xiàn)出了顯著的優(yōu)勢。
第二，參數(shù)量并非決定一切。不必對于模型大小過度焦慮，選擇模型時應更加注重具體應用場景的需求。
第三，無論是垂直模型的構建，大模型平臺的搭建，還是智能體平臺的開發(fā)，所有努力的共同目標都是為了孵化出具有重大影響力的應用。
總而言之，企業(yè)應該采取開放態(tài)度，積極利用大模型的力量，通過定制化和開放合作，尋求在垂直領域內創(chuàng)造對業(yè)務具有高價值、高影響力的新型應用，這一趨勢有望在未來幾年內持續(xù)發(fā)展并帶來行業(yè)變革。
