1. 為什么要提出PaRT框架

大型語言模型（LLMs）的突破性進(jìn)展，正推動社交聊天機器人向更智能、更擬人的方向飛速發(fā)展。然而現(xiàn)有系統(tǒng)大多聚焦于情感化應(yīng)答，卻忽視了主動對話的藝術(shù)——那些僅采用被動應(yīng)答策略的傳統(tǒng)機器人，往往讓用戶陷入單方面推動對話的困境，最終導(dǎo)致互動索然無味。

主動對話技術(shù)為此提供了破局之道。這類系統(tǒng)能像人類般主動開啟話題（如"您最向往哪個旅游勝地？"），或在察覺用戶興趣減退時巧妙轉(zhuǎn)場。但當(dāng)前直接調(diào)用LLMs生成話題的方式存在明顯缺陷：既容易產(chǎn)出千篇一律的泛泛之談，又受限于模型的知識時效性，難以維持專業(yè)領(lǐng)域的深度交流。

為此，創(chuàng)新性地提出PaRT(which enhances Proactive social chatbots with personalized real-time ReTrieval)框架，通過個性化實時檢索賦能主動對話。如圖1所示，該系統(tǒng)包含三大核心模塊：

• 首先，用戶畫像模塊通過智能提問構(gòu)建精準(zhǔn)的用戶畫像；
• 其次，意圖分析器能敏銳捕捉對話中的顯性需求與潛在興趣，將原始查詢轉(zhuǎn)化為個性化指令；
• 最后，檢索增強模塊從RedNote（小紅書）獲取最新資料，經(jīng)去蕪存菁后指導(dǎo)LLMs生成精準(zhǔn)回應(yīng)。

實驗證明，該方案不僅能顯著提升對話質(zhì)量，更將平均會話時長提升了21.77%。

2. PaRT方案詳解

上圖展示了PaRT的整體架構(gòu)。完整工作流包括三大核心模塊：用戶畫像分析、意圖驅(qū)動的查詢優(yōu)化和檢索增強生成。

2.1 用戶畫像

為提升聊天機器人對用戶偏好的理解，引入用戶畫像模塊。

借助記憶機制，系統(tǒng)能提煉對話歷史中的關(guān)鍵信息并存入用戶畫像。

主動問候是構(gòu)建畫像的有效方式——靜態(tài)問題庫支持隨機提問開啟對話。結(jié)合現(xiàn)有畫像與檢索增強生成技術(shù)的個性化問候，能進(jìn)一步完善用戶畫像。

2.2 智能意圖驅(qū)動的查詢優(yōu)化器

對話過程中，優(yōu)秀的聊天機器人應(yīng)當(dāng)主動感知用戶需求，在互動降溫時巧妙切換話題。

傳統(tǒng)聊天機器人常因執(zhí)著當(dāng)前話題導(dǎo)致交互質(zhì)量下滑，而真正提升對話質(zhì)量的關(guān)鍵在于精準(zhǔn)捕捉用戶潛在意圖。

將用戶意圖劃分為三類：

• 自然延續(xù)：自然延續(xù)場景下，聊天機器人需在陪伴中保持對話流暢；
• 主動求知：面對主動求知類提問（如"《沙丘2》新片評價如何？"），則需啟動實時檢索獲取最新資訊。
• 隱性探索：當(dāng)對話中出現(xiàn)興趣衰減信號或話題轉(zhuǎn)移傾向時，則暗示著隱性探索需求——此時系統(tǒng)需結(jié)合對話歷史和用戶畫像，智能生成個性化話題來重燃互動熱情。

2.3 檢索增強生成

在開放域生活對話等主動式聊天場景中，實時信息的整合能帶來顯著增益。由于靜態(tài)知識庫存在天然局限且易過時，網(wǎng)絡(luò)搜索成為檢索增強生成（RAG）的核心支撐。

采用經(jīng)典的三階段RAG框架：檢索→摘要→網(wǎng)絡(luò)資源生成。具體實現(xiàn)時，通過RedNote（小紅書）搜索引擎確保檢索質(zhì)量。

PaRT系統(tǒng)為不同對話場景定制專屬提示：

• 問候場景：隨機選取用戶畫像特征，由LLM提煉核心興趣作為搜索詞；
• 對話場景：采用智能查詢優(yōu)化器生成搜索詞。

兩種場景均觸發(fā)檢索后，LLM對Top k結(jié)果智能摘要過濾噪聲，最終融合上下文生成自然流暢的信息響應(yīng)。

3 效果評估

3.1 評估方法

基于11,455個高質(zhì)量樣本構(gòu)建數(shù)據(jù)集，采用全參數(shù)監(jiān)督微調(diào)（SFT）對Qwen2系列模型進(jìn)行優(yōu)化。為兼顧效率與成本，對話生成選用Qwen2-72B-Instruct，其余模塊則采用Qwen2-7B-Instruct。

訓(xùn)練配置如下：上下文窗口2048，學(xué)習(xí)率5e-6；單卡批量大小為2，4步梯度累積確保穩(wěn)定；

全程使用24張NVIDIA A100 80GB顯卡，3輪訓(xùn)練耗時約4小時。推理時通過0.9溫度系數(shù)調(diào)節(jié)生成結(jié)果的創(chuàng)新性與穩(wěn)定性。

3.2 評估指標(biāo)

為全面檢驗PaRT的性能，分別從檢索和生成兩個維度進(jìn)行評估。針對傳統(tǒng)機器學(xué)習(xí)方法在主觀任務(wù)評估上的局限性，采用基于大語言模型（LLM）的評估體系。

在每個任務(wù)中隨機選取50個樣本，通過kappa系數(shù)衡量LLM與人工評分的一致性。鑒于檢索數(shù)據(jù)庫規(guī)模龐大且動態(tài)更新，檢索性能僅采用Top-k精確率（P@k）指標(biāo)。通過設(shè)計特定提示詞，由LLM判斷檢索結(jié)果是否同時滿足：內(nèi)容相關(guān)性、實用價值和對話流暢性三項要求，并給出0/1二值判定。

在生成質(zhì)量評估方面，借鑒的研究框架，針對問候和對話場景設(shè)置了三個評價維度：

• 個性化程度:考察回復(fù)對用戶偏好的適配能力
• 信息密度:衡量內(nèi)容的知識含量
• 溝通技巧:則評估回復(fù)在促進(jìn)自然對話時表現(xiàn)出的邏輯連貫性、情感共鳴度和互動吸引力

每個維度均要求LLM給出0-3分的量化評分，分值越高代表質(zhì)量越優(yōu)。

3.3 離線實驗成果

3.3.1 檢索效能對比

通過對比原始用戶查詢與LLM優(yōu)化查詢的檢索效果，如上表所示：優(yōu)化查詢使整體檢索性能提升31.71%。

優(yōu)化查詢的P@k指標(biāo)隨檢索量增加衰減更緩，證明了PaRT方案的穩(wěn)健性。經(jīng)權(quán)衡信息量與準(zhǔn)確率，最終設(shè)定檢索段落數(shù)為5。

3.3.2 文本生成質(zhì)量

系統(tǒng)對比了兩種生成模式：

• 直接調(diào)用LLM的常規(guī)方案
• 基于用戶畫像的個性化生成方案

如上表所示，PaRT創(chuàng)新性地融合用戶畫像與檢索筆記，在所有指標(biāo)上均表現(xiàn)最優(yōu)：個性化生成回復(fù)更符合用戶預(yù)期，而結(jié)合檢索信息的PaRT方案能提供更精準(zhǔn)的交互體驗。

3.3.3 檢索量優(yōu)化研究

針對問候/對話兩種場景，測試了k=1/3/5/10四種檢索量配置。如上表所示，k=5時系統(tǒng)達(dá)到最佳平衡——檢索量不足導(dǎo)致信息缺失，過量則引入噪聲干擾，再次驗證了RAG系統(tǒng)需精準(zhǔn)把控檢索規(guī)模與精度的黃金比例。

3.4 在線實測效果

為量化系統(tǒng)對用戶粘性的提升，開展了在線A/B對照實驗。選取"平均對話時長"作為核心指標(biāo)——該數(shù)據(jù)能直觀體現(xiàn)用戶投入程度。

對照組采用被動應(yīng)答式聊天機器人，實驗周期為7天，樣本均分至對照組與實驗組。

上表數(shù)據(jù)顯示，PaRT方案使平均對話時長顯著提升21.77%，驗證了其有效激發(fā)用戶深度交互的能力。

本文轉(zhuǎn)載自????大語言模型論文跟蹤????，作者：HuggingAGI