AI質(zhì)量專項報告自動分析生成
一、背景
二、應用實踐
1. 實踐效果
2. 數(shù)據(jù)處理
3. 模型提示詞
4. 優(yōu)化輸出
三、總結(jié)
四、后續(xù)規(guī)劃
一、背景
在日常工作中，常需要通過各項數(shù)據(jù)指標，確保驅(qū)動版本項目進展正常推進，并通過各種形式報表數(shù)據(jù)，日?？偨Y(jié)日報、周會進展、季度進行總結(jié)輸出歸因，分析數(shù)據(jù)變化原因，做出對應決策變化，優(yōu)化運營方式，目前在梳理整理校準分析數(shù)據(jù)需要大量的時間投入、結(jié)合整體目標及當前進展，分析問題優(yōu)化的后續(xù)規(guī)劃。
常見形式
人工收集
數(shù)據(jù)來源依賴于各系統(tǒng)平臺頁面，通過人工收集校準后填寫再通過表格公式計算，或者可以通過多維表格工作流觸發(fā)通知等功能。
圖片
quickbi報表
通過ODPS搭建自定義報表，實現(xiàn)快速收集數(shù)據(jù)，復制報表到飛書文檔內(nèi)進行異動分析。
圖片
平臺能力開發(fā)
通過代碼開發(fā)文檔導出能力，根據(jù)固定模板生成數(shù)據(jù)分析，該能力開發(fā)人力成本較高，需要針對不同平臺數(shù)據(jù)源定制化開發(fā)。
圖片
圖片
AI Studio智能體平臺
近期研發(fā)效能AI Studio智能體平臺上線，可以根據(jù)需求自定義sop，多模型的可選項，選擇最適合業(yè)務的模型。每個工作流節(jié)點可自定義流程的判斷分析，輕松上線可投產(chǎn)的AI Agents。
研發(fā)效能AI Studio是一個支持工作流編排的AI智能體平臺，基于開源Dify項目二次開發(fā)實現(xiàn)，輕松構(gòu)建并部署生產(chǎn)級 AI 應用。其核心功能包含：
- 以工作流的方式編排AI應用，在工作流中可以添加LLM、知識庫、Agent工具、MCP服務等節(jié)點，工作流支持分支流轉(zhuǎn)、節(jié)點循環(huán)、自定義節(jié)點等高級能力項。
- 支持在工作流中調(diào)用公司內(nèi)部的Dubbo/gRPC服務。
- 知識庫管理，通過構(gòu)建私有知識庫以增強 LLM 的上下文。
- 與內(nèi)部平臺集成，支持H5頁面嵌入、API的方式與內(nèi)部平臺集成。
- 主流模型集成，支持使用多種主流模型如DeepSeek、OpenAI等，支持多模態(tài)模型。
研發(fā)效能AI Studio平臺對標的業(yè)界產(chǎn)品有：
- 扣子：https://www.coze.cn
- FastGPT：https://tryfastgpt.ai
- n8n：https://n8n.io
? 多模型選擇（適配不同業(yè)務場景）
? 可視化工作流搭建（支持自定義SOP）
? 全鏈路可觀測性（實時調(diào)試優(yōu)化）
綜上本期實踐利用AI工作流平臺針對報告進行生成分析輸出，讓使用方回歸到聚焦數(shù)據(jù)歸因分析上，減少數(shù)據(jù)收集分析、文檔編寫成本。
圖片
二、應用實踐
實踐效果
整體分析數(shù)據(jù)從哪來->需要輸出什么樣的格式->優(yōu)化模型輸出結(jié)果，三步驟針對輸出結(jié)果進行調(diào)優(yōu)。
圖片
自動化成熟度分析工作流搭建案例
圖片
運用效果
圖片
圖片
※ 報告效果
圖片
※ 飛書機器人通知歸因分析
圖片
圖片
數(shù)據(jù)處理
圖片
LLM：通過用戶輸入分析獲取數(shù)據(jù)源請求格式，配置好對應數(shù)據(jù)的映射關系模型自行獲取對應數(shù)據(jù)。
提示詞輸入
圖片
格式化輸出配置
圖片
http請求：通過用戶輸入分析后的參數(shù)構(gòu)造請求參數(shù)，通過固定接口拉取數(shù)據(jù)，支持curl導入功能。
圖片
圖片
代碼執(zhí)行：支持python、js代碼對結(jié)果數(shù)據(jù)進行處理過濾，提升分析結(jié)果準確性。
圖片
模型提示詞
如文檔整體分為不同模塊可設定不同模型節(jié)點處理，每個模塊增加特定提示詞處理節(jié)點內(nèi)容，模型并行分析處理，提升輸出穩(wěn)定性和輸出效率，再通過LLM輸出整合進行整體輸出。
圖片
在模型輸入上下文及用戶輸入，通過獲取的數(shù)據(jù)指定輸出格式，設定提示詞，提供AI結(jié)合模板輸出對應形式。
圖片
通過銜接上下節(jié)點返回內(nèi)容最終整合報表輸出結(jié)果，統(tǒng)一輸出樣式格式。
圖片
優(yōu)化輸出
切換可用模型
遇到模型輸出不穩(wěn)定或者未達到預期效果，可切換可用模型，尋找適配模型。
圖片
設定模型預載參數(shù)
設定模型預載參數(shù)，提升模型輸出準確度。
圖片
優(yōu)化增加提示詞
優(yōu)化增加提示詞提升輸出形式穩(wěn)定性：角色定義 -> 字段映射 -> 模板說明 -> 實際數(shù)據(jù)填充 -> 輸出格式定義。
## 角色定義
你是一位接口自動化測試專家以及報告生成專家，負責將接口返回的數(shù)據(jù)映射字段結(jié)合模板輸出一份有效的自動化成熟度報告-穩(wěn)定性部分。
## 接口返回數(shù)據(jù)字段映射關系：
基礎字段：
bu_name:業(yè)務域名稱。
parent_bu_id:業(yè)務域。
穩(wěn)定性指標字段：
total_auto_stability_score：穩(wěn)定性評分
iter_case_success_rate: 迭代自動化成功率
iter_case_success_rate_cpp: 迭代自動化成功率環(huán)比
auto_case_failed_rate: 自動化失敗率
auto_case_failed_rate_cpp: 自動化失敗率環(huán)比
case_aigc_avg_score: 用例健壯有效性評分
case_aigc_avg_score_cpp: 有效性評分環(huán)比
## 模板：
2.2 自動化穩(wěn)定性
用表格展示自動化穩(wěn)定性，表格內(nèi)容包含所有一級業(yè)務域、二級業(yè)務域。
表頭按照順序輸出：
1、業(yè)務域
2、自動化穩(wěn)定性評分
3、迭代自動化成功率
4、迭代自動化成功率環(huán)比
5、自動化失敗率
6、失敗率環(huán)比
7、用例健壯有效性評分
8、有效性評分環(huán)比
重點關注項：xxx --僅分析二級業(yè)務域的穩(wěn)定性性指標字段，列出需重點關注指標。
## 模板說明：
1、以html格式輸出，增加內(nèi)容豐富度，不輸出任何多余內(nèi)容。
2、表格說明：表格需要包含所有業(yè)務域數(shù)據(jù)。不要省略或者缺少任何業(yè)務域數(shù)據(jù)，將所有業(yè)務域展示在同一個表格內(nèi)。
3、表格行排序：根據(jù)評分從高到低排序。
4、環(huán)比字段說明：指標環(huán)比下降環(huán)比字段標記紅色，環(huán)比提升字段標記綠色，不標記背景色。
## 任務說明
1、用戶將提供接口返回的JSON數(shù)據(jù)。
2、根據(jù)接口數(shù)據(jù)和匹配字段映射關系。
3、結(jié)合模板以及模板說明html形式輸出，不輸出任何多余內(nèi)容。
請你根據(jù)以上內(nèi)容，回復用戶，不需要輸出示例。模板轉(zhuǎn)換
輸出的表格形式通過模板轉(zhuǎn)化固定輸出html表格形式，提升模型輸出穩(wěn)定性。
圖片
輸出形式
以markdown形式或以html形式輸出，復制到飛書文檔上進行輸出。
html最終效果
markdown最終效果
圖片
飛書機器人通知歸因分析
圖片
生成飛書文檔
支持飛書應用直接新建飛書文檔，markdown形式輸出。
圖片
對話返回生成后的飛書文檔地址及分析：
圖片
三、總結(jié)
在日常工作中如何有效利用數(shù)據(jù)指標驅(qū)動項目進展，現(xiàn)有數(shù)據(jù)收集和分析流程中面臨的挑戰(zhàn)。通過手動收集數(shù)據(jù)、生成報表、平臺開發(fā)等傳統(tǒng)方式，需要投入大量時間和人力資源，導致工作效率低下。
為此，引入了研發(fā)效能AI 智能體平臺，AI工作流平臺不僅改進了數(shù)據(jù)處理方式，還提升了報告生成的效率和準確性，從而增強了業(yè)務洞察力。進一步豐富工作流和知識庫，提高對核心數(shù)據(jù)指標的分析能力，并針對異常數(shù)據(jù)指標進行細致剖析，為團隊提供更深入的指導和支持。
此外，相似場景的處理也可以借助AI工作流進行優(yōu)化，有望在多個業(yè)務領域推廣應用。
四、后續(xù)規(guī)劃
- 豐富工作流：豐富結(jié)合知識庫，針對每項核心數(shù)據(jù)指標提升建議以及業(yè)務域現(xiàn)狀給予業(yè)務域具體指導建議。
- 明細下鉆分析：獲取對應數(shù)據(jù)指標異常后，結(jié)合明細數(shù)據(jù)進行分析，具體到用例、人員級別。
- 類似場景可通過AI工作流處理：固定模板數(shù)據(jù)源報告類、周會均可使用該方法減少人工投入成本。
