const pdfs = [
    {
      path: 'src/app/data/2024少兒編程教育行業(yè)發(fā)展趨勢報告.pdf',
      category: '少兒編程',
    },
    {
      path: 'src/app/data/2021年低代碼行業(yè)研究報告.pdf',
      category: '低代碼',
    },
  ];
for (const pdf of pdfs) {
    const { path, category } = pdf;
    const pdfContent = awaitloadPdf(path); // pdf 文件解析
    const documents = awaitsplitDocuments(pdfContent); // 文檔切分
    for (constdocumentof documents) {
      // 添加元數(shù)據(jù)
      document.metadata.category = category; // 少兒編程 or 低代碼
    }
    awaitaddDocuments(documents); // 保存文檔到向量數(shù)據(jù)庫
  }

"question": "少兒編程教育行業(yè)當(dāng)前的發(fā)展動力主要來自哪些方面？",
"retrievedContext": [
  "低代碼行業(yè)發(fā)展趨勢-產(chǎn)品易用性提升路徑\n基礎(chǔ)能力\n易用性\n增加引擎和交付模塊數(shù)量，提升整個集成引擎\n的組合方式，覆蓋更多應(yīng)用場景。\n?架構(gòu)落地\n增加引擎和交付模塊數(shù)量，提升整個集成引擎\n的組合方式，覆蓋更多應(yīng)用場景。\n?平臺架構(gòu)設(shè)計\n客戶知道怎么設(shè)計才能發(fā)揮無代碼、低代碼平\n臺的真正能力，現(xiàn)階段國內(nèi)對這方面認知逐漸\n提升。\n低\n代\n碼\n/\n零\n代\n碼\n產(chǎn)\n品\n落地能力\n使用能力",
  "低代碼商業(yè)模式-前后端開發(fā)平臺\n廠商角度\n?廠商角度：面向具有一定開發(fā)能力的專業(yè)人員，降低專業(yè)開發(fā)人員的使用門檻，減少對\n高級別研發(fā)人員的依賴，大大提升了開發(fā)效率和降低開發(fā)人員成本。\n軟件開發(fā)商\n產(chǎn)品提供方\n低代碼平臺廠商\n微服務(wù)架構(gòu)\n大多提供給一\n定開發(fā)能力的\n專業(yè)人員。\nDevOps\n控件、組件\n企業(yè)\n客戶\n元數(shù)據(jù)管理\n......\n中臺化能力",
  "?多鯨是多鯨資本旗下教育行業(yè)垂直內(nèi)容平臺，專注產(chǎn)業(yè)視角下的教育行\(zhòng)n業(yè)研究，依托對教育產(chǎn)業(yè)的深度認知，通過原創(chuàng)圖文視頻等媒體內(nèi)容、\n鏈接一線教育從業(yè)者的線上線下活動，打造教育行業(yè)媒體影響力，與教\n育從業(yè)者同行，助力行業(yè)發(fā)展。\n掃\n\n描\n\n二\n\n維\n\n碼\n\n關(guān)\n\n多\n\n鯨\n獲\n\n取\n\n更\n\n多\n\n資\n\n訊"
],

/**
 * 問題優(yōu)化 - 意圖識別
 * @param question 原始問題
 * @returns
 */
async function intentRecognition(question) {
  const prompt = `
你是一個語言專家，你的任務(wù)是分析下面的問題是屬于哪個領(lǐng)域。

說明：
1. 無法判斷時，默認為“少兒編程”；
2. 只需要回答領(lǐng)域名稱，不要輸出其他內(nèi)容。

領(lǐng)域列表：
["少兒編程", "低代碼"]

問題：
${question}

回答：

  `;
  const res = await generateModel.invoke(prompt);
  const data = res.content;
  console.log('intentRecognition: ', data);
  return data;
}

// 意圖識別
const intent = await intentRecognition(evaluateData.question);

// 檢索條件
const vectorFilter = {
  category: intent, // 將意圖作為篩選條件
};

// 文檔檢索
const docs = await chromadb.similaritySearchWithScore(
  question,
  topK,
  vectorFilter
);

"question": "少兒編程教育行業(yè)當(dāng)前的發(fā)展動力主要來自哪些方面？",
"retrievedContext": [
  "?多鯨是多鯨資本旗下教育行業(yè)垂直內(nèi)容平臺，專注產(chǎn)業(yè)視角下的教育行\(zhòng)n業(yè)研究，依托對教育產(chǎn)業(yè)的深度認知，通過原創(chuàng)圖文視頻等媒體內(nèi)容、\n鏈接一線教育從業(yè)者的線上線下活動，打造教育行業(yè)媒體影響力，與教\n育從業(yè)者同行，助力行業(yè)發(fā)展。\n掃\n\n描\n\n二\n\n維\n\n碼\n\n關(guān)\n\n多\n\n鯨\n獲\n\n取\n\n更\n\n多\n\n資\n\n訊",
  "的需求，具備快速成長和創(chuàng)造巨大價值的潛力。然而，曾經(jīng)的從業(yè)邏輯，已不再適配當(dāng)前大量新玩家涌入、市場\n競爭愈發(fā)激烈的全新格局。",
  "具保持同步。\n【多鯨資本創(chuàng)始合伙人/姚玉飛 】\n?未來教育的關(guān)注點，是培養(yǎng)個性鮮明、獨立自強的大寫的“人”。我們希望孩子們面對一個繁雜多樣、極\n不確定的世界時，擁有高階的分析判斷力，能在給定條件下找到最優(yōu)選擇。作為世界公認的未來語言，編\n程已經(jīng)成為打造孩子們面向未來的核心競爭力的重要方式。"
],

/**
 * 問題優(yōu)化 - 同義改寫
 * @param question 原始問題
 * @param num 同義改寫后的同義問題數(shù)量
 * @returns
 */
async function synonymyRewritten(question, num = 3) {
  const prompt = `
你是一個語言專家，你的任務(wù)是將給定的原始問題改寫成${num}個語義相同但表達方式不同的問題。

說明：
1. 嚴格按以下JSON格式返回：["問題1", "問題2", ...]，不能輸出其他無關(guān)內(nèi)容。

原始問題：
${question}

回答：

  `;
  const res = await generateModel.invoke(prompt);
  const data = formatToJson(res.content) || [];
  console.log('synonymyRewritten: ', data);
  return data;
}

const allQuestions = [evaluateData.question];

// 同義改寫的問題
allQuestions.push(...evaluateData.synonymyQuestions);

// 檢索條件
const vectorFilter = {
category: evaluateData.category,
};

const allDocs = [];
while (allQuestions.length > 0) {
const question = allQuestions.shift();
const docs = await chromadb.similaritySearchWithScore(
    question,
    topK,
    vectorFilter
  );
  allDocs.push(...docs);
}

// 根據(jù)文檔 id 去重并按文檔相似度升序排列，最終取 topK 個文檔作為上下文
const uniqueDocs = Array.from(
newMap(allDocs.map((doc) => [doc[0].id, doc])).values()
);
uniqueDocs.sort((a, b) => a[1] - b[1]);

// 最終的上下文
const retrievedContext = uniqueDocs
  .slice(0, topK)
  .map((doc) => doc[0].pageContent);

/**
 * 問題優(yōu)化 - 多視角分解
 * @param question 原始問題
 * @param num 多視角分解后的子問題數(shù)量
 * @returns
 */
async function subRewritten(question, num = 3) {
  const prompt = `
你是一個語言專家，你的任務(wù)是將給定的原始問題分解成${num}個不同視角的子問題。

說明：
1. 嚴格按以下JSON格式返回：["問題1", "問題2", ...]，不能輸出其他無關(guān)內(nèi)容。

原始問題：
${question}

回答：

  `;
  const res = await generateModel.invoke(prompt);
  const data = formatToJson(res.content) || [];
  console.log('subRewritten: ', data);
  return data;
}

const allQuestions = [evaluateData.question];

// 多視角分解
allQuestions.push(...evaluateData.subQuestions);

// 檢索條件
const vectorFilter = {
category: evaluateData.category,
};

const allDocs = [];
while (allQuestions.length > 0) {
const question = allQuestions.shift();
const docs = await chromadb.similaritySearchWithScore(
    question,
    topK,
    vectorFilter
  );
  allDocs.push(...docs);
}

// 根據(jù)文檔 id 去重并按文檔相似度升序排列，最終取 topK 個文檔作為上下文
const uniqueDocs = Array.from(
newMap(allDocs.map((doc) => [doc[0].id, doc])).values()
);
uniqueDocs.sort((a, b) => a[1] - b[1]);

// 最終的上下文
const retrievedContext = uniqueDocs
  .slice(0, topK)
  .map((doc) => doc[0].pageContent);

/**
 * 問題優(yōu)化 - 補充上下文
 * @param question 原始問題
 * @param maxLen 補充上下文的最大字符長度
 * @returns
 */
async function contextSupplement(question, maxLen = 200) {
  const prompt = `
你是一個語言專家，你的任務(wù)是根據(jù)給定的原始問題，生成一段與原始問題相關(guān)的背景信息。

說明：
1. 背景信息最大不超過${maxLen}個字符；
2. 只要輸出背景信息，不能輸出其他無關(guān)內(nèi)容。

原始問題：
${question}

回答：

  `;
  const res = await generateModel.invoke(prompt);
  const data = res.content;
  console.log('supplementContext: ', data);
  return data;
}

const allQuestions = [evaluateData.question];

// 補充上下文
allQuestions.push(evaluateData.supplementaryContext);

// 檢索條件
const vectorFilter = {
category: evaluateData.category,
};

const allDocs = [];
while (allQuestions.length > 0) {
const question = allQuestions.shift();
const docs = await chromadb.similaritySearchWithScore(
    question,
    topK,
    vectorFilter
  );
  allDocs.push(...docs);
}

// 根據(jù)文檔 id 去重并按文檔相似度升序排列，最終取 topK 個文檔作為上下文
const uniqueDocs = Array.from(
newMap(allDocs.map((doc) => [doc[0].id, doc])).values()
);
uniqueDocs.sort((a, b) => a[1] - b[1]);

// 最終的上下文
const retrievedContext = uniqueDocs
  .slice(0, topK)
  .map((doc) => doc[0].pageContent);