# 需要安裝以下依賴
%pip install accelerate==1.0.1 rouge-score==0.1.2 nltk==3.9.1 ms-swift[llm]==2.4.2.post2 evalscope==0.5.5rc1

# 下載模型參數(shù)到 ./model 目錄下
!mkdir ./model 
!modelscope download --model qwen/Qwen2.5-1.5B-Instruct --local_dir './model'


from swift.llm import (
    get_model_tokenizer, get_template, ModelType,
    get_default_template_type
)
import torch


#你可以根據(jù)你的需要修改query（模型輸入）


# 獲得模型信息
model_type = ModelType.qwen2_5_1_5b_instruct
template_type = get_default_template_type(model_type)
# 設(shè)置模型本地位置
model_id_or_path = "./model"
# 初始化模型和輸入輸出格式化模板
kwargs = {}
model, tokenizer = get_model_tokenizer(model_type, torch.float32, model_id_or_path=model_id_or_path, model_kwargs={'device_map': 'cpu'}, **kwargs)
model.generation_config.max_new_tokens = 128
template = get_template(template_type, tokenizer, default_system='')
print("模型初始化完成")

import json
from IPython.display import Markdown


sum, score = 0, 0
for line in open("./resources/2_7/test.jsonl"):
    # 讀取測(cè)試集中的問題
    math_question = json.loads(line)
    query = math_question["messages"][1]["content"]
    # 使用基準(zhǔn)模型推理
    response, _ = inference(model, template, query)
    # 獲取正確答案
    ans = math_question["messages"][2]["content"]
    pos = ans.find("ans")
    end_pos = ans[pos:].find('}}')
    ans = ans[pos - 2: end_pos + pos + 2]
    # 整理輸出
    print(("========================================================================================"))
    print(query.split("#數(shù)學(xué)題#\n")[1])
    print("問題答案是：" + ans)
    print("-----------模型回答----------------")
    display(Latex(response))
    print("-----------回答結(jié)束----------------")
    # 計(jì)算模型得分
    if ans in response or ans[6:-2] in response:
        score += 1
        print("模型回答正確")
    else: print("模型回答錯(cuò)誤")
    sum += 1
# 總結(jié)
display(Markdown("模型在考試中得分：**" + str(int(100*score/sum)) + "** 分"))

{"messages": [{"role": "system", "content": ""}, {"role": "user", "content": "#輸出#\n輸出要符合經(jīng)過推理后將最終答案放在 {{ans:xxx}} 內(nèi)。\n#數(shù)學(xué)題#\n雞、鴨只數(shù)的比是5：3，雞有25只，鴨有多少只．"}, {"role": "assistant", "content": "雞和鴨的比例為5:3，即雞的數(shù)量為5份，鴨為3份。已知雞有25只，對(duì)應(yīng)5份，每份數(shù)量為 $25 \\div 5 = 5$ 只。因此，鴨的數(shù)量為 $3 \\times 5 = 15$ 只。\n\n驗(yàn)證：設(shè)鴨的數(shù)量為$x$，根據(jù)比例 $\\frac{25}{x} = \\frac{5}{3}$，交叉相乘得 $5x = 75$，解得 $x = 15$，與份數(shù)法一致。\n\n{{ans:15}}"}]}

========================================================================================
雞、鴨只數(shù)的比是5：3，雞有25只，鴨有多少只．
問題答案是：{{ans:15}}
-----------模型回答----------------
設(shè)雞和鴨的數(shù)量分別為  ??
  和  ??
 。根據(jù)題目信息，我們可以得到以下比例關(guān)系：
????=53


已知雞的數(shù)量  ??=25
 。 代入上述比例關(guān)系求解鴨的數(shù)量  ??
 ：
25??=53


通過交叉相乘來解這個(gè)方程：
25×3=5×??


75=5??


\[ y = \frac{7
-----------回答結(jié)束----------------
模型回答錯(cuò)誤

%env CUDA_VISIBLE_DEVICES=0
%env LOG_LEVEL=INFO
!swift sft \
--learning_rate '0.1' \
--lora_rank 4 \
--num_train_epochs 1 \
--dataset './resources/2_7/train_100.jsonl' \
--batch_size '8' \
--max_length 512 \
--eval_step 1 \
--model_type 'qwen2_5-1_5b-instruct' \
--model_id_or_path './model'

%env CUDA_VISIBLE_DEVICES=0
%env LOG_LEVEL=INFO
!swift sft \
--learning_rate '0.00005' \
--lora_rank 4 \
--num_train_epochs 1 \
--dataset './resources/2_7/train_100.jsonl' \
--batch_size '8' \
--max_length 512 \
--eval_step 1 \
--model_type 'qwen2_5-1_5b-instruct' \
--model_id_or_path './model'

%env CUDA_VISIBLE_DEVICES=0
%env LOG_LEVEL=INFO
!swift sft \
--learning_rate '0.00005' \
--lora_rank 8 \
--num_train_epochs 3 \
--dataset './resources/2_7/train_1k.jsonl' \
--batch_size '16' \
--max_length 512 \
--eval_step 20 \
--model_type 'qwen2_5-1_5b-instruct' \
--model_id_or_path './model'

%env CUDA_VISIBLE_DEVICES=0
%env LOG_LEVEL=INFO
!swift sft \
--learning_rate '0.00005' \
--lora_rank 8 \
--num_train_epochs 15 \
--dataset './resources/2_7/train_1k.jsonl' \
--batch_size '16' \
--max_length 512 \
--eval_step 20 \
--model_type 'qwen2_5-1_5b-instruct' \
--model_id_or_path './model'

from swift.tuners import Swift


# 請(qǐng)?jiān)谶\(yùn)行前修改ckpt_dir到正確的位置
ckpt_dir = 'output/qwen2_5-1_5b-instruct/qwen2_5-1_5b-instruct/v4-20250710-200534/checkpoint-1065'
# 加載模型
ft_model = Swift.from_pretrained(model, ckpt_dir, inference_mode=True)

import json
from IPython.display import Markdown


sum, score = 0, 0.0
for line in open("./resources/2_7/test.jsonl"):
    # 讀取測(cè)試集中的問題
    math_question = json.loads(line)
    query = math_question["messages"][1]["content"]
    # 使用微調(diào)成功的模型推理
    response, _ = inference(ft_model, template, query)
    # 獲取正確答案
    ans = math_question["messages"][2]["content"]
    pos = ans.find("ans")
    end_pos = ans[pos:].find('}}')
    ans = ans[pos - 2: end_pos + pos + 2]
    # 整理輸出
    print(("========================================================================================"))
    print(query.split("#數(shù)學(xué)題#\n")[1])
    print("問題答案是：" + ans)
    print("-----------模型回答----------------")
    display(Latex(response))
    print("-----------回答結(jié)束----------------")
    # 計(jì)算模型得分
    if ans in response:
        score += 1
        print("模型回答正確")
    elif ans[6 : -2] in response:
        score += 0.5
        print("模型回答正確但輸出格式錯(cuò)誤")
    else: print("模型回答錯(cuò)誤")
    sum += 1
# 總結(jié)
display(Markdown("微調(diào)后的模型在考試中得分：**" + str(int(100*score/sum)) + "** 分"))

你正在使用 Swift 微調(diào)一個(gè) Qwen 模型，發(fā)現(xiàn)模型在驗(yàn)證集上的 loss 出現(xiàn)了明顯的上升趨勢(shì)，以下哪些操作可以幫助你緩解或解決這個(gè)問題?
A. 增大 --learning_rate
B. 減小 --learning_rate
C. 增大 --num_train_epochs
D. 減小 --num_train_epochs