在OpenHarmony本地部署大語言模型
本文將第二屆OpenHarmony技術大會上展示的《在OpenHarmony本地部署大語言模型》成果開源，開源地址：https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob/master/thirdparty/InferLLM/docs/hap_integrate.md。
實現(xiàn)思路和步驟
移植輕量級LLM模型推理框架InferLLM到OpenHarmony標準系統(tǒng)，編譯出能在OpenHarmony運行的二進制產物。
InferLLM 是一個簡單高效的 LLM CPU 推理框架，可以本地部署 LLM 中的量化模型。
使用OpenHarmony NDK來編譯OpenHarmony上的InferLLM可執(zhí)行文件。
具體使用OpenHarmony lycium 交叉編譯框架,然后編寫一些腳本。然后把其存放在tpc_c_cplusplusSIG倉庫。
本地部署大語言模型步驟
編譯獲取InferLLM三方庫編譯產物
下載OpenHarmony sdk,下載地址：http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList2.
下載本倉庫。
git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1# 設置環(huán)境變量
export OHOS_SDK=解壓目錄/ohos-sdk/linux # 請?zhí)鎿Q為你自己的解壓目錄
cd lycium
./build.sh InferLLM獲取InferLLM三方庫頭文件及生成的庫在tpc_c_cplusplus/thirdparty/InferLLM/目錄下會生成InferLLM-405d866e4c11b884a8072b4b30659c63555be41d目錄，該目錄下存在已編譯完成的32位和64位三方庫。(相關編譯結果不會被打包進入lycium目錄下的usr目錄)。
InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/arm64-v8a-build
InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/armeabi-v7a-build將編譯產物和模型文件推送至開發(fā)板運行
下載模型文件：https://huggingface.co/kewin4933/InferLLM-Model/tree/main。
將編譯InferLLM生成的llama可執(zhí)行文件、OpenHarmony sdk中的libc++_shared.so、下載好的模型文件chinese-alpaca-7b-q4.bin 打包成文件夾 llama_file。
# 將llama_file文件夾發(fā)送到開發(fā)板data目錄
hdc file send llama_file /data
# hdc shell 進入開發(fā)板執(zhí)行
cd data/llama_file
# 在2GB的dayu200上加swap交換空間
# 新建一個空的ram_ohos文件
touch ram_ohos
# 創(chuàng)建一個用于交換空間的文件（8GB大小的交換文件）
fallocate -l 8G /data/ram_ohos
# 設置文件權限，以確保所有用戶可以讀寫該文件：
chmod 777 /data/ram_ohos
# 將文件設置為交換空間：
mkswap /data/ram_ohos
# 啟用交換空間：
swapon /data/ram_ohos
# 設置庫搜索路徑
export LD_LIBRARY_PATH=/data/llama_file:$LD_LIBRARY_PATH
# 提升rk3568cpu頻率
# 查看 CPU 頻率
cat /sys/devices/system/cpu/cpu*/cpufreq/cpuinfo_cur_freq
# 查看 CPU 可用頻率（不同平臺顯示的可用頻率會有所不同）
cat /sys/devices/system/cpu/cpufreq/policy0/scaling_available_frequencies
# 將 CPU 調頻模式切換為用戶空間模式，這意味著用戶程序可以手動控制 CPU 的工作頻率，而不是由系統(tǒng)自動管理。這樣可以提供更大的靈活性和定制性，但需要注意合理調整頻率以保持系統(tǒng)穩(wěn)定性和性能。
echo userspace > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor
# 設置rk3568 CPU 頻率為1.9GHz
echo 1992000 > /sys/devices/system/cpu/cpufreq/policy0/scaling_setspeed
# 執(zhí)行大語言模型
chmod 777 llama
./llama -m chinese-alpaca-7b-q4.bin -t 4移植InferLLM三方庫在OpenHarmmony設備rk3568上部署大語言模型實現(xiàn)人機對話。最后運行效果有些慢，跳出人機對話框也有些慢，請耐心等待。
