在原神里釣魚(yú)，有人竟然用上了深度強(qiáng)化學(xué)習(xí)，還把它開(kāi)源了
還愁在《原神》里釣不到魚(yú)嗎？這有一份遲到的提瓦特釣魚(yú)指南。
在游戲圈，你可以沒(méi)有玩過(guò)，但一定聽(tīng)過(guò)《原神》。
雖然這是一款口碑兩極分化的游戲，但不得不承認(rèn)《原神》是當(dāng)前最為火熱的游戲之一。
特別是在國(guó)外，原神可以說(shuō)是火的一塌糊涂。
就在今年 9 月，這款從開(kāi)放公測(cè)起便屢次登頂國(guó)內(nèi)外討論熱度和手游吸金榜第一的開(kāi)放世界冒險(xiǎn)游戲更新了版本，添加 / 豐富了地圖，并且上線了一款小游戲——釣魚(yú)。游戲中多個(gè)水域都有釣魚(yú)點(diǎn)，不同的位置可以釣不同的魚(yú)。
盡管是再普通不過(guò)的玩法，還是引得玩家流連。一般來(lái)說(shuō)，釣魚(yú)一共分三個(gè)步驟：甩桿→等待魚(yú)兒上鉤→提竿。其中所涉及的原理需要一定數(shù)字圖像處理與機(jī)器學(xué)習(xí)基礎(chǔ)。模型分為魚(yú)群定位與識(shí)別和拉桿 (和魚(yú)博弈) 兩個(gè)部分。
很多玩家都在尋找釣魚(yú)攻略，你還在愁在《原神》里釣不到魚(yú)嗎？今天我們?yōu)槟闼蜕线@份遲到的提瓦特釣魚(yú)指南。
這份釣魚(yú)指南可以說(shuō)是完全解放雙手，不需要任何操作，只需要啟動(dòng)程序就能完成。上線短短幾天，收獲 700 + 星。
GitHub 地址：https://github.com/7eu7d7/genshin_auto_fish
感興趣的小伙伴也可以去 B 站觀看視頻，上線不到三天，超過(guò) 44 萬(wàn)次播放量。這滿屏的彈幕，不禁讓人直呼離譜。
已經(jīng)有網(wǎng)友開(kāi)始上手了，并評(píng)論道：已經(jīng)在部署了，連夜下載了 anaconda。
B 站地址：https://www.bilibili.com/video/BV1964y1b7vV?spm_id_from=333.905.b_7570566964656f.3
項(xiàng)目介紹
原神自動(dòng)釣魚(yú) AI 由兩部分模型組成：YOLOX、DQN。此外，該項(xiàng)目還用到了遷移學(xué)習(xí)，半監(jiān)督學(xué)習(xí)來(lái)進(jìn)行訓(xùn)練。模型也包含了一些使用 opencv 等傳統(tǒng)數(shù)字圖像處理方法實(shí)現(xiàn)的不可學(xué)習(xí)部分。
- YOLOX 用于魚(yú)的定位和類型的識(shí)別以及魚(yú)竿落點(diǎn)的定位；
- DQN 用于自適應(yīng)控制釣魚(yú)過(guò)程的點(diǎn)擊，讓力度落在最佳區(qū)域內(nèi)。
安裝
該項(xiàng)目是在 python 運(yùn)行環(huán)境中使用的，需要先安裝 python，這里推薦使用 anaconda。
配置環(huán)境：打開(kāi) anaconda prompt(命令行界面)，創(chuàng)建新的 python 環(huán)境并激活（推薦 python3.7 或以下版本）：
- conda create -n ysfish python=3.6
- conda activate ysfish
下載工程代碼：使用 git 下載，或直接在 github 網(wǎng)頁(yè)端下載后直接解壓：
- git clone https://github.com/7eu7d7/genshin_auto_fish.git
依賴庫(kù)安裝：切換命令行到本工程所在目錄：
- cd genshin_auto_fish
執(zhí)行以下命令安裝依賴：
- python -m pip install -U pip
- python requirements.py
如果要使用顯卡進(jìn)行加速需要安裝 CUDA 和 cudnn， 安裝后無(wú)視上面的命令用下面這條安裝 gpu 版：
- pip install -U pip
- python requirements.py --cuda [cuda 版本]
- # 例如安裝的 CUDA11.x
- python requirements.py --cuda 110
安裝 yolox：切換命令行到本工程所在目錄，執(zhí)行以下命令安裝 yolox：
- python setup.py develop
預(yù)訓(xùn)練權(quán)重下載：下載預(yù)訓(xùn)練權(quán)重 (.pth 文件)，yolox_tiny.pth 下載后將權(quán)重文件放在 工程目錄 / weights 下。
YOLOX 訓(xùn)練工作流程：YOLOX 部分用半監(jiān)督學(xué)習(xí)打標(biāo)簽。標(biāo)注少量樣本后訓(xùn)練模型生成其余樣本偽標(biāo)簽再人工修正，不斷迭代以提高精度。樣本量較少所以使用遷移學(xué)習(xí)，在 COCO 預(yù)訓(xùn)練的模型上進(jìn)行 fine-tuning。
將 yolox/exp/yolox_tiny_fish.py 中的 self.data_dir 的值改為解壓后 2 個(gè)文件夾所在的路徑。
訓(xùn)練代碼：
- python yolox_tools/train.py -f yolox/exp/yolox_tiny_fish.py -d 1 -b 8 --fp16 -o -c weights/yolox
DQN 訓(xùn)練工作流程：控制力度使用強(qiáng)化學(xué)習(xí)模型 DQN 進(jìn)行訓(xùn)練。兩次進(jìn)度的差值作為 reward 為模型提供學(xué)習(xí)方向。模型與環(huán)境間交互式學(xué)習(xí)。
直接在原神內(nèi)訓(xùn)練耗時(shí)較長(zhǎng)，首先你需要制作一個(gè)仿真環(huán)境，大概模擬釣魚(yú)力度控制操作。在仿真環(huán)境內(nèi)預(yù)訓(xùn)練一個(gè)模型。隨后將這一模型遷移至原神內(nèi)，實(shí)現(xiàn)域間遷移。
仿真環(huán)境預(yù)訓(xùn)練代碼：
- python train_sim.py
原神游戲內(nèi)訓(xùn)練：
- python train.py
運(yùn)行
以上準(zhǔn)備就緒后，就可以運(yùn)行釣魚(yú) AI，注意命令行窗口一定要以管理員權(quán)限啟動(dòng)。
顯卡加速：
- python fishing.py image -f yolox/exp/yolox_tiny_fish.py -c weights/best_tiny3.pth --conf 0.25 --nms 0.45 --tsize 640 --device gpu
CPU 運(yùn)行：
- python fishing.py image -f yolox/exp/yolox_tiny_fish.py -c weights/best_tiny3.pth --conf 0.25 --nms 0.45 --tsize 640 --device cpu
運(yùn)行后出現(xiàn) init ok 后按 r 鍵開(kāi)始釣魚(yú)，原神需要全屏。出于性能考慮檢測(cè)框不會(huì)實(shí)時(shí)顯示，處理運(yùn)算后臺(tái)進(jìn)行。
更多實(shí)現(xiàn)細(xì)節(jié)，讀者可參考原項(xiàng)目。
