哈嘍，大家好。

ChatGPT 爆火之后，最近大家又開(kāi)始關(guān)注AI作畫(huà)了，AI作畫(huà)的出現(xiàn)比ChatGPT早，只不過(guò)沒(méi)有形成全行業(yè)性的關(guān)注。

AI作畫(huà) 現(xiàn)在用的比較多的是擴(kuò)散模型?，二次元作畫(huà)網(wǎng)站Novel AI?的模型泄漏，被爆出用的就是Stable Diffusion（穩(wěn)定擴(kuò)散模型）

今天，教大家在本地搭建一個(gè)web版AI作畫(huà)工具，可以生成自己的二次元圖片，然后用 FOM? 模型進(jìn)行表情遷移，讓人臉動(dòng)起來(lái)，在用wav2lip讓嘴唇隨著聲音動(dòng)起來(lái)。

權(quán)重文件和測(cè)試數(shù)據(jù)已經(jīng)打包好了，評(píng)論區(qū)獲取。

首先，下載stable-diffusion-webui源碼

https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

提示一下，安裝步驟沒(méi)必要按照官方的，官方的方式太死板了，反而制造更多麻煩。

安裝 pytorch

選擇對(duì)應(yīng) cuda? 版本和 pytorch 版本安裝即可。

安裝stable-diffusion-webui依賴包

cd stable-diffusion-webui

pip install -e requirements.txt

安裝結(jié)束后，執(zhí)行python launch.py命令，運(yùn)行后，發(fā)現(xiàn)還要安裝一些包，如：

發(fā)現(xiàn)Installing open clip?一行，說(shuō)明還需要安裝open clip?，這個(gè)是從github?下載源碼安裝，但github經(jīng)常訪問(wèn)不了，所以這里經(jīng)常以失敗告終。

不過(guò)，觀察上面的信息，可以找他安裝命令

"/ur/bin/python" -m pip install git+https://github.com/mlfoundations/open_clip.git@bb6e834e9c70d9c27d0dc3ecedeebeaeblffad6b --prefer-bina
ry

我們可以將github.com改為國(guó)內(nèi)的鏡像，手動(dòng)安裝這個(gè)包

python -m pip install git+https://kgithub.com/mlfoundations/open_clip.gitebb6e834e9c70d9c27de
dc3ecedeebeaeb1ffad6b
--prefer-binarv

把github.com?改為kgithub.com，可以看到安裝速度很快。

重復(fù)執(zhí)行python launch.py命令，用同樣的方式把依賴包都安裝上即可。

最后，看到如下輸出，說(shuō)明stable-diffusion-webui成功啟動(dòng)了

可以看到，這里自動(dòng)下載的stable diffusion?模型是v1-5-pruned-emaonly。

我提供了novel ai?模型，效果更好，大家可以下載。覆蓋models下Stable-diffusion目錄即可。

打開(kāi)webui?，填入正面tag和反面tag就可以自動(dòng)生成圖片了。

分享一個(gè)地址 https://docs.qq.com/doc/DWHl3am5Zb05QbGVs

這里有大量tag可以直接使用

也可以訓(xùn)練embedding?生成特定人物或風(fēng)格的圖片，比如：我訓(xùn)練兩個(gè)一個(gè)高啟強(qiáng)的embedding，生成的圖片如下：

接下來(lái)，我們就驅(qū)動(dòng)圖片動(dòng)起來(lái)。

我是基于Paddle?實(shí)現(xiàn)的，首先安裝Paddlehub

pip install --upgrade paddlehub

FOM 模型進(jìn)行表情遷移

import paddlehub as hub

FOM_Module = hub.Module(name="first_order_motion")
FOM_Module.generate(
  source_image="input_data/qiqiang2.png", # 輸入圖像
  driving_video="input_data/ting.mp4", # 輸入驅(qū)動(dòng)視頻
  ratio=0.4, 
  image_size=256, 
  output_dir='./output/', # 輸出文件夾
  filename='qisheng_out2.mp4', # 輸出文件名
  use_gpu=True)

Wav2lip嘴唇動(dòng)起來(lái)

W2F_Module = hub.Module(name="wav2lip")

W2F_Module.wav2lip_transfer(
  face='output/qisheng_out2.mp4', 
  audio='wavs/ting.wav', 
  output_dir='./transfer_result/', 
  use_gpu=True)

 本文轉(zhuǎn)載自微信公眾號(hào)「 渡碼」，可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系 渡碼公眾號(hào)。