偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

ControlNet作者新項(xiàng)目爆火:僅一張圖生成25秒繪畫全過(guò)程!不到一天GitHub攬星600+

人工智能 新聞
除了直接生成25秒的從線稿到上色的視頻,還有其它玩法。

ControlNet作者張呂敏(Lvmin Zhang)又又又發(fā)新作了!

輸入任意一張圖,分分鐘就能“拆解”成一個(gè)25秒的圖像繪制過(guò)程視頻:

圖片

從線稿到填色還有局部細(xì)節(jié)調(diào)整,全都有的那種:

而且不止動(dòng)漫風(fēng),各種風(fēng)格都能駕馭:

圖片

這個(gè)項(xiàng)目名為Paints-Undo,發(fā)布不到24小時(shí),GitHub上已攬星600+:

圖片

網(wǎng)友們針對(duì)它的討論也經(jīng)歷了一輪又一輪,不少人紛紛表示“這個(gè)是真牛P”。

圖片

……甚至因?yàn)樾Ч?,遭到網(wǎng)友吐槽:

手繪偽造成本又低了。

圖片
圖片
圖片

還有不少網(wǎng)友已經(jīng)玩上了:

圖片

Ctrl+ZZZZZZZ

據(jù)GitHub主頁(yè)上的介紹,Paints-Undo的命名有“其繪制過(guò)程就像是在繪畫軟件中多次按下撤消(Undo)按鈕”之意。

圖片

該項(xiàng)目包含一系列模型,展示了各種人類繪畫行為,比如素描、勾線、上色、陰影、變形、左右翻轉(zhuǎn)、調(diào)整色彩曲線、改變圖層透明度,甚至在繪畫過(guò)程中改變整體想法等等。

目前發(fā)布了兩個(gè)型號(hào)paints_undo_single_frame和paints_undo_multi_frame。

paints_undo_single_frame為單幀模型,基于SD1.5架構(gòu)進(jìn)行了改進(jìn),輸入為一張圖和一個(gè)operation step,并輸出一張圖。

operation step相當(dāng)于Ctrl+Z(撤銷)多少次,比如operation step為100,就相當(dāng)于會(huì)得到一張Ctrl+Z 100次的效果圖。

paints_undo_multi_frame是多幀模型,基于VideoCrafter打造,但沒(méi)有使用原始Crafter的lvdm,所有的訓(xùn)練/推理代碼都是從頭開(kāi)始完全實(shí)現(xiàn)。

經(jīng)過(guò)訓(xùn)練后,多幀模型整體架構(gòu)類似于Crafter,包含5個(gè)組成部分:3D-UNet、VAE、CLIP、CLIP-Vision、Image Projection。

多幀模型輸入為兩張圖片,輸出是這兩張圖片之間的16幀中間幀,其結(jié)果比單幀模型更加一致,但也更慢,創(chuàng)造性較低。

代碼庫(kù)默認(rèn)方法是將兩個(gè)模型一起使用:

首先使用單幀模型獲取5-7個(gè)“關(guān)鍵幀”,然后使用多幀模型來(lái)“插值”這些關(guān)鍵幀,最終生成一個(gè)相對(duì)較長(zhǎng)的視頻。理論上甚至可以生成無(wú)限長(zhǎng)的視頻,但在開(kāi)發(fā)測(cè)試中幀數(shù)為100-500時(shí),結(jié)果較好。

可以通過(guò)以下方式在本地部署:

圖片

介紹中還提到,項(xiàng)目測(cè)試是在24GB顯存的Nvidia 4090和3090TI上進(jìn)行。理論上說(shuō),16GB的顯存應(yīng)該也夠用,但8GB就不行了,最少需要大概10到12.5GB的顯存。

根據(jù)不同配置,處理一張圖大約需要5-10分鐘

生成視頻時(shí)長(zhǎng)25秒,幀率為4FPS,分辨率可能是320x512、512x320、384x448或448x384。

更多玩法展示

除了直接生成25秒的從線稿到上色的視頻,還有其它玩法。

比如輸入線稿,也能生成線稿繪制過(guò)程:

圖片

單輸入多輸出也可以:

或者還可以從一張圖提取出不同精細(xì)程度的線稿:

圖片
圖片

插入一張線稿,直接在此線稿基礎(chǔ)上填色也行:

感興趣的家人們可以親自動(dòng)手試試~

GitHub鏈接:https://github.com/lllyasviel/Paints-UNDO

責(zé)任編輯:張燕妮 來(lái)源: 量子位
相關(guān)推薦

2022-08-19 14:46:16

視覺(jué)框架

2021-12-20 09:46:26

代碼開(kāi)發(fā)GitHub

2021-02-07 09:01:10

Java并發(fā)編程

2023-10-04 19:52:33

模型論文

2010-02-23 11:35:38

Python 項(xiàng)目測(cè)試

2011-02-22 10:46:02

Samba配置

2015-02-26 15:29:56

微信支付寶紅包

2019-09-11 10:12:12

華為

2024-05-11 07:00:00

AIIC-LightP照片換背景

2021-04-24 09:02:36

Linux 內(nèi)存分配

2023-06-20 16:05:58

AI代碼

2015-03-10 10:15:27

AppleWatch開(kāi)發(fā)Swift

2011-04-18 15:56:10

軟件測(cè)試

2009-12-08 17:56:16

WCF配置

2011-01-21 17:51:52

2011-09-06 15:38:20

QT安裝

2009-04-13 12:37:18

2021-05-06 09:12:29

AI 數(shù)據(jù)人工智能

2015-09-14 09:07:15

Java多線程

2023-06-27 09:33:46

開(kāi)源代碼
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)