“在線版FLUX”已支持ControlNet,無(wú)需部署開(kāi)箱即用,還能在線訓(xùn)練LoRA模塊
“FLUX在線版”,新增一系列重磅功能!
ControlNet、LoRA等重要模塊都悉數(shù)到齊,而且開(kāi)箱即用,無(wú)需自行配置工作流。
甚至還可以在線訓(xùn)練自己的LoRA模型,并通過(guò)鏈接進(jìn)行分享。
Stale Diffusion原班人馬打造的最強(qiáng)繪圖模型——FLUX上線之后,在線推理服務(wù)平臺(tái)fal.ai就立即進(jìn)行了跟進(jìn)。
后續(xù)第三方開(kāi)發(fā)的ControlNet、LoRA等新功能,也被fal迅速地加入到了自己的平臺(tái)當(dāng)中。
得益于fal開(kāi)箱即用、支持一鍵分享的優(yōu)勢(shì),LoRA和ControlNet加持的FLUX很快被網(wǎng)友們玩出了花。
比如給下面這個(gè)名場(chǎng)面當(dāng)中的任務(wù)修改一下面部表情。
實(shí)際上,fal也是FLUX開(kāi)發(fā)團(tuán)隊(duì)黑森林實(shí)驗(yàn)室官方合作的兩個(gè)在線推理平臺(tái)之一(另一個(gè)是Replicate)。
fal.ai團(tuán)隊(duì)成員Jonathan Fischoff也在推特上大量轉(zhuǎn)發(fā)網(wǎng)友利用其平臺(tái)創(chuàng)作的作品和LoRA模型。
有網(wǎng)友在Fischoff的評(píng)論區(qū)許愿,希望fal能將ControlNet和LoRA與圖生圖結(jié)合。
對(duì)此Fischoff表示,已經(jīng)在做了。
FLUX+LoRA被網(wǎng)友玩出花
先來(lái)看下史上最強(qiáng)的FLUX模型疊加上LoRA和ControlNet后的效果~
Fischoff展示了在fal上使用ControlNet輪廓控制的FLUX生成的圖像。
控制輪廓大概是這個(gè)樣子,直觀看上去是臥室的場(chǎng)景,包含了床、椅子、綠植等物體。
作者用FLUX把這個(gè)輪廓繪制成了賽博朋克風(fēng),看上去確實(shí)挺有賽博朋克的感覺(jué),也能較好地遵循控制條件。
Futuristic cyberpunk bedroom, neon lights, glowing porcelain sculpture above bedframe
未來(lái)風(fēng)格的賽博朋克臥室,霓虹燈,床架上方發(fā)光的瓷器雕塑
我們通過(guò)PS把兩張圖疊加到一起觀察下細(xì)節(jié),貼合程度可以說(shuō)是比較高的。
另外利用fal的分享頁(yè)面,我們可以使用相同的ControlNet等配置,直接改一下提示詞生成新的圖像。
比如把這個(gè)賽博朋克風(fēng)格的臥室改成中國(guó)風(fēng)。
我們順便體驗(yàn)了一下其他模式的ControlNet,比如姿勢(shì)(pose)控制。
利用左邊的圖像作為參照,繪制一個(gè)跳舞的馬斯克,雖然和馬斯克不太像,但是該有的姿勢(shì)倒是完美遷移過(guò)去了。
除了ControlNet,被分享更多的是各種各樣的LoRA模塊。
利用這些LoRA模塊,可以把人物修改成剪紙、繪畫、賽博朋克等各種不同風(fēng)格。
還有網(wǎng)友把LoRA模型玩出了新花樣,把可樂(lè)、TED演講,甚至機(jī)器學(xué)習(xí)都搬到了1920年代的塔羅牌當(dāng)中。
而且現(xiàn)在,無(wú)需研究如何部署模型、搭建工作流,通過(guò)fal這個(gè)在線平臺(tái)就能開(kāi)箱即用式地應(yīng)用這些功能。
開(kāi)箱即用的FLUX
在fal(L的小寫)平臺(tái)中目前一共有5個(gè)模型和FLUX相關(guān),其中三個(gè)是FLUX的官方原版。
最新支持ControlNet和LoRA的,是[dev] with LoRAs這個(gè)版本(下圖最后一個(gè))。
基礎(chǔ)功能上,除了支持FLUX官方的文生圖和圖生圖,這個(gè)模型還可以進(jìn)行圖像修復(fù)(inpainting)。
其中ControlNet的部分,使用的是來(lái)自小紅書(shū)的InstantX團(tuán)隊(duì)為FLUX開(kāi)發(fā)的ControlNet合集。
InstantX團(tuán)隊(duì)一開(kāi)始發(fā)布了線條(Canny)控制模塊,后來(lái)又上線了支持了線條、景深、姿勢(shì)等七種控制模式的合集。
順帶提一句,InstantX團(tuán)隊(duì)還新建了一個(gè)IPadapter模型的頁(yè)面,估計(jì)很快就會(huì)上線。
與此同時(shí),另一家叫Xlabs的工作室也做了適用于FLUX的ControlNet,不過(guò)目前支持的模式比InstantX的少一些,在線體驗(yàn)地點(diǎn)是隔壁的Replicate。
回到fal,另一項(xiàng)重磅功能就是LoRA了,今早剛剛更新的版本還新增了多個(gè)LoRA模塊疊加的功能。
在fal當(dāng)中,還可以在線訓(xùn)練自己的FLUX LoRA模塊,做完之后可以通過(guò)鏈接進(jìn)行分享。
不過(guò),fal平臺(tái)并不免費(fèi),使用[dev] with LoRAs版本的價(jià)格是每百萬(wàn)像素0.075美元(約合人民幣五毛四),新注冊(cè)時(shí)會(huì)贈(zèng)送1美元余額,大概可以畫13張圖。
當(dāng)然,F(xiàn)LUX本身是免費(fèi)開(kāi)源的,可以自行下載搭建,fal收費(fèi)是因?yàn)樘峁┝送评矸?wù),以及背后的計(jì)算資源。
傳送門:https://fal.ai/models/fal-ai/flux-general