AI繪圖模型訓(xùn)練到推理,一個(gè)網(wǎng)頁(yè)就能搞定
不會(huì)寫代碼,也能訓(xùn)練AI繪畫模型了!
只要借助這個(gè)框架,從訓(xùn)練到推理都能一站式搞定,還能一次管理多個(gè)模型。
阿里巴巴團(tuán)隊(duì)推出并開源了這款萬(wàn)能圖片生成工作臺(tái)SCEPTER Studio。
有了它,不用代碼,直接在Web界面當(dāng)中就能完成模型的訓(xùn)練與微調(diào),并管理相關(guān)數(shù)據(jù)。
團(tuán)隊(duì)還推出了內(nèi)置三種模型的DEMO,可以在線體驗(yàn)SCEPTER的推理功能。
那么SCEPTER具體都能干啥,下面就來(lái)一睹為快!
一站式管理繪圖模型
有了SCEPTER,不再需要編寫程序,只要在Web頁(yè)面中選擇要訓(xùn)練的模型,調(diào)整好相關(guān)的參數(shù),就可以完成模型的訓(xùn)練和微調(diào)了。
具體來(lái)看,模型方面,SCEPTER目前支持Stable Diffusion系列的SD 1.5/2.1和SDXL模型。
微調(diào)方式上,它支持傳統(tǒng)的全量微調(diào)、LoRA等方式,以及自家的SCEdit微調(diào)框架,未來(lái)還會(huì)加入對(duì)Res-Tuning調(diào)優(yōu)方式的支持。
SCEdit通過(guò)跳過(guò)連接的方式,讓擴(kuò)散模型能以更高的效率完成圖片生成任務(wù),相比LoRA節(jié)約了30%-50%的內(nèi)存開銷。
訓(xùn)練數(shù)據(jù)方面,SCEPTER內(nèi)置了包含3D、日漫、油畫、素描等6種風(fēng)格,每種風(fēng)格30組圖像-文本對(duì)的自創(chuàng)數(shù)據(jù)集。
同時(shí),也可將自行準(zhǔn)備的圖片打包壓縮,并以csv或txt文檔建立圖像(文件名)和prompt的對(duì)應(yīng)關(guān)系,導(dǎo)入SCEPTER平臺(tái)。
如果連文檔也不想寫,也可以在SCEPTER界面中直接上傳圖片并標(biāo)注Prompt,管理、添加、刪除數(shù)據(jù)集中的圖片。
到了推理階段,SCEPTER支持的下游任務(wù)包括文生圖和可控圖像合成,未來(lái)還將支持圖像編輯,用法和現(xiàn)有的Web版SD相似。
同時(shí),SCEPTER界面中還集成了咒語(yǔ)書(Prompt合集)和一些現(xiàn)成的微調(diào)模型。
那么,SCEPTER該如何食用呢?
如果只想玩玩生成的話,官方在HuggingFace和魔搭社區(qū)上的DEMO就可以滿足要求,并且后者還是中文界面。
如果要使用數(shù)據(jù)管理、訓(xùn)練等功能,就需要自行安裝部署完整版本了,具體步驟可以參照GitHub頁(yè)面中的教程。
整個(gè)過(guò)程中,只有安裝部署的環(huán)節(jié)需要用到一些簡(jiǎn)單的代碼,之后的一切過(guò)程就都可以在Web界面里直接操作了。
感興趣的話,就去體驗(yàn)一下吧!
傳送門:https://github.com/modelscope/scepter