“ 工作流既是對(duì)大模型技術(shù)的補(bǔ)充，又是大模型市場(chǎng)化的一個(gè)重要方向 ”

作為學(xué)習(xí)人工智能技術(shù)的人來(lái)說(shuō)，工作流應(yīng)該是一個(gè)耳熟能詳?shù)募夹g(shù)，由于大模型的短板原因(邏輯推理，幻覺(jué)，知識(shí)不足等問(wèn)題)，導(dǎo)致大模型在實(shí)際應(yīng)用中存在很多問(wèn)題。

而又為了讓大模型能夠解決現(xiàn)實(shí)中工作與生活中的問(wèn)題，技術(shù)人員就想了一個(gè)辦法，利用工作流結(jié)合大模型來(lái)完成任務(wù)，比如字節(jié)旗下的coze扣子平臺(tái)。

而今天我們要介紹的是基于SD(Stable Diffusion)擴(kuò)散模型開(kāi)發(fā)的工作流組件，與其對(duì)應(yīng)的還有WebUI。

什么是ComfyUI，它有什么用？

ComfyUI 是一個(gè)開(kāi)源項(xiàng)目，主要用于構(gòu)建和可視化機(jī)器學(xué)習(xí)工作流程，特別是在圖像生成領(lǐng)域中非常受歡迎。它為用戶提供了一個(gè)基于節(jié)點(diǎn)的界面，使用戶能夠通過(guò)連接不同的功能節(jié)點(diǎn)來(lái)創(chuàng)建復(fù)雜的圖像生成任務(wù)。這些節(jié)點(diǎn)代表了圖像處理的不同步驟，比如文本到圖像的轉(zhuǎn)換、圖像到圖像的變換等。

在傳統(tǒng)的AIGC領(lǐng)域中，AIGC通常被用來(lái)生成文字，圖片和視頻，在之前的文章中也講到過(guò)關(guān)于AIGC方面的內(nèi)容。

而AIGC面臨主要面臨的是什么問(wèn)題？

AIGC面臨的主要問(wèn)題其實(shí)是小眾領(lǐng)域，比如大模型在一些公眾領(lǐng)域表現(xiàn)良好，比如二次元，古風(fēng)這些知名度比較高的領(lǐng)域；但如果讓AIGC生成一個(gè)抓泥鰍的視頻可能就沒(méi)那么好了。

原因是什么？

原因就是之前說(shuō)的，大模型在垂直領(lǐng)域表現(xiàn)不佳，不論是AIGC，還是知識(shí)庫(kù)亦或者是Agent都面臨著這樣的問(wèn)題。

怎么解決這種問(wèn)題？

解決這種問(wèn)題最好的方式就是重新設(shè)計(jì)與訓(xùn)練一個(gè)垂直領(lǐng)域的大模型，但這種情況成本太高；而退而求其次，就是對(duì)大模型進(jìn)行微調(diào)，但同樣的微調(diào)對(duì)很多小微企業(yè)也是不可接受的，不論是從成本角度還是從技術(shù)角度。

那么為什么要用工作流呢？

在當(dāng)今訓(xùn)練和微調(diào)大模型成本高居不下的情況下，訓(xùn)練和微調(diào)一個(gè)大模型的成本實(shí)在是太高了，對(duì)絕大部分企業(yè)來(lái)說(shuō)都得不償失。

而工作流的出現(xiàn)，在某些方面替代了大模型的微調(diào)功能；所謂的工作流，就是把任務(wù)拆分成一個(gè)一個(gè)的字節(jié)點(diǎn)，通過(guò)多個(gè)節(jié)點(diǎn)的配合達(dá)到最終目的。

而工作流在其中扮演著什么角色呢？

比如說(shuō)讓大模型幫我生成一個(gè)美女跳舞的視頻，然后有多種風(fēng)格可以選擇；而大模型直接輸出的結(jié)果可能不盡人意。

這時(shí)工作流的作用就體現(xiàn)了，比如說(shuō)工作流由多個(gè)節(jié)點(diǎn)組成，第一個(gè)節(jié)點(diǎn)幫我生成一個(gè)美女跳舞的視頻；第二個(gè)節(jié)點(diǎn)，幫我在之前視頻的基礎(chǔ)上，生成一個(gè)古風(fēng)的跳舞視頻；亦或者生成一個(gè)二次元的視頻。

這時(shí)通過(guò)工作流的方式，就可以把一個(gè)任務(wù)拆分成多個(gè)任務(wù)，這時(shí)就相當(dāng)于給了大模型“思考”的時(shí)間，這時(shí)大模型的表現(xiàn)自然就會(huì)更好。

從事這種設(shè)計(jì)工作流輔助大模型進(jìn)行任務(wù)處理的人員，就叫做AI煉丹師；它們的任務(wù)就是根據(jù)需求，設(shè)計(jì)不同的工作流，讓大模型用更小的成本，處理更復(fù)雜的任務(wù)。

本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/kqdiDYuY8rmdFsFml5t6Uw??