去年年底，谷歌 Gemini 震撼了業(yè)界，它是谷歌「最大、最有能力和最通用」的 AI 系統(tǒng)，號(hào)稱第一個(gè)原生多模態(tài)大模型，能力超越 GPT-4，也被認(rèn)為是谷歌反擊微軟和 OpenAI 的強(qiáng)大工具。

對(duì)此，在 2 月 8 日，谷歌還把自家對(duì)標(biāo) ChatGPT 的服務(wù) Bard 更名為 Gemini，以著重體現(xiàn)新使命 —— 旨在提供對(duì)「最強(qiáng)模型系列」的訪問(wèn)。上周谷歌還火速更新了 Gemini Pro 1.5 版。

結(jié)果，推出不到一個(gè)月，這個(gè) Gemini 就翻車(chē)了。

多離譜呢，作為一個(gè)多模態(tài)的生成大模型，Gemini 生成的伊隆?馬斯克是這樣的：

臉型神態(tài)都很傳神，只是有個(gè)大問(wèn)題：怎么成了黑人？

又有人嘗試讓 Gemini 畫(huà)一幅「1940 年代德國(guó)領(lǐng)導(dǎo)人」的圖，結(jié)果 AI 給出了這么一張：

社交網(wǎng)絡(luò)上的眾多網(wǎng)友們還提供了一些 Gemini 生成維京人、教皇的圖片樣本。我們可以看到有一名身著教皇服裝的亞洲女性，但歷史上所有教皇都是男性擔(dān)任的。

總之，眾多用戶在使用人像生成服務(wù)時(shí)發(fā)現(xiàn)，Gemini 似乎拒絕在圖像中描繪白人，以至于生成了不少違背基本事實(shí)（性別、種族、宗教等）的圖片。

以往的圖像生成模型大多被詬病生成人物圖像以「白人」為主，而 Gemini 矯枉過(guò)正了？

在 reddit 的斗圖區(qū)，網(wǎng)友們也開(kāi)始玩起了梗，比如讓 Gemini 生成個(gè)「鋼鐵俠」小羅伯特唐尼：

你就說(shuō)是不是一視同仁吧。

然而，Gemini 也不是一直都這么偏心，有時(shí)它生成的圖像中的人物就成了白人。例如克拉倫斯?托馬斯（Clarence Thomas），美國(guó)最高法院大法官，Gemini 生成的結(jié)果是這樣的：

然而，他實(shí)際上是個(gè)非裔。

Clarence Thomas 本人的照片。

怎么一到法官這種特殊職業(yè)，Gemini 的偏見(jiàn)就調(diào)轉(zhuǎn)了 180 度呢？

這些圖片有真有假，在社交媒體上迅速傳播，馬斯克本人的關(guān)注進(jìn)一步擴(kuò)大了事件影響。他措辭嚴(yán)厲表示，谷歌在文生圖上「玩過(guò)頭了」。

隨著節(jié)奏越來(lái)越大，很多 AI 專家也紛紛開(kāi)始發(fā)表自己的看法。圖靈獎(jiǎng)獲得者 Yann LeCun 今天就表示他早有預(yù)料。

他表示，早在四年前，自己對(duì) GAN 肖像超分辨率的評(píng)論就受到了眾人的激烈反對(duì)。但一個(gè)明顯的事實(shí)是，圖像重建任務(wù)會(huì)受到訓(xùn)練數(shù)據(jù)集統(tǒng)計(jì)的嚴(yán)重偏差影響。

LeCun 還援引 AI 頂會(huì) ECCV 2022 的一篇研究《Studying Bias in GANs through the Lens of Race》，其指出生成圖像模型的性能會(huì)受到訓(xùn)練數(shù)據(jù)集中種族組成的影響。

該研究表明，生成圖像的種族成分成功繼承了訓(xùn)練數(shù)據(jù)的種族成分，而且生成圖像的種族和質(zhì)量也有所不同——注釋者始終更喜歡 AI 生成的白人圖像。

LeCun 轉(zhuǎn)推的帖子來(lái)自 Perplexity AI 首席執(zhí)行官 Aravind Srinivas。后者表示，數(shù)據(jù)偏差讓模型的輸出出現(xiàn)了問(wèn)題，谷歌在相反的方向上走得太遠(yuǎn)了，以至于他們?cè)?Gemini 中釀成大錯(cuò)。

谷歌：我們錯(cuò)了，承諾改進(jìn)

在重壓之下，谷歌在本周四承認(rèn)了 Gemini 圖像生成的問(wèn)題。

以下是谷歌知識(shí)與信息高級(jí)副總裁 Prabhakar Raghavan 針對(duì) Gemini 圖像生成「翻車(chē)」給出的最新回應(yīng)：

三周前，我們?yōu)?Gemini 對(duì)話應(yīng)用程序（以前稱為 Bard）推出了新的圖像生成功能，其中包括創(chuàng)建人物圖像的功能。

很明顯，這個(gè)功能沒(méi)有達(dá)到預(yù)期。生成的一些圖像不準(zhǔn)確甚至具有打擊性。我們感謝用戶的反饋，并對(duì)功能未能正常運(yùn)行感到抱歉。

我們已經(jīng)承認(rèn)了這個(gè)錯(cuò)誤，并暫停了 Gemini 的人物圖像生成功能，同時(shí)我們正在開(kāi)發(fā)改進(jìn)版本。

谷歌表示，Gemini 對(duì)話應(yīng)用程序是一款獨(dú)立于谷歌的搜索、底層人工智能模型和其他產(chǎn)品的特定產(chǎn)品。其圖像生成功能建立在人工智能模型 Imagen 2 的基礎(chǔ)上。

在為 Gemini 構(gòu)建圖像生成功能時(shí)，谷歌對(duì)其進(jìn)行了調(diào)整，以確保它不會(huì)落入我們過(guò)去在圖像生成技術(shù)中看到的一些陷阱，例如創(chuàng)建暴力或露骨的圖像，或?qū)ΜF(xiàn)實(shí)生活中存在的真人的描繪。

由于 Google 用戶來(lái)自世界各地，公司希望 Gemini 能為每個(gè)人提供良好的服務(wù)。在生成人物圖像時(shí)，用戶可能不僅僅只想生成一種種族（或任何其他特征）的人物圖像。

如果你提示 Gemini 特定類型的人物圖像 - 例如「教室里的黑人老師」、「帶著狗的白人獸醫(yī)」或特定文化、歷史背景下的人，用戶絕對(duì)應(yīng)該得到一個(gè)準(zhǔn)確反映人類要求的答復(fù)。

那么 Gemini 到底出了什么問(wèn)題呢？

簡(jiǎn)而言之，有兩件事。首先，谷歌為確保 Gemini 顯示一系列人物而進(jìn)行的調(diào)整未能考慮到顯然不應(yīng)該顯示的范圍。其次，隨著時(shí)間的推移，該模型變得比開(kāi)發(fā)者預(yù)期的更加謹(jǐn)慎，拒絕回答某些提示——會(huì)錯(cuò)誤地將一些提示解釋為敏感提示。

這兩件事導(dǎo)致模型在某些情況下過(guò)度輸出，而在另一些情況下過(guò)度保守，從而導(dǎo)致 Gemini 的圖像生成功能出現(xiàn)了一些錯(cuò)誤。

谷歌表示，「這不是我們的初衷。我們不希望 Gemini 拒絕創(chuàng)造任何特定群體的形象。我們不希望它創(chuàng)造出不準(zhǔn)確的歷史圖像或任何其他圖像。因此，我們關(guān)閉了人物圖像生成功能，并將在重新打開(kāi)它之前努力改進(jìn)，這個(gè)過(guò)程將包括廣泛的測(cè)試?！?/span>

需要記住的一件事是，Gemini 是一種創(chuàng)造力和生產(chǎn)力工具，它或許并不總是可靠的，特別是在生成有關(guān)時(shí)事、不斷發(fā)展的新聞或熱門(mén)話題的圖像或文本時(shí)，它可能會(huì)犯錯(cuò)。眾做周知，幻覺(jué)是所有大語(yǔ)言模型（LLM）都會(huì)面臨的挑戰(zhàn)，這需要不斷的努力改進(jìn)。

我們不能保證 Gemini 不會(huì)偶爾產(chǎn)生令人尷尬、不準(zhǔn)確或令人反感的結(jié)果，但我們可以保證，只要發(fā)現(xiàn)問(wèn)題，我們就將采取行動(dòng)。人工智能是一項(xiàng)新興技術(shù)，在很多方面都有幫助，具有巨大的潛力，我們正在盡最大努力安全、負(fù)責(zé)任地推動(dòng)它發(fā)展。

雖然伴隨著「Demo 加特技」、訓(xùn)練數(shù)據(jù)抄百度文心一言等各種詬病指責(zé)，Gemini 仍然一直被谷歌寄予厚望，不過(guò)此次生成內(nèi)容上的問(wèn)題讓人們產(chǎn)生了非常不好的觀感，不知如何才能補(bǔ)救。

另一方面，這或許也體現(xiàn)了 OpenAI 一直強(qiáng)調(diào)安全性，及其建立 Red Teaming Network 的先見(jiàn)之明。

Gemini 這樣的大體量模型，能否很快彌補(bǔ)此種缺陷？