被谷歌收購后,我終于知道為什么大模型競爭落后于OpenAI了
2018 年 3 月,一家科技教育初創(chuàng) Socratic 被谷歌收購。當(dāng)時這家僅 10 人的小公司打造了一款家庭作業(yè)助手(也被國內(nèi)媒體稱為海外「作業(yè)幫」)——學(xué)生拍下家庭作業(yè)的問題,助手就能幫助解答。除了數(shù)學(xué),Socratic 還可以解決科學(xué)、文學(xué)、社會研究等學(xué)科的問題。
「一入豪門深似?!?,成為谷歌旗下一款產(chǎn)品后,Socratic 歷經(jīng)了一系列變化,并以谷歌的方式重建自身。如今,Socratic 在豪門爭斗中活了下來,每年處理大約 50 億次查詢,但距離創(chuàng)業(yè)團隊愿景中的 AI 導(dǎo)師還很遠。兩位創(chuàng)始人也相繼離開谷歌。
最近,Socratic 創(chuàng)始人之一 Shryans Bhansali 在一篇博客中回顧了這段「豪門歲月」?!柑峁┝艘粋€罕見窺見谷歌內(nèi)部運作的視角,也解釋了盡管大多數(shù)基礎(chǔ)技術(shù)都起源于谷歌,為什么領(lǐng)導(dǎo) LLM 革命的卻是 OpenAI ?!褂ミ_ AI 科學(xué)家 Jim Fan 在推文上轉(zhuǎn)發(fā)了這篇文章并評論說。
其實更早之前,被谷歌收購的 Nest 創(chuàng)始人 Tony Fadell 為宣傳新書接受媒體專訪時就談到過谷歌的大公司病。他指出「戀愛和婚姻是兩碼事」,谷歌正在扼殺創(chuàng)新。
比如,強勢業(yè)務(wù)對創(chuàng)新的影響。廣告業(yè)務(wù)收入就像印鈔機,以至于他們更多的從財務(wù)角度看待創(chuàng)新( 誰會積極推進蠶食搜索份額的創(chuàng)新?),而不是出自一種生死攸關(guān)的緊迫感。
公司福利文化也導(dǎo)致很難做到以客戶為中心,造就偉大作品。「(我)看不到團隊合作,沒有看到人們試圖改善公司。他們在互相改進,改進自己,但在當(dāng)時這些不一定是在為客戶做正確的事。」
不過,就像 Jim Fan 所言,「責(zé)怪任何人都不公平。官僚主義是谷歌規(guī)模的公司的自然產(chǎn)物。10 年后,如果 OpenAI 和 Anthropic 增長到這個數(shù)量級,可能也會遭受同樣的痛苦?!?/span>
許多收購以失敗告終,有抱負的人相繼離開谷歌。但對于還在或者想要進入豪門的人來說,有所作為仍然有跡可循,盡管要為此付出巨大的努力,Socratic 活了下來并且有所壯大就是一個例證。
以下是這篇博文全文,我們做了不變更原意的編譯。
谷歌應(yīng)用商店里的 Socratic 產(chǎn)品介紹
2017 年, Socrates 開始 B 輪融資時,我們很快意識到通過犧牲收入來獲取用戶的做法會造成很多負面影響。成功邁出了第一步,但每個風(fēng)投都要我們制定盈利計劃,制定計劃過程中我們發(fā)現(xiàn),用戶群是沒有信用卡的高中生的應(yīng)用做不成大生意。
大約在同一時間,我們被介紹給 Snapchat CEO Evan Spiegel。他建議大家合作,將作業(yè)助手整合到他們的應(yīng)用程序中。但我們的一位顧問認為,如果他把你介紹給他們的企業(yè)發(fā)展主管,最終可能會建議收購,如果是這樣,我們應(yīng)該引入競爭。于是,我們聯(lián)系了微軟、Chegg、Byju’s 還有谷歌。
另一位聯(lián)合創(chuàng)始人 Chris Pedregal 曾在谷歌工作過,他和以前經(jīng)理取得了聯(lián)系并從對方那里知道谷歌的一款攝像頭應(yīng)用 Lens。不過,當(dāng)時我們并不知道這位前經(jīng)理已經(jīng)和可汗學(xué)院和安卓聯(lián)合創(chuàng)始人一同創(chuàng)業(yè),也是面向教育領(lǐng)域。見面后,大家發(fā)現(xiàn)彼此對 AI 導(dǎo)師的前景都很看好。這或許也幫助我們贏得谷歌 2017 年「最佳應(yīng)用」,那次會面后不久,我們啟動相關(guān)流程,谷歌在 2018 年 3 月收購了 Socrates。
我們與一個同樣規(guī)模團隊合并,該團隊由多位長期供職的谷歌員工組成。Chris 和我成為了產(chǎn)品和工程負責(zé)人,任務(wù)是打造一個 AI 導(dǎo)師并把它帶到谷歌最大的產(chǎn)品中。
接下來的三年里,我們重建 Socratic,并以「Socratic by 谷歌」的名字重新發(fā)布了它——搜索、Lens 都具備 Socratic 功能,我們還發(fā)布了一個數(shù)學(xué)求解器,并原型化了一個數(shù)學(xué)導(dǎo)師,并把這些能力帶到更多產(chǎn)品中。
這一路上,我也學(xué)到了一些東西:
在谷歌工作如同懷揣第二本護照:去世界上任何一個大城市,憑借徽章(谷歌徽章有些分級意味。白色徽章適用于全職員工。實習(xí)生佩戴綠色徽章。紅色徽章適用于臨時工、供應(yīng)商和承包商。不同徽章的福利和訪問權(quán)限不同——譯者注)都可以解鎖一間漂亮的辦公室,里面有美味的食物、辦公桌,還能高速連接谷歌 20 多萬人中的每一個。
令人驚訝的是,你可以立即接觸到他們龐大的 monorepo,其中包含幾乎所有產(chǎn)品的數(shù)十億行代碼;覆蓋全球的數(shù)據(jù)中心的實時狀態(tài);橫跨二十年的戰(zhàn)略文件還有一些傳奇人物(比如 Jeff Dean)。
谷歌用谷歌的方式做事。谷歌使用的所有軟件和基礎(chǔ)設(shè)施幾乎都是自己建造的,這也是因為他們比大多數(shù)公司更早面臨艱巨的工程挑戰(zhàn)。
身處谷歌這座巨大堡壘,外部世界變得不再存在,只有少數(shù)外部世界的東西被允許進入堡壘,而且還得小心翼翼。
這意味著我們沒有機會保留現(xiàn)有的代碼庫,要從頭開始,與新團隊重新發(fā)現(xiàn)產(chǎn)品,再在谷歌堆棧上重建它。我們已經(jīng)解決的問題,比如利用機器學(xué)習(xí)系統(tǒng)對作業(yè)主題進行分類,必須使用搜索技術(shù)和標(biāo)準(zhǔn)來解決。不用說,這些標(biāo)準(zhǔn)比我們的要高。
我們能夠打破谷歌模式的一個地方是應(yīng)用的吉祥物「 Ceebo 」。谷歌的應(yīng)用程序圖標(biāo)包含四種顏色和簡單形狀。這種設(shè)計對他們有用,但對我們來說,很無聊??墒俏覀兲×?,無足輕重,他們施壓,我們反擊直到最后獲勝。
圖標(biāo)繼續(xù)沿用 Ceebo ,如今它在谷歌中已經(jīng)有了幾十個變體,也會在谷歌文檔和網(wǎng)站中突然閃現(xiàn)。
攜帶谷歌家族基因的圖標(biāo)
「Ceebo」看起來確實「血統(tǒng)不純」
簡單的事情重復(fù)做,很神奇。與搜索老手一起重新構(gòu)建我們的查詢分類系統(tǒng),也讓我們有機會窺視如何構(gòu)建搜索。一方面,信息檢索工具的深度難以置信,計算并在互聯(lián)網(wǎng)上的每個頁面添加新信號的能力也令人難以置信。
另一方面,我們發(fā)現(xiàn)大多數(shù)搜索改進都是由工程師通過「并排」比較新舊結(jié)果來手動審查的……而且,是在電子表格上!
人們可能預(yù)期的是谷歌工程主要由實現(xiàn)博士水平的算法組成,有時這是真的,但搜索或 AI 工程師的大部分工作包括查看示例,發(fā)現(xiàn)模式,手動標(biāo)記數(shù)據(jù)以及其他不可擴展、非常瑣碎的分析。這大概就是世界頂尖 AI 團隊的真實情況。
我注意到一個模式,優(yōu)秀的AI研究人員愿意手工檢查大量數(shù)據(jù)。更重要的是,他們建立了基礎(chǔ)設(shè)施,使他們能夠快速手動檢查數(shù)據(jù)。盡管并不光鮮亮麗,但手工檢查數(shù)據(jù)可以讓我們對問題產(chǎn)生很有價值的直覺。
OpenAI研究人員 JasonWei
大多數(shù)問題都不值得你浪費時間,但令人驚訝的問題卻值得。大多數(shù)牽涉 1000 萬到 5000 萬用戶的問題不值得谷歌花時間,也不適合他們的策略。但他們會花大量精力解決那些符合他們天性、策略和某人晉升目標(biāo)的問題。
比如,Socratic 界面的重要組成部分是計算機視覺,因為需要靠它來拍照、識別圖像里的文本。作為一家初創(chuàng),我們采用了第三方工具,結(jié)果發(fā)現(xiàn)要在谷歌中繼續(xù)使用它太難了——從暴露敏感數(shù)據(jù)到復(fù)雜的供應(yīng)商審核流程。有時,直接收購一家公司把它們的技術(shù)帶進來反而更容易。在我們這個案例中,正好有一個 AI 研究團隊對這個問題感興趣,就雇了一個頂尖博士人才來研究,并在 6 個月內(nèi)提供了一個世界級的數(shù)學(xué)問題識別 API。
當(dāng)然,如果你讀過 Steve Yegge(程序員,曾在亞馬遜和谷歌工作——譯者注)那篇比較谷歌和亞馬遜平臺的經(jīng)典博文,就會知道這種世界級服務(wù)還沒有被谷歌外部化。
谷歌是一個不斷變化的目標(biāo)和努力的網(wǎng)絡(luò)。令人驚奇的事情也不是不可能發(fā)生,如果有合適的人物關(guān)心這個問題。比如一個能理解它的副總裁、一個有相關(guān)章程的研究團隊,或者它與組織目標(biāo)兼容。產(chǎn)品經(jīng)理一半的工作都是在駕馭這些錯綜復(fù)雜的關(guān)系,然后你還要得到諸如隱私、信任、安全和基礎(chǔ)設(shè)施容量等批準(zhǔn)方的認可。要想知道一個想法是否可行,需要進行幾十次對話,而要把它變成現(xiàn)實,需要進行數(shù)百次對話。
這是一條幸福之路,如果有合適的人持續(xù)關(guān)注,神奇的事情還是可能的。團隊目標(biāo)可以在任何特定季度發(fā)生變化,整個團隊可能會在「重組」面前消失,這種現(xiàn)象非常普遍,以至于谷歌員工可以透過悲劇看到喜劇。
即使躲過這些暗箭,你還有可能發(fā)現(xiàn)自己和一個相距遙遠的團隊「撞車」,對方也在做同樣的事,是時候進行斗爭了,因為只有一個團隊可以繼續(xù)。丟失項目的內(nèi)部用戶會發(fā)現(xiàn),他們所依賴的 API 現(xiàn)在已經(jīng)被「棄用」,但是替代品還沒有完全準(zhǔn)備好。
谷歌人想要發(fā)布偉大作品,但往往做不到。毫無疑問,有些人來這里是為了吃,每天工作 3 小時,提前享受退休生活,但我遇到的所有人都是認真努力工作,想要把工作做好。
打敗他們的是審查、頻繁的重組、過去失敗留下的制度性傷疤,還有一個世界級平臺把簡單的事情也搞復(fù)雜了。初創(chuàng)公司可以忽略很多問題,但谷歌人很少能做到這些。
阻礙我們前進的還有員工本身——那些聰明的人可以反對任何事情,卻不支持任何事情;缺乏勇氣說出令人不安的真相的領(lǐng)導(dǎo);還有那些被聘用時沒有明確工作計劃,必須通過捏造工作留下的人。
頭重腳輕,不好駕馭。另一個阻礙進步的因素是頂級團隊導(dǎo)致的失衡(頭重腳輕)。擁有多名成功的聯(lián)合創(chuàng)始人和 10-20 年從業(yè)經(jīng)驗的團隊,聽起來可能是創(chuàng)造偉大事物的秘訣,但也可能導(dǎo)致僵局。
如果是在多個探索領(lǐng)域,目標(biāo)清晰,需要強大的自主權(quán)力去試錯抵到目標(biāo)的不同路徑,這種結(jié)構(gòu)可能適合。但如果是做一個統(tǒng)一的產(chǎn)品,它要的是一個明確的領(lǐng)導(dǎo)者、方向還有一群實干家而不是思想家。與直覺相反,項目早期階段增加過多的人并不會讓進度變得更快。
技術(shù)債真實存在。繁冗流程債也存在。工程師們習(xí)慣于談?wù)摷夹g(shù)債:今天為了節(jié)省時間發(fā)布一個功能而削減一個角落,等于欠下一筆債,要么及時還,要么就等著這筆債越滾越大。優(yōu)秀的團隊通常會悶聲清理這些問題,償還欠債。
但是,繁冗流程導(dǎo)致的債務(wù)也真實存在。因為發(fā)布瑕疵而增加一道審查關(guān)口、為了防止法律爭議又增設(shè)一道法律審查,層層積累,準(zhǔn)備好的新功能被卡在流程中,幾個月后都無法發(fā)布,生死未卜。
在一些罕見情況下,流程才會被壓縮——谷歌最近改變了他們繁重的績效評估程序,比如從一年兩次改為一次,從一份長問卷改為一份短問卷。
有時,變化迫于外部競爭,有時壓力也會加速公司衰落。谷歌發(fā)明了 ChatGPT 背后的技術(shù),但并不是發(fā)布該產(chǎn)品的人?,F(xiàn)在,它必須解決一對日益緊張的關(guān)系:一邊是想要奪回谷歌 AI 領(lǐng)先地位的建造者,另一頭是想要防范對所有可能出現(xiàn)麻煩的審查者。
在谷歌,如果你玩對了游戲,神奇的事情就有可能發(fā)生。谷歌曾經(jīng)有一套內(nèi)部價值觀,他們稱之為「三尊重」:尊重用戶,尊重彼此,尊重機會。前兩個比較容易理解,但第三個讓大多數(shù)人感到困惑。我的理解是:你在谷歌,一個利潤豐厚、人才濟濟的企業(yè)。收入豐厚,吃得好,生活在硅谷天堂。有了這么好的運氣,你能做的最好的事情是什么?
我對這個問題的回答與 Richard Hamming 在《你和你的研究》(Richard Hamming 是著名美國計算機學(xué)家,圖靈獎得主,這是他二十多年前在貝爾通信研究中心給200多名科學(xué)家們做的一次演講?!g者注)中所說的相呼應(yīng)——你必須找到所在領(lǐng)域中最重要的問題,然后想盡辦法解決它。
這意味著首先要做好交給你的工作。一旦盡在掌握,就可以借由谷歌網(wǎng)絡(luò)去了解正被計劃或者研發(fā)的事物,從中整合出你對未來的一個判斷,并用文檔、 demo 等方式將它清晰展示出來,找到與你的愿景契合的領(lǐng)導(dǎo),持之以恒地「兜售」它。
我在某種程度上做到了這點。我最喜歡的例子之一就是我們花了三個月在新的數(shù)學(xué)求解器上做了一個 AI 數(shù)學(xué)導(dǎo)師的 demo,它可以循序漸進地講解數(shù)學(xué)。這個 demo 具象化了我們的 AI 導(dǎo)師愿景——它會有一個鏈接,可以使用,可以共享。它以對話為基礎(chǔ),為用戶提供一些反饋,然后獲得「生命」,被用戶傳遞、討論并最終構(gòu)成閉環(huán)。
同時,我也看到了問題。一位領(lǐng)導(dǎo)清楚地看到了我們的發(fā)展方向,讓設(shè)計師做出了很棒的 demo 并隨時與我們分享。但他被困在一個錯誤的部門,而他的老板將目標(biāo)指向了別處。最終,他轉(zhuǎn)投了一支更和諧的團隊,現(xiàn)在他的夢想有機會成為現(xiàn)實。
許多收購都以失敗告終。Socratic 的故事是復(fù)雜的。一方面,我們成功融合了兩種截然不同的文化,我們的產(chǎn)品活了下來,每年處理大約 50 億次查詢,而且整個 Socratic 團隊的職業(yè)生涯也有了發(fā)展。
另一方面, Chris 和我都離開谷歌去創(chuàng)業(yè)了,而且無論是 Socratic 團隊還是谷歌,都還沒有生產(chǎn)出一個配得上谷歌能力的 AI 導(dǎo)師。但一些蘇格拉底式的谷歌人可能會實現(xiàn)這一目標(biāo),除非他們進行重組。