我的“七年之癢”-變與不變:從LSTM到RAG、大模型
驀然回首,從 18 年開始接觸 NLP(自然語言處理)開始,已經(jīng) 7 年有余。機(jī)緣巧合的情形下,讓自己和NLP 有了第一次邂逅。
從未接觸NLP 相關(guān)研究的自己,憑著年輕的熱血投遞搜狗的實(shí)習(xí),那時(shí)候“不計(jì)后果”,不去考慮是否能行,直接“打火車”從天津到了北京,迎來人生的第一次(實(shí)習(xí))面試。
猶記得面試官的一個(gè)問題,“武漢市長江大橋”有幾種分詞方式,這個(gè) NLP 中最典型的問題打開了我的 NLP 之路,實(shí)習(xí)的面試不難,當(dāng)天面完當(dāng)天又急匆匆的從北京趕回了天津,那時(shí)候好像有這用不完的精力,對(duì)未來也充滿了樂觀的預(yù)期。面試結(jié)果是在返程的高鐵收到的:通過。就這樣,和 NLP 結(jié)下不解之緣。
隨后的歲月里,一直在 NLP 領(lǐng)域,做過算法研究,也做過算法落地。感覺 NLP 是一個(gè)很神奇的技術(shù),能夠把我們?nèi)说恼Z言,通過某種方式,讓只有計(jì)算機(jī)聽懂,并以人的語言表達(dá)出來。
都說程序員是有時(shí)效的,從業(yè) 7 年來,回首過去,見證了NLP 技術(shù)的“更新?lián)Q代”:從最初的機(jī)器學(xué)習(xí)時(shí)代(統(tǒng)計(jì)機(jī)器學(xué)習(xí))、深度學(xué)習(xí)時(shí)代、預(yù)訓(xùn)練+微調(diào)時(shí)代以及當(dāng)前的大模型時(shí)代,技術(shù)的發(fā)展是迅速的,不似傳統(tǒng)行業(yè),例如醫(yī)生。經(jīng)驗(yàn)的重要性,在日新月異的互聯(lián)網(wǎng)行業(yè)顯得“可有可無”。
自己感覺無比幸運(yùn)的是,從事的行業(yè)始終是自己喜歡的、熱愛的,愿意為之付出時(shí)間、精力去研究、去實(shí)踐。相比之下,這點(diǎn)上,帶給了自己非常多的幸福感,讓枯燥、乏味的生活中多了一點(diǎn)為之期待的事,猶如沙漠中遙遠(yuǎn)的綠洲,留有期待。技術(shù)有著獨(dú)特的魅力,深深的吸引著我。尤其是技術(shù)的突破和落地,那種興奮讓人欲罷不能。
22 年下半年,文生圖技術(shù)的成熟,大量的 APP、公司猶如雨后春筍一般紛紛出現(xiàn),猶記得第一次體驗(yàn)一格(百度文生圖),畫的是一張墻后偷偷觀察的小貓,當(dāng)結(jié)果呈現(xiàn)出來后,被效果深深的震驚了,震撼技術(shù)的發(fā)展,文生圖背后的技術(shù)猶如毒品一般,產(chǎn)生了深深的吸引和好奇:擴(kuò)散模型、提示工程、能量模型、……
在浩如煙海的各種論文、博客、網(wǎng)站游蕩,希望了解更多文生圖的細(xì)節(jié)時(shí)候,OpenAI 的“核彈”:ChatGPT 問世了,體驗(yàn)了 ChatGPT 后,感覺自己像個(gè)“渣男”,立馬投入“新歡”-ChatGPT 的懷抱,從此開始了大模型的追逐之路。
隨著大模型的問世,之前小作坊一般的NLP解決范式被顛覆,大力飛轉(zhuǎn)仿佛成了所有人的共識(shí),好似隨著模型的無限增大,AGI(通用人工智能,也叫強(qiáng)人工智能)觸手可及,國內(nèi)的百度文心一言、阿里通義千問、華為盤古、智譜清言、百川智能、月之暗面;國外的谷歌 Gemini、Anthropic的Claude、OpenAI 的ChatGPT等大量的獨(dú)角獸或者傳統(tǒng)巨頭入局大模型。
爆火的大模型,創(chuàng)造了一個(gè)職業(yè):提示工程師——一種專門負(fù)責(zé)如何向大模型提問和溝通的工種(配圖:對(duì)比),20k-50k 的高薪讓大模型的火燒的更加旺,讓人意識(shí)到:提問也是一個(gè)技術(shù)活。從 2023 年上半年開始,國內(nèi)“百模大戰(zhàn)”的戰(zhàn)火持續(xù)了一年多。隨著大模型自身能力的提升,提示工程的重要性略有下降。但隨之而來的是各種落地應(yīng)用的探索。
本文轉(zhuǎn)載自 ??芝士AI吃魚??,作者: 芝士AI吃魚
