我們都知道，大語言模型（LLM）能夠以一種無需模型微調(diào)的方式從少量示例中學(xué)習(xí)，這種方式被稱為「上下文學(xué)習(xí)」（In-context Learning）。這種上下文學(xué)習(xí)現(xiàn)象目前只能在大模型上觀察到。比如 GPT-4、Llama 等大模型在非常多的領(lǐng)域中都表現(xiàn)出了杰出的性能，但還是有很多場景受限于資源或者實時性要求較高，無法使用大模型。

那么，常規(guī)大小的模型是否具備這種能力呢？為了探索小模型的上下文學(xué)習(xí)能力，字節(jié)和華東師大的研究團(tuán)隊在場景文本識別任務(wù)上進(jìn)行了研究。

目前，在實際應(yīng)用場景中，場景文本識別面臨著多種挑戰(zhàn)：不同的場景、文字排版、形變、光照變化、字跡模糊、字體多樣性等，因此很難訓(xùn)練一個能應(yīng)對所有場景的統(tǒng)一的文本識別模型。

一個直接的解決辦法是收集相應(yīng)的數(shù)據(jù)，然后在具體場景下對模型進(jìn)行微調(diào)。但是這一過程需要重新訓(xùn)練模型，計算量很大，而且需要針對不同場景需要保存多個模型權(quán)重。如果文本識別模型也能具備上下文學(xué)習(xí)能力，面對新的場景，只需要少量標(biāo)注數(shù)據(jù)作為提示，就能提升在新場景上的性能，那么上面的問題就迎刃而解。不過，場景文本識別是一個資源敏感型任務(wù)，將大模型當(dāng)作文本識別器非常耗費資源，通過初步的實驗，研究人員得到的觀察是傳統(tǒng)的大模型訓(xùn)練方法在場景文本識別任務(wù)上并不適用。

為了解決這個問題，來自字節(jié)跳動和華東師大的研究團(tuán)隊提出了自進(jìn)化文本識別器，E2STR（Ego-Evolving Scene Text Recognizer），一個融合了上下文學(xué)習(xí)能力的常規(guī)大小的文本識別器，無需微調(diào)即可快速適應(yīng)不同的文本識別場景。

論文地址：https://arxiv.org/pdf/2311.13120.pdf

E2STR 配備了一種上下文訓(xùn)練和上下文推理模式，不僅在常規(guī)數(shù)據(jù)集上達(dá)到了 SOTA 的水平，而且可以使用單一模型提升在各個場景中的識別性能，實現(xiàn)對新場景的快速適應(yīng)，甚至超過了經(jīng)過微調(diào)后專用模型的識別性能。E2STR 證明，常規(guī)大小的模型足以在文本識別任務(wù)中實現(xiàn)有效的上下文學(xué)習(xí)能力。

方法

圖 1 介紹了 E2STR 的訓(xùn)練和推理流程。

1. 基礎(chǔ)文本識別訓(xùn)練

基礎(chǔ)文本識別訓(xùn)練階段采用自回歸框架訓(xùn)練視覺編碼器和語言解碼器，目的為了獲取文本識別能力：

2. 上下文訓(xùn)練

上下文訓(xùn)練階段 E2STR 將根據(jù)文中提出的上下文訓(xùn)練范式進(jìn)行進(jìn)一步訓(xùn)練。在這一階段，E2STR 會學(xué)習(xí)理解不同樣本之間的聯(lián)系，從而從上下文提示中獲取推理能力。

如圖 2 所示，這篇文章提出 ST 策略，在場景文本數(shù)據(jù)中進(jìn)行隨機(jī)的分割和轉(zhuǎn)換，從而生成一組 "子樣本"。子樣本在視覺和語言方面都是內(nèi)在聯(lián)系的。這些內(nèi)在聯(lián)系的樣本被拼接成一個序列，模型從這些語義豐富的序列中學(xué)習(xí)上下文知識，從而獲取上下文學(xué)習(xí)的能力。這一階段同樣采用自回歸框架進(jìn)行訓(xùn)練：

3. 上下文推理

針對一個測試樣本，該框架會從上下文提示池中選擇 N 個樣本，這些樣本在視覺隱空間與測試樣本具有最高的相似度。具體來說，這篇文章通過對視覺 token 序列做平均池化，計算出圖像 embedding I 。然后，從上下文池中選擇圖像嵌入與 I 的余弦相似度最高的前 N 個樣本，從而形成上下文提示。

上下文提示和測試樣本拼接在一起送入模型，E2STR 便會以一種無訓(xùn)練的方式從上下文提示中學(xué)得新知識，提升測試樣本的識別準(zhǔn)確率。值得注意的是，上下文提示池只保留了視覺編碼器輸出的 token，使得上下文提示的選擇過程非常高效。此外，由于上下文提示池很小，而且 E2STR 不需要訓(xùn)練就能直接進(jìn)行推理，因此額外的消耗也降到了最低限度。

實驗

實驗從三個角度進(jìn)行：分別是傳統(tǒng)文本識別集、跨域場景識別、困難樣本修正。

1. 傳統(tǒng)數(shù)據(jù)集

從訓(xùn)練集中隨機(jī)抽取很少的樣本（1000 個，訓(xùn)練集 0.025% 的樣本數(shù)量）組成上下文提示池，在 12 個常見的場景文本識別測試集中進(jìn)行的測試，結(jié)果如下：

可以發(fā)現(xiàn) E2STR 在識別性能差不多已經(jīng)飽和的傳統(tǒng)數(shù)據(jù)集上依然有所提升，超越了 SOTA 模型的表現(xiàn)。

2. 跨域場景

跨域場景下每個測試集僅提供 100 個域內(nèi)訓(xùn)練樣本，無訓(xùn)練和微調(diào)對比結(jié)果如下，E2STR 甚至超過了 SOTA 方法的微調(diào)結(jié)果。

3. 困難樣本修正

研究人員收集了一批困難樣本，對這些樣本提供了 10%~20% 的標(biāo)注，對比 E2STR 的無需訓(xùn)練的上下文學(xué)習(xí)方法和 SOTA 方法的微調(diào)學(xué)習(xí)方法，結(jié)果如下：

可以發(fā)現(xiàn)，相比于微調(diào)方法，E2STR-ICL 大大降低了困難樣本的錯誤率。

未來展望

E2STR 證明了使用合適的訓(xùn)練和推理策略，小模型也可以擁有和 LLM 類似的 In-context Learning 的能力。在一些實時性要求比較強(qiáng)的任務(wù)中，使用小模型也可以對新場景進(jìn)行快速的適應(yīng)。更重要的是，這種使用單一模型來實現(xiàn)對新場景快速適應(yīng)的方法使得構(gòu)建統(tǒng)一高效的小模型更近了一步。