Google DeepMind 和 Meta 的研究人員發(fā)表論文《Language Modeling Is Compression》，他們發(fā)現(xiàn) DeepMind 的大語(yǔ)言模型 Chinchilla 70B 在圖像和音頻的無(wú)損壓縮上超過(guò)了 PNG 和 FLAC。

論文提到，Chinchilla 70B 能將 ImageNet 圖像數(shù)據(jù)庫(kù)中的圖像無(wú)損壓縮到原始大小 43.4%，超過(guò)了 PNG 算法的 58.5%。

Chinchilla 能將 LibriSpeech 音頻數(shù)據(jù)集中的樣本無(wú)損壓縮到原始大小 16.4%，超過(guò) FLAC 算法的 30.3%。

據(jù)介紹，Chinchilla 70B 主要是訓(xùn)練用于處理文本，但它在壓縮其它類(lèi)型的數(shù)據(jù)集上的效果也表現(xiàn)優(yōu)異，甚至優(yōu)于專(zhuān)門(mén)的算法。

下面的例子比較了 gzip 和 Chinchilla 在示例文本上的生成效果。可以看到，gzip 的輸出沒(méi)有可讀性。