今天很多現(xiàn)有的深度學(xué)習(xí)系統(tǒng)都是基于張量代數(shù)(tensor algebra)而設(shè)計的，但是張量代數(shù)不僅僅只能用于深度學(xué)習(xí)。本文對張量進(jìn)行了詳細(xì)的解讀，能幫你在對張量的理解上更進(jìn)一步。

近段時間以來，張量與新的機(jī)器學(xué)習(xí)工具(如 TensorFlow)是非常熱門的話題，在那些尋求應(yīng)用和學(xué)習(xí)機(jī)器學(xué)習(xí)的人看來更是如此。但是，當(dāng)你回溯歷史，你會發(fā)現(xiàn)一些基礎(chǔ)但強(qiáng)大的、有用且可行的方法，它們也利用了張量的能力，而且不是在深度學(xué)習(xí)的場景中。下面會給出具體解釋。

如果說計算是有傳統(tǒng)的，那么使用線性代數(shù)的數(shù)值計算就是其中最重要的一支。像 LINPACK 和 LAPACK 這樣的包已經(jīng)是非常老的了，但是在今天它們?nèi)稳环浅?qiáng)大。其核心，線性代數(shù)由非常簡單且常規(guī)的運(yùn)算構(gòu)成，它們涉及到在一維或二維數(shù)組(這里我們稱其為向量或矩陣)上進(jìn)行重復(fù)的乘法和加法運(yùn)算。同時線性代數(shù)適用范圍異常廣泛，從計算機(jī)游戲中的圖像渲染到核武器設(shè)計等許多不同的問題都可以被它解決或近似計算，

關(guān)鍵的線性代數(shù)運(yùn)算：在計算機(jī)上使用的最基礎(chǔ)的線性代數(shù)運(yùn)算是兩個向量的點(diǎn)積(dot product)。這種點(diǎn)積僅僅是兩個向量中相關(guān)元素的乘積和。一個矩陣和一個向量的積可以被視為該矩陣和向量行(row)的點(diǎn)積，兩個矩陣的乘積可以被視為一個矩陣和另一個矩陣的每一列(column)進(jìn)行的矩陣-向量乘積的和。此外，再配上用一個值對所有元素進(jìn)行逐一的加法和乘法，我們可以構(gòu)造出所需要的線性代數(shù)運(yùn)算機(jī)器。

計算機(jī)之所以可憑極快速度求出用線性代數(shù)編寫的程序值，部分原因是線性代數(shù)具有規(guī)律性。此外，另一個原因是它們可以大量地被并行處理。完全就潛在性能而言，從早期的 Cray-1(譯者注：Cary-1 是世界上最早的一臺超級計算機(jī)，于 1975 年建造，運(yùn)算速度每秒 1 億次)到今天的 GPU 計算機(jī)，我們可以發(fā)現(xiàn)性能增長了超過 30000 倍。此外，當(dāng)你要考慮用大量 GPU 處理集群數(shù)據(jù)時，其潛在的性能，在極小成本下，比曾經(jīng)世上最快速的計算機(jī)大約高出一百萬倍。

然而，歷史的模式總是一致的，即要想充分利用新的處理器，我們就要讓運(yùn)算越來越抽象。Cray-1 和它向量化的后繼者們需要其運(yùn)行程序能夠使用向量運(yùn)算(如點(diǎn)積)才能發(fā)揮出硬件的全部性能。后來的機(jī)器要求要就矩陣-向量運(yùn)算或矩陣-矩陣運(yùn)算來將算法形式化，從而方可盡可能地發(fā)揮硬件的價值。

我們現(xiàn)在正站在這樣一個結(jié)點(diǎn)上。不同的是我們沒有任何超越矩陣-矩陣運(yùn)算的辦法，即：我們對線性代數(shù)的使用已達(dá)極限。

但是，我們沒有必要把自己限制在線性代數(shù)上。事實(shí)證明，我們可以沿著數(shù)學(xué)這棵大樹的枝葉往上再爬一段。長期以來，人們都知道在數(shù)學(xué)抽象的海洋中存在著比矩陣還要大的魚，這其中一個候選就是張量(tensor)。張量是廣義相對論重要的數(shù)學(xué)基礎(chǔ)，此外它對于物理學(xué)的其它分支來說也具有基礎(chǔ)性的地位。那么如同數(shù)學(xué)的矩陣和向量概念可被簡化成我們在計算機(jī)中使用的數(shù)組一樣，我們是否可以將張量也簡化和表征成多維數(shù)組和一些相關(guān)的運(yùn)算呢?很不幸，事情沒有那么簡單，這其中的主要原因是不存在一個顯而易見且簡單的(如在矩陣和向量上類似的)可在張量上進(jìn)行的一系列運(yùn)算。

然而，也有好消息。雖然我們不能對張量使用僅幾個運(yùn)算。但是我們可以在張量上寫下一套運(yùn)算的模式(pattern)。不過，這還不不夠，因為根據(jù)這些模式編寫的程序不能像它們寫的那樣被充分高效地執(zhí)行。但我們還有另外的好消息：那些效率低下但是編寫簡單的程序可以被(基本上)自動轉(zhuǎn)換成可非常高效執(zhí)行的程序。

更贊的是，這種轉(zhuǎn)換可以無需構(gòu)建一門新編程語言就能實(shí)現(xiàn)。只需要一個簡單的技巧就可以了，當(dāng)我們在 TensorFlow 中寫下如下代碼時：

v1 = tf.constant(3.0) 
v2 = tf.constant(4.0) 
v3 = tf.add(node1, node2) 

實(shí)際情況是，系統(tǒng)將建立一個像圖 1 中顯示的數(shù)據(jù)結(jié)構(gòu)：

圖 1

圖 1：上方的代碼被轉(zhuǎn)譯成一個可被重建的數(shù)據(jù)結(jié)構(gòu)，而且它會被轉(zhuǎn)成機(jī)器可執(zhí)行的形式。將代碼轉(zhuǎn)譯成用戶可見的數(shù)據(jù)結(jié)構(gòu)可讓我們所編寫的程序能被重寫從而更高效地執(zhí)行，或者它也可以計算出一個導(dǎo)數(shù)，從而使高級優(yōu)化器可被使用。

該數(shù)據(jù)結(jié)構(gòu)不會在上面我們展示的程序中實(shí)際執(zhí)行。因此，TensorFlow 才有機(jī)會在我們實(shí)際運(yùn)行它之前，將數(shù)據(jù)結(jié)構(gòu)重寫成更有效的代碼。這也許會牽涉到我們想讓計算機(jī)處理的小型或大型結(jié)構(gòu)。它也可生成對我們使用的計算機(jī) CPU、使用的集群、或任何手邊可用的 GPU 設(shè)備實(shí)際可執(zhí)行的代碼。對它來說很贊的一點(diǎn)是，我們可以編寫非常簡單但可實(shí)現(xiàn)令人意想不到結(jié)果的程序。

然而，這只是開始。

做一些有用但不一樣的事

TensorFlow 和像它一樣的系統(tǒng)采用的完全是描述機(jī)器學(xué)習(xí)架構(gòu)(如深度神經(jīng)網(wǎng)絡(luò))的程序，然后調(diào)整那個架構(gòu)的參數(shù)以最小化一些誤差值。它們通過創(chuàng)建一個表征我們程序的數(shù)據(jù)結(jié)構(gòu)，和一個表征相對于我們模型所有參數(shù)誤差值梯度的數(shù)據(jù)結(jié)構(gòu)來實(shí)現(xiàn)這一點(diǎn)。這個梯度函數(shù)的存在使得優(yōu)化變得更加容易。

但是，雖然你可以使用 TensorFlow 或 Caffe 或任何其它基本上同樣工作模式的架構(gòu)來寫程序，不過你寫的程序不一定要去優(yōu)化機(jī)器學(xué)習(xí)函數(shù)。如果你寫的程序使用了由你選擇的包(package)提供的張量標(biāo)注，那它就可以優(yōu)化所有類型的程序。自動微分和***進(jìn)的優(yōu)化器以及對高效 GPU 代碼的編譯對你仍然有利。

舉個簡例，圖二給出了一個家庭能耗的簡單模型。

圖 2

圖 2：該圖顯示了一間房子的日常能耗情況(圓圈)，橫軸代表了溫度(華氏度)。能耗的一個分段線性模型疊加在了能耗具體數(shù)據(jù)上。模型的參數(shù)按理來說會形成一個矩陣，但是當(dāng)我們要處理上百萬個模型時，我們便可以用到張量。

該圖顯示了一間房子的能耗使用情況，并對此進(jìn)行了建模。得到一個模型不是什么難事，但是為了找出這個模型，筆者需要自己寫代碼來分別對數(shù)百萬間房子的能耗情況進(jìn)行建模才行。如果使用 TensorFlow，我們可以立即為所有這些房子建立模型，并且我們可以使用比之前得到這個模型更有效的優(yōu)化器。于是，筆者就可以立即對數(shù)百萬個房間的模型進(jìn)行優(yōu)化，而且其效率比之前我們原始的程序要高得多。理論上我們可以手動優(yōu)化代碼，并且可以有人工推導(dǎo)的導(dǎo)數(shù)函數(shù)。不過完成這項工作所需要的時間，以及更重要的，調(diào)試花費(fèi)的時間會讓筆者無法在有限時間里建立這個模型。

這個例子為我們展示了一個基于張量的計算系統(tǒng)如 TensorFlow(或 Caffe 或 Theano 或 MXNet 等等)是可以被用于和深度學(xué)習(xí)非常不同的優(yōu)化問題的。

所以，情況可能是這樣的，對你而言***用的機(jī)器學(xué)習(xí)軟件除了完成機(jī)器學(xué)習(xí)功能以外還可以做很多其它事情。

本文作者為 MapR Technologies 的***應(yīng)用架構(gòu)師 Ted Dunning。

原文：http://www.kdnuggets.com/2017/06/deep-learning-demystifying-tensors.html

【本文是51CTO專欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)譯文，微信公眾號“機(jī)器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文