“ 算子指的是神經(jīng)網(wǎng)絡(luò)中完成特定功能的一些算法節(jié)點 ”

在學(xué)習(xí)人工智能技術(shù)的過程中，簡單學(xué)習(xí)了一些關(guān)于機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識，以及大模型的訓(xùn)練和微調(diào)過程。

然后就把大部分精力放到了大模型的應(yīng)用之上，比如AIGC，知識庫，Agent等。

而今天，我們來了解一下大模型技術(shù)的實現(xiàn)之——算子。

算子

關(guān)于算子這個概念，也是最近幾天剛接觸到的，在此之前都沒聽過這個名詞。還是閑來無事瀏覽招聘網(wǎng)站的時候，看到有招聘算子開發(fā)的崗位，當(dāng)時看到這個就有點蒙了，算子是什么玩意？

概念

看網(wǎng)上介紹說，算子是大模型中一種實現(xiàn)某個功能的算法節(jié)點，簡單來說就相當(dāng)于一個編程概念中的函數(shù)，一個可以實現(xiàn)某種功能的代碼塊。

當(dāng)然，算子要比函數(shù)更加高級，也更加復(fù)雜；原因就是因為，算子雖然從邏輯上與函數(shù)的功能差不多，但在實現(xiàn)上要比函數(shù)要復(fù)雜得多，也可能就是多個復(fù)雜函數(shù)的組合。

舉個例子，卷積網(wǎng)絡(luò)中每一個卷積節(jié)點都屬于一個算子；如果從更加抽象的角度來說，整個神經(jīng)網(wǎng)絡(luò)也算是一種算子。

算子的原理

算子的實現(xiàn)原理其實就像前面說的編程里的函數(shù)一樣，算子就是對復(fù)雜算法的封裝；比如，我們在實現(xiàn)一個卷積網(wǎng)絡(luò)的過程中，一行代碼可能就實現(xiàn)了卷積層，但里面具體的實現(xiàn)邏輯，有幾個人知道？或者說你能說明白某個卷積層是怎么實現(xiàn)的嗎？

而這就是算子開發(fā)工程師需要做的事情，就是把一個神經(jīng)網(wǎng)絡(luò)模型通過算子這個載體給具象化。

算子實現(xiàn)的重難點

我們知道，大模型技術(shù)是基于龐大的算力基礎(chǔ)之上的，而算力的主要提供則是計算核心GPU，說白了就是芯片。

但不同的芯片使用的是不同的架構(gòu)方式以及實現(xiàn)理念，因此使用不同的芯片提供算力，就需要大模型在底層能夠屏蔽不同芯片之間的差異。

而且，從提升大模型的性能和節(jié)省成本的角度考慮，怎么發(fā)揮芯片的最大性能，也是一個值得思考的問題。

因此，算子主要解決兩個問題，第一，如果把大模型比作樂高，那么算子就是一塊一塊的積木，通過多種不同的積木來實現(xiàn)大模型的功能。第二，算子是發(fā)揮芯片性能的重要方式之一。

當(dāng)然，算子根據(jù)不同的功能也區(qū)分不同的類型，比如負責(zé)提供計算的算子就需要結(jié)合具體的芯片；而負責(zé)更加高級功能的算子模塊，就可以使用使用計算算子作為底層，實現(xiàn)更加高級的通用功能。

總結(jié)

想做算子開發(fā)，需要有足夠的數(shù)學(xué)理論和硬件知識，否則做算子開發(fā)就是一個笑話，基本上無從下手。

大模型是一個黑盒，那么算子就是這個黑盒中的零件，沒有算子就沒有大模型。大模型之爭，也可以說是算子之爭。

學(xué)習(xí)大模型技術(shù)是一個系統(tǒng)性的工程，我們要知道不同的技術(shù)在大模型中扮演著什么角色，解決了什么問題，否則就會一直處在似懂非懂的狀態(tài)。

本文轉(zhuǎn)載自公眾號AI探索時代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/ejySuasTO-MG4U9MtjSGnw??