PyTorch，你是不是想用Julia？不，我們還想要Python的生態(tài)
「人生苦短，我用 Python?！惯@是 Python 開發(fā)領(lǐng)域廣泛流傳的一句話。在過去的幾年中，Python 也的確憑借其在易用性、生態(tài)等方面的優(yōu)勢一路高歌猛進，在很多編程語言排行榜中穩(wěn)居前三。
但伴隨著 Julia 等新勢力的崛起，這種局面正在發(fā)生變化。在前段時間出爐的「Stack Overflow 2021 全球開發(fā)者調(diào)查報告」中，Python 受開發(fā)者喜愛程度僅排第六，而 Julia 則排在了第五。雖然生態(tài)等方面依然存在不足，但毋庸置疑，Julia 已經(jīng)成為 Python 有力的競爭對手，其競爭優(yōu)勢包括速度快、簡潔等。在 Julia 中，我們可以用類似 Python 的優(yōu)美語句獲得類似 C 的性能。
最近，這種趨勢甚至影響到了主流深度學(xué)習(xí)框架對編程語言的選擇，比如 PyTorch：
「PyTorch 將走向何方?為什么它越來越像 Julia，但又不完全像?」這是 PyTorch 核心開發(fā)人員 Edward Z. Yang 參與討論的一個問題。在這個問題下方，他回答道：
我們曾經(jīng)開玩笑地說：下一個版本的 PyTorch 是用 Julia 編寫的。之所以廢棄了 Lua Torch 而主要使用 Python 編寫的 PyTorch，一個重要的原因是想利用 Python 龐大的生態(tài)系統(tǒng)。直到今天，都很難有一種新語言能夠克服 Python 的網(wǎng)絡(luò)效應(yīng)。
| 我們曾經(jīng)開玩笑地說：下一個版本的 PyTorch 是用 Julia 編寫的。之所以廢棄了 Lua Torch 而主要使用 Python 編寫的 PyTorch，一個重要的原因是想利用 Python 龐大的生態(tài)系統(tǒng)。直到今天，都很難有一種新語言能夠克服 Python 的網(wǎng)絡(luò)效應(yīng)。
然而，最近我一直在思考我們在 PyTorch 中進行的各種項目，包括：
這些項目都有一個共同點：有些功能以前只能用 C++ 實現(xiàn)，而現(xiàn)在 PyTorch 使得用 Python 完成這些功能成為可能，提升了 hackability，并讓開發(fā)變得更加簡易。 PyTorch 以前主要是用 Python 編寫的，后來我們將所有內(nèi)容都移到了 C++，以使其運行得更快。因此，我們越來越多地處于這樣一種情況：我們想要擁有這塊蛋糕(hackability)，同時吃掉它(性能)。 這與 Julia 講了近十年的故事不謀而合。Julia 的開發(fā)團隊一直認為： 一種語言必須能被編譯為高效的代碼，Julia 語言添加了一些限制(類型穩(wěn)定性)，以確保這一點;一種語言必須允許后續(xù)可擴展(多重派發(fā)，multiple dispatch)，Julia 語言圍繞 JIT 編譯組織生態(tài)系統(tǒng)使這一點成為可能。 上述兩個特性的結(jié)合為用戶提供了一個兼具動態(tài)語言靈活性(可擴展性)和靜態(tài)語言性能(高效代碼)的系統(tǒng)。 實際上這也是 PyTorch 一直追求的。我們已經(jīng)從 Julia 語言中獲得了很多靈感，例如 ATEN 的作者 Zachary DeVito 將 PyTorch 調(diào)度器中多重派發(fā)的設(shè)計靈感歸功于 Julia。 總體來說，我認為 Julia 可以作為一個非常強大的愿景，并且相比于 Julia，PyTorch 本身也有一些優(yōu)勢。例如 Julia 經(jīng)常稱用戶可以直接使用數(shù)學(xué)運算編寫循環(huán)并將其編譯為高效代碼，而我們不需要嘗試這樣做，因為我們的內(nèi)核非常復(fù)雜，在任何情況下都能實現(xiàn)最佳的低級別實現(xiàn)。 為什么不直接使用 Julia?因為我們既想要 Julia 的愿景，也想要 Python 強大的生態(tài)系統(tǒng)。這個方向具有巨大的潛力，但我們也有很多要做的工作和許多未解決的設(shè)計問題。我對接下來的發(fā)展感到非常興奮。 |
從這份回答我們可以看出，PyTorch 逐漸靠近 Julia 已成定勢，但鑒于 Python 在生態(tài)系統(tǒng)方面的絕對優(yōu)勢，下一代 PyTorch 不太可能直接用 Julia 編寫。
對于這一做法，有人表示非常不理解。ta 認為，以 PyTorch 的生態(tài)號召力，如果下一版他們直接宣布用 Julia，那么生態(tài)問題很快就會迎刃而解。
而且，長遠來看，轉(zhuǎn)向 Julia 似乎收益更高。
但也有人認為，PyTorch 的這種做法其實是為用戶著想，即把麻煩留給自己，把簡單留給用戶，這是一種非常值得肯定的態(tài)度。
如果你也是一位 PyTorch 用戶，你會贊成哪種做法呢?
參考鏈接：
- https://dev-discuss.pytorch.org/t/where-we-are-headed-and-why-it-looks-a-lot-like-julia-but-not-exactly-like-julia/276
- https://news.ycombinator.com/item?id=29354474
【本文是51CTO專欄機構(gòu)“機器之心”的原創(chuàng)譯文，微信公眾號“機器之心( id: almosthuman2014)”】
