為什么Python這么慢？
大數(shù)據(jù)文摘出品
編譯：jojo、Hope、張秋玥、CoolBoy
Python語言近年來人氣爆棚。它廣泛應(yīng)用于網(wǎng)絡(luò)開發(fā)運(yùn)營，數(shù)據(jù)科學(xué)，網(wǎng)絡(luò)開發(fā)，以及網(wǎng)絡(luò)安全問題中。
然而，Python在速度上完全沒有優(yōu)勢可言。
在速度上，Java如何同C，C++，C#或者Python相比較?答案幾乎完全取決于要運(yùn)行的應(yīng)用。在這個問題上，沒有***的評判標(biāo)準(zhǔn)，然而The Computer Language Benchmarks Game 是一個不錯的方法。
鏈接：http://benchmarksgame.alioth.debian.org
基于我對The Computer Language Benchmarks Game超過十年的觀察，相比于Java，C#，Go，JavaScript， C++等，Python是最慢的語言之一。其中包括了 JIT (C#， Java) 和 AOT (C， C++)編譯器，以及解釋型語言，例如JavaScript。
- 動態(tài)編譯：https://en.wikipedia.org/wiki/Just-in-time_compilation
- 靜態(tài)編譯：https://en.wikipedia.org/wiki/Ahead-of-time_compilation
注意：當(dāng)我提到“Python”時，我指的是CPython這個官方的解釋器。我也將在本文中提及其他的解釋器。
我想要回答這樣一個問題：當(dāng)運(yùn)行同一個程序時，為什么Python會 比其他語言慢2到10倍?為什么我們無法將它變得更快?
以下是最主要的原因：
- “它是GIL(Global Interpreter Lock全局解釋器鎖)”
- “它是解釋型語言而非編譯語言”
- “它是動態(tài)類型語言”
那么以上哪種原因?qū)π阅苡绊?**呢?
“它是全局解釋器鎖”
現(xiàn)代計(jì)算機(jī)的CPU通常是多核的，并且有些擁有多個處理器。為了充分利用多余的處理能力，操作系統(tǒng)定義了一種低級的結(jié)構(gòu)叫做線程：一個進(jìn)程(例如Chrome瀏覽器)可以產(chǎn)生多個線程并且指導(dǎo)內(nèi)部系統(tǒng)。
如果一個進(jìn)程是CPU密集型，那么其負(fù)載可以被多核同時處理，從而有效提高大多數(shù)應(yīng)用的速度。
當(dāng)我寫這篇文章時，我的Chrome瀏覽器同時擁有44個線程。注意，基于POSIX(比如MacOS和Linux)和Windows操作系統(tǒng)相比，線程的結(jié)構(gòu)和API是不同的。操作系統(tǒng)也會處理線程的調(diào)度問題。
如果你之前沒有做過多線程編程，你需要快速熟悉鎖的概念。區(qū)別于單線程進(jìn)程，你需要確保當(dāng)內(nèi)存中的變量被修改時，多線程不會同時試圖訪問或者改變同一個存儲地址。
當(dāng)CPython創(chuàng)建變量時，它會預(yù)先分配存儲空間，然后計(jì)算當(dāng)前變量的引用數(shù)目。這個概念被稱為引用計(jì)數(shù)。如果引用計(jì)數(shù)為零，那么它將從系統(tǒng)中釋放對應(yīng)存儲區(qū)域。
這就是為什么在CPython中創(chuàng)造“臨時”變量不會使應(yīng)用占用大量的存儲空間——尤其是當(dāng)應(yīng)用中使用了for循環(huán)這一類可能大量創(chuàng)建“臨時”變量的結(jié)構(gòu)時。
當(dāng)存在多個線程調(diào)用變量時，CPython如何鎖住引用計(jì)數(shù)成為了一個挑戰(zhàn)。而“全局解釋鎖”應(yīng)運(yùn)而生，它能夠謹(jǐn)慎控制線程的執(zhí)行。無論有多少的線程，解釋器每次只能執(zhí)行一個操作。
這對Python的性能意味著什么呢?
如果你的應(yīng)用基于單線程、單解釋器，那么討論速度這一點(diǎn)就毫無意義，因?yàn)槿サ鬐IL并不會影響代碼性能。
如果你想使用線程在單解釋器(Python 進(jìn)程)中實(shí)現(xiàn)并發(fā)，并且你的線程為IO密集型(例如網(wǎng)絡(luò)IO或磁盤IO)，你就會看到GIL爭用的結(jié)果。
該圖來自David Beazley的GIL可視化
如果你有一個網(wǎng)絡(luò)應(yīng)用(例如Django)并且使用WSGI，那么每一個對于你的網(wǎng)絡(luò)應(yīng)用的請求將是一個獨(dú)立的Python解釋器，因此每個請求只有一個鎖。因?yàn)镻ython解釋器啟動很慢，一些WSGI便集成了能夠使保持Python進(jìn)程的“守護(hù)進(jìn)程” 。
那么其他Python解釋器的速度又如何呢?
PyPy擁有GIL，通常比CPython快至少三倍。
Jython沒有GIL，因?yàn)樵贘ython中Python線程是用Java線程表示的，這得益于JVM內(nèi)存管理系統(tǒng)。
JavaScript是如何做到這一點(diǎn)的呢?
- 首先，所有的Javascript引擎使用標(biāo)記加清除的垃圾收集系統(tǒng)，而之前提到GIL的基本訴求是CPython的存儲管理算法。
- JavaScript沒有GIL，但因?yàn)樗菃尉€程的，所以也并不需要GIL。
- JavaScript通過事件循環(huán)和承諾/回調(diào)模式來實(shí)現(xiàn)異步編程的并發(fā)。Python有與異步事件循環(huán)相似的過程。
“因?yàn)樗墙忉屝驼Z言”
我經(jīng)常聽到這句話。我覺得這只是對于CPython實(shí)際運(yùn)行方式的一種簡單解釋。如果你在終端中輸入python myscript.py，那么CPython將對這段代碼開始一系列的讀取，詞法分析，解析，編譯，解釋和運(yùn)行。
這個過程中的重要步驟是在編譯階段創(chuàng)建一個.pyc 文件，這個字節(jié)碼序列將被寫入Python3下__pycache__/ 路徑中的一個文件(對于Python2，文件路徑相同)。這個步驟不僅僅應(yīng)用于腳本文件，也應(yīng)用于所有導(dǎo)入的代碼，包括第三方模塊。
所以大多時候(除非你寫的代碼只運(yùn)行一次)，Python是在解釋字節(jié)碼并且本地執(zhí)行。下面我們將Java和C#.NET相比較：
Java編譯成一門“中間語言”，然后Java虛擬機(jī)讀取字節(jié)代碼并即時編譯為機(jī)器代碼。.NET的通用中間語言(CIL)是一樣的，它的通用語言運(yùn)行時間(CLR)也采用即時編譯的方法轉(zhuǎn)化為機(jī)器代碼。
那么，如果Python用的是和Java和C#一樣的虛擬機(jī)和某種字節(jié)代碼，為什么在基準(zhǔn)測試中它卻慢得多?首先，.NET和Java是采用JIT編譯的。
JIT，又稱即時編譯，需要一種中間語言來把代碼進(jìn)行分塊(或者叫數(shù)據(jù)幀)。預(yù)編譯(AOT, Ahead of Time)器的設(shè)計(jì)保證了CPU能夠在交互之前理解代碼中的每一行。
JIT本身不會使執(zhí)行速度更快，因?yàn)樗匀粓?zhí)行相同的字節(jié)碼序列。但是，JIT允許在運(yùn)行時進(jìn)行優(yōu)化。好的JIT優(yōu)化器可以檢測哪些部分執(zhí)行次數(shù)比較多，這些部分被稱為“熱點(diǎn)”。然后，它將用更高效的代碼替換它們，完成優(yōu)化。
這就意味著當(dāng)計(jì)算機(jī)應(yīng)用程序需要重復(fù)做一件事情的時候，它就會更加地快。另外，我們要知道Java和C#是強(qiáng)類型語言(變量需要預(yù)定義)，因此優(yōu)化器可以對代碼做更多的假設(shè)。
PyPy使用即時編譯器，并且前文也有提到它比CPython更快。這篇關(guān)于基準(zhǔn)測試的文章介紹得更為詳細(xì)——什么版本的Python最快?
鏈接：
https://hackernoon.com/which-is-the-fastest-version-of-python-2ae7c61a6b2b
那么，為什么CPython不使用即時編譯器呢?
JIT存在一些缺點(diǎn)：其中一個是啟動時間。CPython啟動時間已經(jīng)相對較慢，PyPy比CPython還要慢2-3倍。眾所周知，Java虛擬機(jī)的啟動速度很慢。為了解決這個問題，.NET CLR在系統(tǒng)啟動的時候就開始運(yùn)行，但CLR的開發(fā)人員還開發(fā)了專門運(yùn)行CLR的操作系統(tǒng)來加快它。
如果你有一個運(yùn)行時間很長的Python進(jìn)程，并且其代碼可以被優(yōu)化(因?yàn)樗拔乃龅?ldquo;熱點(diǎn)”)，那么JIT就能夠起到很大作用。
但是，CPython適用于各類應(yīng)用。因此，如果你使用Python開發(fā)命令行應(yīng)用程序，每次調(diào)用CLI時都必須等待JIT啟動，這將非常緩慢。
CPython必須盡量多地嘗試不同的案例以保證通用性，而把JIT插入到CPython中可能會讓這個項(xiàng)目停滯不前。
如果你想要借助JIT的力量，而且你的工作量還比較大，那么使用PyPy吧。
“因?yàn)樗且粋€動態(tài)類型語言”
在靜態(tài)類型語言中，定義變量時必須聲明類型。C, C++, Java, C#, Go都是這種語言。
在動態(tài)類型語言中，類型的概念依舊存在，但是這個變量的類型是動態(tài)變化的。
- a = 1
- a = "foo"
在上面這個例子中，Python創(chuàng)建第二個變量的時候用了同樣的名字，但是變量類型是str(字符型)，這樣就對先前在內(nèi)存中給a分配的空間進(jìn)行了釋放和再分配。
靜態(tài)類型語言的這種設(shè)計(jì)并不是為了麻煩大家——它們是按照CPU的運(yùn)行方式設(shè)計(jì)的。如果最終需要將所有內(nèi)容都轉(zhuǎn)化為簡單的二進(jìn)制操作，那就必須將對象和類型轉(zhuǎn)換為低級數(shù)據(jù)結(jié)構(gòu)。
Python自動完成了這個過程，我們看不見，也沒必要看見。
不必聲明類型不是使Python變慢的原因。Python語言的設(shè)計(jì)使我們幾乎可以創(chuàng)建任何動態(tài)變量。我們可以在運(yùn)行時替換對象中的方法，也可以胡亂地把低級系統(tǒng)調(diào)用賦給一個值。幾乎怎么修改都可以。
正是這種設(shè)計(jì)使得優(yōu)化Python變得異常困難。
為了闡明我的觀點(diǎn)，我將使用一個MacOS中的應(yīng)用。它是一個名為Dtrace的系統(tǒng)調(diào)用跟蹤工具。CPython發(fā)行版沒有內(nèi)置DTrace，因此你必須重新編譯CPython。以下演示中使用3.6.6版本。
- wget https://github.com/python/cpython/archive/v3.6.6.zip
- unzip v3.6.6.zip
- cd v3.6.6
- ./configure --with-dtrace
- make
現(xiàn)在python.exe將在整條代碼中使用Dtrace跟蹤器。Paul Ross就Dtrace做了一篇很棒的短演講。 你可以下載Python的DTrace啟動文件來測試函數(shù)調(diào)用、執(zhí)行時間、CPU時間、系統(tǒng)調(diào)用等各種有意思的事情。例如：
- sudo dtrace -s toolkit/<tracer>.d -c ‘../cpython/python.exe script.py’
DTrace啟動文件：https://github.com/paulross/dtrace-py/tree/master/toolkit
演講鏈接：https://github.com/paulross/dtrace-py#the-lightning-talk
py_callflow跟蹤器顯示應(yīng)用程序中的所有函數(shù)調(diào)用：
因此，是Python的動態(tài)類型讓它變慢的嗎?
- 比較和轉(zhuǎn)換類型是耗時的，因?yàn)槊看巫x取、寫入變量或引用變量類型時都會進(jìn)行檢查
- 很難優(yōu)化一種如此動態(tài)的語言。其他語言之所以那么快是因?yàn)樗麄儬奚艘欢ǖ撵`活性，從而提高了性能。
- 了解一下Cython，它結(jié)合了C-Static類型和Python來優(yōu)化已知類型的代碼，可以提供84倍速度的性能提升。
結(jié)論
Python的緩慢主要是由于它動態(tài)和多用途的特點(diǎn)。它可以用于解決幾乎所有問題，但是更加優(yōu)化而快捷的替代方案可能存在。
但是，有一些方法可以通過利用異步計(jì)算，理解分析工具，以及考慮使用多個解釋器來優(yōu)化Python應(yīng)用程序。
對于有些啟動時間相對不重要，并且即時編譯器(JIT)可以提高效率的應(yīng)用，可以考慮使用PyPy。
對于性能優(yōu)先并且有更多靜態(tài)變量的代碼部分，請考慮使用Cython。
相關(guān)報道：https://hackernoon.com/why-is-python-so-slow-e5074b6fe55b
【本文是51CTO專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文，微信公眾號“大數(shù)據(jù)文摘（ id: BigDataDigest）”】
