一行代碼搞定Python逐行內(nèi)存消耗分析
很多情況下,我們需要對(duì)已經(jīng)寫(xiě)好的Python程序的內(nèi)存消耗進(jìn)行優(yōu)化,但是一段代碼在運(yùn)行過(guò)程中的內(nèi)存消耗是動(dòng)態(tài)變化的,這種時(shí)候就可以用到memory_profiler這個(gè)第三方庫(kù),它可以幫助我們分析記錄Python腳本中,執(zhí)行到每一行時(shí),內(nèi)存的消耗及波動(dòng)變化情況。

memory_profiler的使用方法超級(jí)簡(jiǎn)單,使用pip install memory_profiler完成安裝后,只需要從memory_profiler導(dǎo)入profile并作為要分析的目標(biāo)函數(shù)的裝飾器即可,譬如下面這個(gè)例子:
demo.py
import numpy as np
from memory_profiler import profile
@profile
def demo():
a = np.random.rand(10000000)
b = np.random.rand(10000000)
a_ = a[a < b]
b_ = b[a < b]
del a, b
return a_, b_
if __name__ == '__main__':
demo()
接著在終端執(zhí)行python demo.py,稍事等待后,就會(huì)看到打印出的分析結(jié)果報(bào)告(這里我是在jupyter lab里執(zhí)行的終端命令):

其中Line #列記錄了分析的各行代碼具體行位置,Mem usage列記錄了當(dāng)程序執(zhí)行到該行時(shí),當(dāng)前進(jìn)程占用內(nèi)存的量,Increment記錄了當(dāng)前行相比上一行內(nèi)存消耗的變化量,Occurrences記錄了當(dāng)前行的執(zhí)行次數(shù)(循環(huán)、列表推導(dǎo)等代碼行會(huì)記作多次),Line Contents列則記錄了具體對(duì)應(yīng)的行代碼。
通過(guò)這樣細(xì)致的內(nèi)存分析結(jié)果,我們就能有的放矢地優(yōu)化我們的代碼啦~
































