程序運(yùn)行時(shí),是怎么找到動(dòng)態(tài)庫(kù)的?
我們隨便開發(fā)一個(gè)C/C++程序,都很大程度不可避免的需要用到動(dòng)態(tài)庫(kù):
- // 來(lái)源:公眾號(hào)【編程珠璣】
- #include <stdio.h>
- int main()
- {
- printf("hello,編程珠璣\n");
- return 0;
- }
編譯并查看使用到的動(dòng)態(tài)庫(kù):
- $ gcc -o main main.c
- $ ldd main
- linux-vdso.so.1 (0x00007ffdf8fdf000)
- libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f1f8535e000)
- /lib64/ld-linux-x86-64.so.2 (0x00007f1f85951000)
從ldd命令的結(jié)果我們可以看到main程序依賴了哪些動(dòng)態(tài)庫(kù),并且在哪個(gè)路徑。那么你有沒有想過(guò),動(dòng)態(tài)庫(kù)的路徑是怎么找到的,查找順序又是怎樣的呢?
準(zhǔn)備動(dòng)態(tài)庫(kù)
在此之前如果你還沒有對(duì)動(dòng)態(tài)庫(kù)有一個(gè)基本的了解的話,建議你閱讀《淺談靜態(tài)庫(kù)和動(dòng)態(tài)庫(kù)》或其他相關(guān)資料。為了說(shuō)明后面的問(wèn)題,這里我們先創(chuàng)建一個(gè)簡(jiǎn)單的動(dòng)態(tài)庫(kù),你也可以參考《手把手教你制作動(dòng)態(tài)庫(kù)》:
- // test.c
- //來(lái)源:公眾號(hào)【編程珠璣】
- #include <stdio.h>
- #include "test.h"
- #include "test1.h"
- void test()
- {
- printf("I am test;hello,編程珠璣\n");
- test1();
- }
- // test.h
- void test();
- //test1.c
- #include <stdio.h>
- #include "test1.h"
- void test1()
- {
- printf("test1,needed by test\n");
- }
- // test1.h
- void test1();
分別制作動(dòng)態(tài)庫(kù)libtest.so和libtest1.so,這在后面的示例中會(huì)用到:
- $ gcc test1.c -fPIC -shared -o libtest1.so
- $ gcc test.c -fPIC -shared -o libtest.so -L. -ltest1
這樣你在當(dāng)前目錄下就會(huì)看到有一個(gè)libtest.so和libtest1.so文件生成了,其中l(wèi)itest.so依賴libtest.so
注意,由于libtest.so依賴libtest1.so,這里用-L指定了要鏈接的test1的路徑,因此我們看到:
- $ ldd libtest.so
- linux-vdso.so.1 (0x00007ffd1bbca000)
- libtest1.so => not found
- libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f9f1d0ae000)
- /lib64/ld-linux-x86-64.so.2 (0x00007f9f1d6a1000)
從這里可以看出libtest是依賴libtest1庫(kù)的,但是特別注意到,libtest1.so指向的是not found,這會(huì)有什么影響嗎?我們后面就會(huì)看到。
鏈接時(shí)查找路徑
我們都知道,在編譯成可執(zhí)行文件前,鏈接器鏈接動(dòng)態(tài)庫(kù)也是需要查找動(dòng)態(tài)庫(kù)路徑的,否則怎么鏈接上指定的動(dòng)態(tài)庫(kù)呢?那么這個(gè)順序又是怎樣的呢?
首先會(huì)查找的會(huì)是編譯時(shí)鏈接的路徑。修改前面的main.c,讓它調(diào)用libtest.so中的test函數(shù):
- // 來(lái)源:公眾號(hào)【編程珠璣】
- #include <stdio.h>
- #include "test.h"
- int main()
- {
- test(); // 調(diào)用libtest.so中的test函數(shù)
- return 0;
- }
編譯鏈接:
- $ gcc -o main main.c -I ./ -L./ -ltest -ltest1
完美編譯過(guò)。除此之外,如果我們把libtest.so和libtest1.so都移到/usr/lib下面,我們發(fā)現(xiàn),即便不用-L也能編譯過(guò)了:
- $ gcc -o main main.c -I ./ -ltest -ltest1
這里需要說(shuō)明的是,我們通過(guò)-L./來(lái)指定搜索庫(kù)的路徑,由于libtest.so依賴libtest1.so,因此在編譯鏈接時(shí),也需要鏈接上test1。
小結(jié)
從上面的內(nèi)容可以看到,在鏈接時(shí),我們通過(guò)-L參數(shù)搜索要鏈接的庫(kù)路徑,但是這個(gè)路徑信息不會(huì)寫到ELF文件中,因此你會(huì)通過(guò)ldd命令看到not found,而通過(guò)-rpath可以指定鏈接時(shí)的搜索路徑,這個(gè)信息會(huì)寫入到ELF文件中,最終看到的結(jié)果是,由于libtest.so依賴libtest1.so,所以其他程序依賴libtest.so時(shí),會(huì)自動(dòng)從寫入ELF的rpath中搜索它依賴的其他庫(kù),因此只需要鏈接libtest即可,例如:
在制作庫(kù)libtest1.so時(shí),加上-rpath-link選項(xiàng):
- $ gcc test.c -fPIC -shared -o libtest.so -L. -ltest1 -Wl,-rpath-link $(pwd)
在編譯main的時(shí)候,就不需要特意指定鏈接libtest1.so
- $ gcc -o main main.c -L ./ -ltest
只需要鏈接libtest.so,其依賴的libtest1.so也鏈接進(jìn)來(lái)了。
當(dāng)然了,如果-L指定的路徑?jīng)]有呢,它還會(huì)去查找其他地方,否則依賴的系統(tǒng)庫(kù)怎么找到呢?總結(jié)大致順序如下:
- -L指定鏈接路徑
- 對(duì)于依賴庫(kù)中依賴的搜索順序通過(guò)-rpath-link或-rpath選項(xiàng)查找(后面會(huì)提到)
- gcc默認(rèn)鏈接路徑(gcc --print-search-dir | grep libraries 查看)
- 鏈接器配置的查找路徑(ld -verbose | grep SEARCH_DIR查看)
針對(duì)具體的系統(tǒng)或鏈接器,可能有些差異,但是大致如此。
運(yùn)行時(shí)查找路徑
雖然前面編譯成功了,但是我們運(yùn)行看看,發(fā)現(xiàn)運(yùn)行失敗了。
- $ ./main
- ./main: error while loading shared libraries: libtest.so: cannot open shared object file: No such file or directory
其實(shí)我們用ldd命令看一下也能看到:
- linux-vdso.so.1 (0x00007ffcd566e000)
- libtest.so => not found
- libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f356d1f6000)
- /lib64/ld-linux-x86-64.so.2 (0x00007f356d7e9000)
LD_PRELOAD環(huán)境變量
這個(gè)環(huán)境變量在介紹《性能優(yōu)化-使用高效內(nèi)存分配器》中的時(shí)候,也有提到,用來(lái)做測(cè)試非常方便,同樣的,這種方式也最好僅僅只是用于測(cè)試,因?yàn)樗膬?yōu)先級(jí)非常高,并且影響全局。使用也很簡(jiǎn)單:
- $ export LD_PRELOAD=./libtest.so
- $ ./main
為了避免影響后面的驗(yàn)證,這里取消設(shè)置該環(huán)境變量:
- unset LD_PREALOD
查找rpath路徑
上面的情況是找不到動(dòng)態(tài)庫(kù),那么它首先會(huì)去rpath指定路徑去查找,這需要在編譯時(shí)指定:
- $ gcc test.c -fPIC -shared -o libtest.so -L. -ltest1 -Wl,-rpath $(pwd)
- $ gcc -o main main.c -L . -ltest -Wl,-rpath $(pwd)
- $ ./main
- I am test;hello,編程珠璣
- test1,needed by test
也就是說(shuō),如果我們編譯時(shí)指定了路徑,就可以找到了,但是這些信息被寫入到了ELF文件中。
LD_LIBRARY_PATH環(huán)境變量
另外也可以通過(guò)這個(gè)環(huán)境變量來(lái)設(shè)置要搜索庫(kù)的路徑。
- $ gcc -o main main.c -L . -ltest
- $ export LD_LIBRARY_PATH=./
- $ ./main
這樣運(yùn)行也是沒有問(wèn)題的。
同樣,為了避免對(duì)后面測(cè)試產(chǎn)生影響,取消設(shè)置該環(huán)境變量:
- unset LD_LIBRARY_PATH
/etc/ld.so.conf中的路徑
我的機(jī)器上這個(gè)文件的內(nèi)容如下:
- $ cat /etc/ld.so.conf
- include /etc/ld.so.conf.d/*.conf
- $ ls /etc/ld.so.conf.d/
- fakeroot-x86_64-linux-gnu.conf libc.conf x86_64-linux-gnu.conf
所以它實(shí)際指的是/etc/ld.so.conf.d/目錄下所有conf路徑包含路徑,打開其中一個(gè)libc.conf,它里面包含的路徑為:
- $ /usr/local/lib
既然如此,我們把前面的libtest.so復(fù)制到該目錄下(可能需要sudo權(quán)限):
- $ sudo cp libtest.so /usr/local/lib
- $ sudo ldconfig
- $ ./main
- I am test;hello,編程珠璣
- test1,needed by test
注意,這里拷貝完成后,需要執(zhí)行l(wèi)dconfig,它會(huì)更新相應(yīng)的共享庫(kù),以便可執(zhí)行程序能夠找到。實(shí)際上,執(zhí)行完成后,你確實(shí)就能在/etc/ld.so.cache文件中找到:
- $ grep -a libtest.so /etc/ld.so.cache
同樣,為了影響后面測(cè)試,記得刪除:
- rm /usr/local/lib/libtest.so
實(shí)際上這里是先從/etc/ld.so.cache中的路徑查找,然后再?gòu)膌d.so.conf的路徑中查找。后面我們可以通過(guò)命令看到。
/usr/lib,/lib/
當(dāng)然了,如果以上路徑都沒有,最終還會(huì)在lib或/usr/lib下找,為了驗(yàn)證,我們將庫(kù)拷貝到/lib目錄下
- $ cp libtest.so /lib
- $ ./main
- I am test;hello,編程珠璣
- test1,needed by test
同樣能正常運(yùn)行。
小結(jié)
小結(jié)一下,動(dòng)態(tài)庫(kù)的搜索順序如下:
- LD_PRELOAD環(huán)境變量指定庫(kù)路徑
- -rpath鏈接時(shí)指定路徑
- LD_LIBRARY_PATH環(huán)境變量設(shè)置路徑
- /etc/ld.so.conf配置文件指定路徑
- 默認(rèn)共享庫(kù)路徑,/usr/lib,lib
以上這些查找路徑你很容易來(lái)驗(yàn)證它們的優(yōu)先級(jí),簡(jiǎn)單的做法就是這幾個(gè)位置分別放置同名不同作用的庫(kù),來(lái)看看它到底先使用哪個(gè)路徑下的庫(kù),可自行嘗試。
LD_DEBUG
這個(gè)環(huán)境通常用來(lái)調(diào)試。例如,查看整個(gè)裝載過(guò)程:
- $ LD_DEBUG=files ./main
或者查看依賴的庫(kù)的查找過(guò)程:
- $ LD_DEBUG=libs ./main
- 3557: find library=libtest.so [0]; searching
- 3557: search cache=/etc/ld.so.cache
- 3557: trying file=/usr/local/lib/libtest.so
另外還可以顯示符號(hào)的查找過(guò)程:
- $ LD_DEBUG=symbols ./main
總結(jié)
了解動(dòng)態(tài)庫(kù)的搜索路徑,可以在開發(fā)中很好的幫助你定位找不到庫(kù)的問(wèn)題,同時(shí)LD_DEBUG環(huán)境變量也能夠很好的幫助你調(diào)試,例如查看庫(kù)搜索的路徑,顯示符號(hào)的查找過(guò)程等等。
雖然程序運(yùn)行能夠有多種途徑獲取動(dòng)態(tài)庫(kù)路徑,但是并不是每種方式都合適,有的方式甚至完全不該用,但這超出了本文的討論范圍了。有興趣的也可以點(diǎn)擊閱文原文,查看《Why LD_LIBRARY_PATH is bad》