Linux中級(jí)—Libcurl庫(kù)訪問(wèn)百度
libcurl簡(jiǎn)介:
libcurl是一個(gè)跨平臺(tái)的網(wǎng)絡(luò)協(xié)議庫(kù),支持http, https, ftp, gopher, telnet, dict, file, 和ldap 協(xié)議。libcurl同樣支持HTTPS證書(shū)授權(quán),HTTP POST, HTTP PUT, FTP 上傳, HTTP基本表單上傳,代理,cookies,和用戶(hù)認(rèn)證。libcurl的官網(wǎng) 、庫(kù)下載。這種庫(kù)使用的時(shí)候就像使用wiringPi庫(kù)一樣,編寫(xiě)完代碼需要鏈接這個(gè)庫(kù),所以要先下載這個(gè)庫(kù)。
libcurl等第三方庫(kù)的通用編譯方法:
- 首先進(jìn)入libcurl庫(kù)得下載界面,點(diǎn)擊下載libcurl庫(kù)。
- 下載完成后通過(guò)共享文件夾或者FileZill或者直接拖拽將壓縮包移動(dòng)到虛擬機(jī)。我這里將壓縮包拖拽至虛擬機(jī)的共享文件夾,然后使用指令:cp /mnt/hgfs/sharefile/curl-7.71.1.tar.bz2 .將壓縮包拷貝到我新建的httpHandler這個(gè)文件夾里面,然后使用指令:tar vxf curl-7.71.1.tar.bz2解壓這個(gè)文件夾,解壓后進(jìn)入文件夾,如下圖所示(之后用到的開(kāi)源的庫(kù)基本都是這樣的,內(nèi)容形式差不多)。
- 那么如何使用這種開(kāi)源的壓縮包呢?這個(gè)文件夾下面有一個(gè)README文件夾,里面有對(duì)庫(kù)的一些說(shuō)明,如下圖所示,由下圖可知,我們使用libcurl庫(kù)時(shí)可以查看curl.1手冊(cè)或者M(jìn)ANUAL document這個(gè)手冊(cè)。
- 這里我用有道翻譯將這些英文進(jìn)行了簡(jiǎn)單地翻譯: 自述:Curl是一個(gè)命令行工具,用于傳輸由URL(網(wǎng)址)指定的數(shù)據(jù)語(yǔ)法。通過(guò)閱讀curl了解如何使用curl。手冊(cè)頁(yè)或手冊(cè)文檔。通過(guò)閱讀install了解如何安裝Curl文檔。Libcurl是curl用來(lái)完成其工作的庫(kù)。它很容易可被您的軟件使用。閱讀libcurl。3手冊(cè)頁(yè)學(xué)習(xí)如何!你可以在FAQ文檔中找到最常見(jiàn)問(wèn)題的答案。研究copy文件中的分發(fā)條款和類(lèi)似條款。如果你分配Curl二進(jìn)制文件或其他涉及l(fā)ibcurl的二進(jìn)制文件,您可能會(huì)喜歡LICENSE-MIXING文檔。所有這些文檔以及更多文檔都可以在docs/目錄中找到。聯(lián)系:如果您有問(wèn)題、疑問(wèn)、想法或建議,請(qǐng)與我們聯(lián)系通過(guò)郵寄到一個(gè)合適的郵寄名單。參見(jiàn)http//curl.haxx.se/mail/該項(xiàng)目的所有貢獻(xiàn)者都列在THANKS文檔中。網(wǎng)站:訪問(wèn)curl網(wǎng)站獲取最新消息和下載:https://curl.haxx.se/,GIT:要從GIT服務(wù)器上下載最新的源代碼,請(qǐng)這樣做:git克隆https://github.com/curl/curl.git,(您將創(chuàng)建一個(gè)名為curl的目錄,并填充源代碼)。安全問(wèn)題:通過(guò)我們的HackerOne頁(yè)面報(bào)告可疑的安全問(wèn)題,而不是在公共場(chǎng)合!https://hackerone.com/curl請(qǐng)注意:Curl包含的源代碼是版權(quán)所有?1998, 1999。終于Tekniska Hogskolan。在此附上此通知是為了遵守分布條件。
- 通過(guò)閱讀README我們并沒(méi)有找到如何使用這個(gè)庫(kù),然后進(jìn)入到docs這個(gè)文件夾,這個(gè)文件夾是對(duì)RADME的一個(gè)補(bǔ)充,在這個(gè)文件夾下面我們會(huì)看到README里面提到的curl1.1這個(gè)API相關(guān)的手冊(cè),還有INSTALL(**==這個(gè)一定要看,有時(shí)候他會(huì)和README都放在解壓后的文件夾里面,有時(shí)候會(huì)放在docs里面==**)。
- 打開(kāi)INSTALL后看到 提示說(shuō)如何編譯(compile)這個(gè)庫(kù)請(qǐng)看INSTALL.md這個(gè)文件,打開(kāi)這個(gè)文件后,里面有介紹如何安裝編譯后的libcurl庫(kù),然后下面可以看到在UNIX環(huán)境下面如何進(jìn)行安裝 如下圖所示,**./config就是配置的一個(gè)東西,就是將庫(kù)安裝到哪里,若后面不跟任何的參數(shù),就是默認(rèn)安裝(可能安裝在/usr/lib或者/usr/include下面)。** ==make就是編譯的意思,make install就是將編譯后的東西拷貝到根目錄的相關(guān)文件夾下面。如果默認(rèn)安裝的話可能需要root權(quán)限==因?yàn)椋耗J(rèn)可能安裝在/usr/lib或者/usr/include下面,而訪問(wèn)這兩個(gè)文件夾需要root權(quán)限。
- 當(dāng)然一般不安裝在默認(rèn)的路徑下面,可以通過(guò)下圖方式指定安裝路徑。
- 通過(guò)指令:./configure --help可以查看configure都支持哪些功能參數(shù),其中下面的HOST這個(gè)指令可以指定交叉編譯的編譯器(若不指定交叉編譯工具默認(rèn)使用gcc編譯工具)。
- 通過(guò)以下指令:./configure --prefix=$PWD/_install進(jìn)行指定位置的安裝,安裝的時(shí)候會(huì)生成一個(gè)_install文件夾,庫(kù)將會(huì)被安裝到這個(gè)文件夾下面,安裝過(guò)程中沒(méi)有出現(xiàn)任何error表示安裝成功,然后使用指令:make進(jìn)行編譯,然后使用使用指令:make install進(jìn)行拷貝,然后會(huì)發(fā)現(xiàn)當(dāng)前文件夾下面生成了一個(gè)_install文件夾,然后進(jìn)入到該文件夾,如下圖所示:
調(diào)用libcurl庫(kù)訪問(wèn)百度
調(diào)用libcurl庫(kù)訪問(wèn)百度主頁(yè)并將數(shù)據(jù)保存到文件中, 程序代碼:
#include <stdio.h>
#include <curl/curl.h>
#define true 1
#define false 0
typedef unsigned int bool;
bool getUrl(char *filename)
{
CURL *curl;
CURLcode res;
FILE *fp;
if ((fp = fopen(filename, "w")) == NULL) // 返回結(jié)果用文件存儲(chǔ)
return false;
struct curl_slist *headers = NULL;
headers = curl_slist_append(headers, "Accept: Agent-007");
curl = curl_easy_init(); // 初始化
if (curl)
{
//curl_easy_setopt(curl, CURLOPT_PROXY, "10.99.60.201:8080");// 代理
curl_easy_setopt(curl, CURLOPT_HTTPHEADER, headers);// 改協(xié)議頭
curl_easy_setopt(curl, CURLOPT_URL,"http://www.baidu.com");
curl_easy_setopt(curl, CURLOPT_WRITEDATA, fp); //將返回的http頭輸出到fp指向的文件
curl_easy_setopt(curl, CURLOPT_HEADERDATA, fp); //將返回的html主體數(shù)據(jù)輸出到fp指向的文件
res = curl_easy_perform(curl); // 執(zhí)行
if (res != 0) {
curl_slist_free_all(headers);
curl_easy_cleanup(curl);
}
fclose(fp);
return true;
}
}
bool postUrl(char *filename)
{
CURL *curl;
CURLcode res;
FILE *fp;
if ((fp = fopen(filename, "w")) == NULL)
return false;
curl = curl_easy_init();
if (curl)
{
curl_easy_setopt(curl, CURLOPT_COOKIEFILE, "/tmp/cookie.txt"); // 指定cookie文件
curl_easy_setopt(curl, CURLOPT_POSTFIELDS, "&logintype=uid&u=xieyan&psw=xxx86"); // 指定post內(nèi)容
//curl_easy_setopt(curl, CURLOPT_PROXY, "10.99.60.201:8080");
curl_easy_setopt(curl, CURLOPT_URL, " http://mail.sina.com.cn/cgi-bin/login.cgi "); // 指定url
curl_easy_setopt(curl, CURLOPT_WRITEDATA, fp);
res = curl_easy_perform(curl);
curl_easy_cleanup(curl);
}
fclose(fp);
return true;
}
int main(void)
{
getUrl("/tmp/get.html");
postUrl("/tmp/post.html");
}
大概解讀代碼: 要用一個(gè)是getUrl,一個(gè)是postUrl,用get跟post兩種方法來(lái)請(qǐng)求的一個(gè)網(wǎng)頁(yè)。 getUrl,我們來(lái)看一下,是自己封裝的這個(gè)函數(shù),fopen這個(gè)函數(shù)去打開(kāi)了一個(gè)文件,放在fp這個(gè)流里面。然后curl_easy_init去做初始化,去初始化我們的curl引擎,初始化成功以后curl_easy_setopt去設(shè)置curl相關(guān)的項(xiàng), 包括我們要訪問(wèn)的IP地址等等,還有一個(gè)CURLOPT_WRITEDATA。訪問(wèn)成功數(shù)據(jù)返回以后呢會(huì)把數(shù)據(jù)流導(dǎo)入到這個(gè)filename這個(gè)文件里面,那filename文件是哪里呢?在/tmp/get.html。這文件如果沒(méi)有的話,他這邊fp = fopen(filename, "w")應(yīng)該會(huì)創(chuàng)建啊,去回顧一下文件相關(guān)的操作。然后將返回的 html主體數(shù)據(jù)輸出到fp指向的文件 ,**百度的訪問(wèn)的所有結(jié)果往文件里面去寫(xiě)**,然后curl_easy_perform執(zhí)行就是在訪問(wèn)百度,如果res != 0,這個(gè)res不等于零是啥意思呢?我們?nèi)セ仡櫼幌轮疤岬降倪@個(gè)進(jìn)行http請(qǐng)求以后的一個(gè)返回值,如果請(qǐng)求成功以后啊,我們?nèi)メ尫胚@相關(guān)的curl的這個(gè)句柄。并且關(guān)閉這個(gè)文件,return true;訪問(wèn)成功,這個(gè)是相關(guān)的步驟。
- 使用指令: gcc demo1.c -I ./curl-7.71.1/_install/include/ -L./curl-7.71.1/_install/lib/ -lcurl進(jìn)行編譯,**-I是指定頭文件的查找路徑,-L是指定庫(kù)文件的查找路徑,同時(shí)還要-l curl,編譯后的執(zhí)行文件在執(zhí)行的時(shí)候出現(xiàn)以下圖中錯(cuò)誤: 因?yàn)?/strong>在程序執(zhí)行的時(shí)候,默認(rèn)去/usr/lib去找?guī)?*,然而沒(méi)有找到,所以我們要設(shè)置動(dòng)態(tài)庫(kù)的環(huán)境遍變量:使用指令:export LD_LIBRARY_PATH=庫(kù)的路徑,這種方法臨時(shí)有效,永久生效的環(huán)境變量設(shè)置,編輯/etc/profile即可。也可以修改工作目錄下的.bashrc文件。 linux動(dòng)態(tài)庫(kù),靜態(tài)庫(kù)。
通過(guò)以上設(shè)置然后再執(zhí)行程序:可以看到/tmp/get.html這個(gè)文件夾里面有從百度網(wǎng)頁(yè)獲取的html代碼:
libcurl庫(kù)函數(shù)介紹:
curl_global_init(long flags)函數(shù):
libcurl的使用(其實(shí)和socket編程時(shí)一樣,都需要一定的步驟):
調(diào)用curl_global_init()初始化libcurl,(就像初始化套接字)。
調(diào)用curl_easy_init()函數(shù)得到 easy interface型指針(這個(gè)指針用來(lái)各種配置)。
調(diào)用curl_easy_setopt()設(shè)置傳輸選項(xiàng)(通過(guò)調(diào)curl_easy_setopt這個(gè)函數(shù)來(lái)對(duì)指針進(jìn)行各種配置,比如:請(qǐng)求的方式)。
根據(jù)curl_easy_setopt()設(shè)置的傳輸選項(xiàng),實(shí)現(xiàn)回調(diào)函數(shù)以完成用戶(hù)特定任務(wù)。
調(diào)用curl_easy_perform()函數(shù)進(jìn)行訪問(wèn)請(qǐng)求。
調(diào)用curl_easy_cleanup()釋放內(nèi)存。
函數(shù)簡(jiǎn)介
CURLcode curl_global_init(long flags) 功能:初始化libcurl 這個(gè)函數(shù)只能用一次。(其實(shí)在調(diào)用curl_global_cleanup 函數(shù)后仍然可再用) 如果這個(gè)函數(shù)在curl_easy_init函數(shù)調(diào)用時(shí)還沒(méi)調(diào)用,它將由libcurl庫(kù)自動(dòng)調(diào)用 所以多線程下最好主動(dòng)調(diào)用該函數(shù)以防止在線程中curl_easy_init時(shí)多次調(diào)用。
注意:雖然libcurl是線程安全的,但curl_global_init是不能保證線程安全的, 所以不要在每個(gè)線程中都調(diào)用curl_global_init,應(yīng)該將該函數(shù)的調(diào)用放在主線程中。
參數(shù):flags
CURL_GLOBAL_ALL //初始化所有的可能的調(diào)用。
CURL_GLOBAL_SSL //初始化支持 安全套接字層。
CURL_GLOBAL_WIN32 //初始化win32套接字庫(kù)。
CURL_GLOBAL_NOTHING //沒(méi)有額外的初始化。
- void curl_global_cleanup(void)函數(shù): 結(jié)束libcurl使用的時(shí)候,用來(lái)對(duì)curl_global_init做的工作清理。類(lèi)似于close的函數(shù)。注意:雖然libcurl是線程安全的,但curl_global_cleanup是不能保證線程安全的,所以不要在每個(gè)線程中都調(diào)用curl_global_init,應(yīng)該將該函數(shù)的調(diào)用放在主線程中。
- char * curl_version( )函數(shù):打印當(dāng)前l(fā)ibcurl庫(kù)的版本。
- CURL * curl_easy_init( )函數(shù): curl_easy_init用來(lái)初始化一個(gè)CURL的指針(有些像返回FILE類(lèi)型的指針一樣).相應(yīng)的在調(diào)用結(jié)束時(shí)要用url_easy_cleanup函數(shù)清理.一般curl_easy_init意味著一個(gè)會(huì)話的開(kāi)始.它會(huì)返回一個(gè)easy_handle(CURL*對(duì)象), 一般都用在easy系列的函數(shù)中.
- void curl_easy_cleanup(CURL * handle) 函數(shù): 這個(gè)調(diào)用用來(lái)結(jié)束一個(gè)會(huì)話.與curl_easy_init配合著用. 參數(shù): CURL類(lèi)型的指針。
CURLcode curl_easy_setopt(CURL * handle, CURLoption option,parameter)函數(shù):
這個(gè)函數(shù)最重要了.幾乎所有的curl 程序都要頻繁的使用它.它告訴curl庫(kù).程序?qū)⒂腥绾蔚男袨? 比如要查看一個(gè)網(wǎng)頁(yè)的html代碼等.(這個(gè)函數(shù)有些像ioctl函數(shù))。
參數(shù):
CURL類(lèi)型的指針。
各種CURLoption類(lèi)型的選項(xiàng).(都在curl.h庫(kù)里有定義,man 也可以查看到)。
parameter 這個(gè)參數(shù) 既可以是個(gè)函數(shù)的指針,也可以是某個(gè)對(duì)象的指針,也可以是個(gè)long型的變量.它用什么這取決于第二個(gè)參數(shù). CURLoption 這個(gè)參數(shù)的取值很多.具體的可以查看man手冊(cè)。
- CURLcode curl_easy_perform(CURL *handle)函數(shù);在初始化CURL類(lèi)型的指針 以及curl_easy_setopt完成后調(diào)用. 就像字面的意思所說(shuō)perform就像是個(gè)舞臺(tái).讓我們?cè)O(shè)置的 option 運(yùn)作起來(lái).參數(shù): CURL類(lèi)型的指針。