curl應用總結（一）html
最近開發中用到curl庫，雖然都是很簡單的應用，但對這個庫仍是產生了興趣，想學習總結一下。curl庫功能很是強大，這裏主要針對http應用，尤爲是http文件下載作一個總結。固然了，仍是主要針對Windows系統來說。瀏覽器
本文是第一篇，固然要簡單介紹一下curl，而後說一下Windows系統下的編譯安裝，以及對curl工具的簡單應用。安全
curl 是一個基於命令行的應用工具，提供利用URL標準進行文件傳輸的功能。目前已經支持很是多的流行的互聯網協議，如：FTP, FTPS, HTTP, HTTPS, SCP, SFTP, TFTP, TELNET, DICT, LDAP, LDAPS and FILE等。curl支持SSL認證，HTTP POST/PUT，FTP上傳，HTTP上傳、代理、cookies、用戶+密碼認證、文件續傳、代理管道等一系列強大功能。curl是用C語言寫的，但 是綁定了不少開發語言。大致上能夠把curl分紅命令行工具和libcurl庫兩個部分，命令行工具能夠直接輸入指令完成相應功能，libcurl則是一 個客戶端URL傳輸庫，是線程安全且兼容IPv6，能夠很是方便地用來作相關開發。服務器
更多關於curl的信息能夠參考官網http://curl.haxx.se/。curl的相關文檔很是全，不得不讚一下。其實查閱原文文檔是一個很好的習慣，並且仍是一件很愜意的事情，對提升英文閱讀能力幫助也很大。cookie
從 curl官方網站上能夠直接下載到編譯好的lib，dll和exe文件，可是本身由源碼編譯安裝curl，也是一件有意思的事情。從網站上下載源碼包，解 壓縮後會看到根文件目錄下面有不少文件及文件夾。其中的文件是有關curl項目的介紹、版本變動狀況、以及一些有關配置和編譯的文件；文件夾中比較重要的 有3個：docs、lib和src，docs中包括項目的全部相關文檔，lib中爲libcurl庫的源碼，src爲curl命令行工具的源碼。
如 果你熟悉MSVS開發環境的話，那麼編譯過程再簡單不過了，由於最新的curl源碼包中已經自帶了vc6的工程文件，只要高於6.0版本的環境均可以直接 打開工程進行編譯連接，生成二進制文件。整個solution中包含兩個project，一個是libcurl庫，一個是curl的命令行工具。其 中，curl.exe運行是要加載libcurl.dll動態庫的。另外，自帶的工程設置中沒有用到OpenSSL或Zlib這些第三方庫，若是須要用到 相關擴展功能的話，須要配置引用這些庫文件進行編譯。
還有一種方式是經過MSVS命令行的方式進行編譯。步驟以下：
一、首先要清楚本身安裝的是msvc哪一個版本，目前常見的vc6，vc2003（vc7），vc2005（vc8）和vc2008（vc9），curl源碼包中都已經寫好了相應的makefile文件，我機器上裝的是vc2005；
二、 將vc的安裝目錄的bin文件目錄加到PATH環境變量中，我機器上bin的路徑爲C:\Program Files\Microsoft Visual Studio 8\VC\bin，這一步主要是爲了使咱們可以在任何路徑下運行bin路徑下的工具，如後面要用到的編譯工具cl.exe和make工具 nmake.exe；
三、在運行中啓動cmd.exe，在其中運行bin目錄下的vcvars32.bat這個批處理文件，這個文件中定義了不少vc庫文件及相關資源工具的訪問變量，指明瞭響應資源的訪問路徑，跟環境變量的做用類似，可是隻做用於當前命令行窗口；
四、 在cmd中進入到你要編譯的curl源碼的根文件目錄下，輸入命令「nmake vc」回車，應該就會看到一長串的編譯信息輸出。結束後，在lib子目錄下會生成release文件夾，裏面即爲編譯後生成的目標文件以及靜態連接庫文件 libcurl.lib，在src子目錄下生成curl.exe可執行文件。這一步中須要注意的是根文件目錄下的makefile文件中將vc編譯工具定 義爲了vc6，咱們應該把其中的「VC=vc6」這句改成本身機器上對應的vc版本。
另外，「nmake vc」命令也是沒有引用任何第三方庫來進行編譯的，默認編譯靜態連接的release版本文件。若是要編譯其餘版本或者引用第三方庫來進行編譯，則要添加make參數，具體能夠參考makefile文件中的配置。
以上主要介紹的是在Windows平臺下用msvc工具編譯curl代碼，其實curl庫幾乎能夠支持全部常見的操做系統，並且支持的編譯工具也不少，如MingW3二、Cygwin、Borland C++等。curl的文檔中寫得都很是清楚，這裏就不詳細說了。
以上簡單介紹了curl庫和在Windows平臺下用msvc環境編譯curl執行文件的步驟，下一篇中將總結一些應用curl庫的知識。多線程
curl應用總結（二）curl
curl的應用方式，一是能夠直接經過命令行工具，另外一種是利用libcurl庫作上層的開發。本篇主要總結一下命令行工具的http相關的應用，尤爲是http下載方面的；下一篇再講基於libcurl庫的開發。
curl的命令行工具功能很是強大，這些數據交互的功能基本上都是經過URL方式進行的，咱們先來看看curl對多個URL的靈活操做，這些規則使咱們的批處理需求應用起來很是方便。
一、用{}表示多個URL
如 ，只要在{}中寫上不一樣的部分，就能夠表示3個URL了。
二、用[]表示多個URL
如 ，，，[]中表示按數字或字母的順序排列。
還能表示不連續的排列，如 http://www.numericals.com/file[1-100:10].txt，http://www.letters.com/file[a-z:2].txt，":"後面的數字表示等差排列的階躍數。
三、結合起來使用
如 。
curl命令行工具的基本語句爲：curl [options] [URL...]，即 curl [選項] [下載地址]。所以，若是你想下載百度的首頁，最簡單的方法啓動cmd，進入curl安裝目錄，輸入命令：curl http://www.baidu.com，回車，你的輸出窗口將當即出現百度首頁的html數據。
對於全部的布爾型option，基本上--option表示支持這個選項，--no-option表示禁用這個選項。下面總結幾個比較有用的options。
一、-o/--output <file>
這個基本上要算最經常使用的選項了，用於將下載的數據保存到某個文件中。如 curl -o baidu.html http://www.baidu.com則將百度首頁保存到baidu.html文件中了。下載過程當中標準輸出還會顯示下載的統計信息，好比進度、下載字節數、下載速度等。若是指定輸出爲"-"，則下載數據會輸出到標準輸出。
若是輸出的文件是一個多級目錄的話，則要配合--create-dirs選項，--create-dirs將自動建立設置的輸出目錄。
若是但願保存到本地的文件名和服務器上的相同，就能夠直接用-O選項（大寫O），而省去指定本地文件名。
如 果下載多個數據文件，可使用上面提到的多URL規則。下載文件名也能夠批量自定義，就是使用"#"。能夠將"#"加到文件名當中，這樣實際文件名中的# 將被多個URL中的當前字符串代替，如 curl -o "#1_#2"，#1將被"site"或"host"代替，#2將被1-5之間的數字代替，也就是被當前被處理的URL中的字符串代替。
另外下載數據的時候，能夠加個"-#"選項，用一個進度條來代替文本表示進度。
二、-c/--cookie-jar <file name> 和 -b/--cookie <name=data>
這 是兩個操做cookie的選項，不少服務器是須要cookie信息的。用前一個選項能夠指定一個文件，將其餘文件中的cookie或者從服務器獲得的 cookie寫到文件中；後一個選項則用來向服務器發送cookie信息，能夠用"name=data"的形式，也能夠直接跟一個保存cookie的文件 名。
三、-x/--proxy <proxyhost[:port]>
該選項爲http指定代理及端口，若是不指定端口，默認爲1080。如 curl -x 201.36.208.19:3128 http://curl.haxx.se/。
四、-u/--user <user:password> 和 -U/--proxy-user <user:password>
登陸某些頁面或ftp須要先進行認證，輸入用戶名和密碼。curl的這個選項能夠直接處理這類操做，用指定的帳號和密碼進行登陸認證。
後面的選項指定代理的用戶名和密碼，這樣即可以直接用這個代理訪問網頁了，如 curl -U user:password -x 201.36.208.19:3128 http://curl.haxx.se/。
五、-A/--user-agent <agent string>
該選項能夠指定客戶端類型，服務器經過該選項判斷用戶應用的平臺及瀏覽器信息。如 curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" http://www.clientinfo.com，
表示告訴服務器，客戶端是運行在Windows 2000系統上的IE6.0。異步
六、-d/--data <data>
該選項用來以POST方式向http服務器發送特定數據，最經常使用的就是提交表單。如 curl -d "user=username&password=111" http://www.login.com，表示用帳號username和密碼111向站點發送登陸申請。其中多個數據段能夠用"&"進行鏈接一塊兒發送；若是數據前面加上符號"@"，則數據來源爲後面指定的文件，如 curl -d http://www.login.com。ide
七、-C/--continue-at <offset>
改選項提供斷點續傳功能，與-o選項配合使用。如 curl -c -O http://vfile.home.news.cn/music/public/vd05/200905/31/a8/MUfs052009053117155750a8be70.mp3。若是指定offset，則從offset的位置開始續傳。若是未指定offset，或者直接用"-C -"，則curl會本身分析該從什麼位置開始續傳。函數
八、-r/--range <range>
該 選項指定下載字節的範圍，常應用於分塊下載文件。range的表示方式有多種，如100-500，則指定從100開始的400個字節數據；-500表示最 後的500個字節；5000-表示從第5000個字節開始的全部字節；另外還能夠同時指定多個字節塊，中間用","分開。如
curl -r 0-1024000 -o new_divide_1.mp3 http://vfile.home.news.cn/music/public/vd05/200905/31/a8/MUfs052009053117155750a8be70.mp3 &
curl -r 1024001-2048000 -o new_divide_2.mp3 http://vfile.home.news.cn/music/public/vd05/200905/31/a8/MUfs052009053117155750a8be70.mp3 &
curl -r 2048001- -o new_divide_3.mp3 http://vfile.home.news.cn/music/public/vd05/200905/31/a8/MUfs052009053117155750a8be70.mp3
這 樣就會將目標mp3文件分塊下載爲3個文件，而後能夠用dos的copy命令：copy new_divide_1.mp3/b + new_divide_2.mp3/b + new_divide_3.mp3/b new_divide.mp3便可將3個分塊文件合併爲一個完整的mp3文件。
九、-w/--write-out <format>
該 選項格式化輸出一些用戶操做的數據信息，用到的格式化輸出符除了"\n"，"\r"，"\t"這些常見轉義符外，還包括"@"和"表示輸出 filename文件中的數據，"@-"表示輸出用戶寫入標準輸入的數據；"%"標識符後面跟上定義的關鍵字，則能夠輸出對應的curl數據，經常使用的關鍵 字有：
http_code —— 上次操做返回的響應碼；
time_total —— 上次操做耗時，單位爲秒；
time_connect —— TCP鏈接遠程主機的耗時，單位爲秒；
time_pretransfer —— 文件真正開始傳輸以前交互耗時，單位爲秒，可能主要包括一些命令處理和協議分析的耗時；
time_starttransfer —— 文件的第一個字節開始傳輸以前的耗時，單位爲秒，包括time_pretransfer和服務器計算結果的時間；
size_download —— 下載的總字節數；
size_upload —— 上傳的總字節數；
size_request —— 發送http請求的總字節數；
speed_download —— curl成功下載的平均下載速度；
speed_upload —— curl成功上傳的平均上傳速度；
舉例：curl -o page.html -s -w %{time_connect}:%{time_starttransfer}:%{time_total} http://curl.haxx.se/，其中-s表示安靜模式，即略去全部狀態信息。
十、--connect-timeout <seconds> 和 -m/--max-time <seconds>
前者表示容許的鏈接的最長耗時，單位爲秒；後者表示容許的整個操做的最長耗時，單位爲秒，這個選項對於控制一個批處理操做的時長很是有用。
十一、--limit-rate <speed> 、 -Y/--speed-limit <speed> 和 -y/--speed-time <time>
--limit-rate <speed>指定最大的數據傳輸率，單位爲bytes/s，也能夠用'k'或'K'表示kb/s，'m'或'M'表示mb/s，'g'或'G'表示gb/s，所給的speed爲平均傳輸率，短期峯值可能會超過此值；
-Y/--speed-limit <speed>指定最小傳輸率，單位爲bytes/s，若是小於speed值，則傳輸停止，如此時-y選項沒有被設置，默認time爲 30；-y/--speed-time <time>指定-Y選項的有效時間段，若是-Y選項沒有被設置，默認爲1。
十二、--max-filesize <bytes>
該選項指定所要下載的文件的最大長度，若是超過bytes值，則下載並不開始，curl返回退出碼63。
1三、--retry <num> 、 --retry-delay <seconds> 和 --retry-max-time <seconds>
當 傳輸過程當中出現錯誤，如超時、FTP 5xx返回碼或者HTTP 5xx返回碼，curl會進行按照設置進行重試，這幾個選項都與重試有關。--retry <num>設置重試次數，--retry-delay <seconds>設置兩次重試的間隔時間，--retry-max-time <seconds>設置兩次重試間隔的最長時間。默認狀況下，curl不進行重試；若是重試，第一次間隔1秒，以後每次都間隔上一次的2倍時 間，直到間隔時間達到10分鐘，以後的重試都將採用10分鐘間隔。若是這3個選項的值被從新設置，則執行設置值。
1四、-T/--upload-file <file>
該選項是上傳命令，如向http服務器上傳一個文件：curl -T D:\new_divide.mp3 http://www.uploadserver.com/path/；向一個ftp服務器上傳文件：curl -T D:\new_divide.mp3 -u user:password 。
curl定義了一組"EXIT CODES"，用來標識在出現錯誤時的相關信息，目前範圍從1-83，具體信息能夠查閱curl庫自帶的文檔。這些退出碼對於咱們分析錯誤及緣由有很大幫助。
以上簡單介紹了一下利用curl命令行工具進行一些簡單的http和ftp應用，你們能夠試着多用一下，會慢慢發現curl的強大功能，有不少獨特的功能用起來很是簡單方便。
curl應用總結（三）
這篇講一下基於libcurl庫的開發（Windows平臺，MSVC2005開發環境）。
libcurl是一個簡單易用的基於URL傳輸的客戶端開發庫，支持多種平臺以及三十多種開發語言綁定。libcurl是線程安全的，兼容IPv6，功能強大且運行效率高，不少知名公司如Google、Adobe的產品都應用過libcurl。
在05環境中作libcurl開發，須要將靜態庫文件加到編譯連接環境中，而且要dll動態運行庫支持。
libcurl 提供了一組C語言API函數直接調用。首先須要提到的兩個函數就是curl_global_init()和curl_global_cleanup()。 libcurl要用到一系列的全局常量，curl_global_init()函數就是初始化這些變量，並分配一些全局資 源；curl_global_cleanup()則負責釋放這些資源。所以通常狀況下，在調用libcurl函數以前，先用 curl_global_init(CURL_GLOBAL_ALL)作初始化，在調用完畢後，用curl_global_cleanup()
退出。須要注意的是，這些全局變量和資源並非線程安全的，所以，在多線程應用的環境中，最好不要屢次調用curl_global_init()和curl_global_cleanup()，調用其餘函數並不會改變這些全局變量和資源。
libcurl 支持3種不一樣的接口調用方式，分別是"easy"、"multi"和"share"模式。libcurl-easy是一組同步接口，函數都是 curl_easy_*形式，這種模式調用curl_easy_perform()函數進行URL數據傳輸，直到傳輸完成函數才返回；libcurl- multi是一組異步接口，函數都是curl_multi_*形式，調用curl_multi_perform()函數進行傳輸，可是每次調用只傳一片數 據，咱們能夠用select()函數控制多個下載任務進行同步下載，來實如今一個線程中同時下載多個文件；libcurl-share容許在多線程中操做 共享數據。下面以libcurl-easy爲例講一下libcurl的函數。
一、CURL *curl_easy_init()
此函數須要最早被調用，返回CRUL easy句柄；後續其餘函數調用都要用到這個句柄。若是沒有調用curl_global_init()，該函數自動調用，可是考慮到線程安全的問題，最好本身調用curl_global_init()。
二、CURLcode curl_easy_setopt(CURL *handle, CURLoption option, parameter)
所 有參數和選項設置都是經過這個函數完成的，它告訴libcurl怎樣去進行傳輸。參數handle即爲curl_easy_init()返回的句柄，後面 根據option的類型，設置相應的parameter值，該函數每次調用只能設置一個選項。具體的option講解在這兩篇博文中有較全面的介紹：
http://blog.163.com/wangsen_315/blog/static/9461414200882384555217/
http://blog.sina.com.cn/s/blog_4f9fc6e10100einf.html
這裏只總結一下與下載有關的經常使用選項設置。
CURLOPT_URL
字符串類型，該選項設置要處理的URL地址，該選項是進行curl_easy_perform以前惟一必需要設置的選項。
CURLOPT_COOKIE
字符串類型，設置http頭中的cookie信息。
CURLOPT_COOKIEFILE
字符串類型，同CURLOPT_COOKIE，不過cookie信息從文件中讀取。
CURLOPT_FOLLOWLOCATION
布爾值類型，該參數設置爲非零值表示follow服務器返回的重定向信息。
CURLOPT_POSTFIELDS
字符串類型，提交http的post操做字符串數據。
CURLOPT_TIMEOUT
long數值類型，設置函數執行的最長時間，時間單位爲s。
CURLOPT_CONNECTTIMEOUT
long數值類型，設置鏈接服務器最長時間，時間單位爲s；當置爲0時表示無限長。
CURLOPT_MAX_RECV_SPEED_LARGE
curl_off_t類型數據，指定下載過程當中最大速度，單位bytes/s。
CURLOPT_HEADERFUNCTION
函數指針類型，該選項設置一個處理接收到的header數據的回調函數，函數原型爲：
size_t function( void *ptr, size_t size, size_t nmemb, void *stream)；
其中，ptr指向接收到的header頭數據，數據大小爲size*nmemb，stream指向調用CURLOPT_WRITEHEADER選項設置的參數。該回調函數應返回實際處理的數據量大小，或者出錯返回-1。
函數指針類型，該選項設置一個處理接收到的下載數據的回調函數，函數原型爲：
size_t function( void *ptr, size_t size, size_t nmemb, void *stream);
其中，ptr指向接收到的數據，數據大小爲size*nmemb，stream指向調用CURLOPT_WRITEDATA選項設置的參數。
若是函數指針置爲NULL，則會調用默認的函數，將數據寫入到由CURLOPT_WRITEDATA指定的FILE*中。 CURLOPT_HTTPHEADER curl_slist結構體類型，該選項自定義請求頭信息。 CURLOPT_NOPROGRESS 布爾值類型，設置該值爲非零值關閉PHP爲CRUL傳輸顯示的進度條。 三、void curl_easy_reset(CURL *handle ) 從新初始化CURL句柄的選項設置。 四、CURLcode curl_easy_getinfo(CURL *curl, CURLINFO info, ... ) 查詢CRUL會話的內部信息，具體說明請參考curl自帶文檔。 五、void curl_easy_cleanup(CURL * handle ) 該函數與curl_easy_init函數成對出現，handle即爲調用curl_easy_init返回的句柄。該函數在CURL會話結束退出時調用，以後handle無效。 libcurl庫開發就簡單總結這些，只是一個很粗略的介紹，具體的細節請參考curl自帶的文檔手冊。本文沒有給出示例代碼，由於curl的源碼包中已經自帶了不少例子，你們能夠仔細研究一下。