curl命令詳解

用途說明

curl命令是一個功能強大的網絡工具，它可以經過http、ftp等方式下載文件，也可以上傳文件。其實curl遠不止前面所說的那些功能，你們能夠經過man curl閱讀手冊頁獲取更多的信息。相似的工具還有wget。

curl命令使用了libcurl庫來實現，libcurl庫經常使用在C程序中用來處理HTTP請求，curlpp是libcurl的一個C++封裝，這幾個東西能夠用在抓取網頁、網絡監控等方面的開發，而curl命令能夠幫助來解決開發過程當中遇到的問題。

經常使用參數

curl命令參數不少，這裏只列出我曾經用過、特別是在shell腳本中用到過的那些。

-A:隨意指定本身此次訪問所宣稱的本身的瀏覽器信息

-b/--cookie <name=string/file> cookie字符串或文件讀取位置，使用option來把上次的cookie信息追加到http request裏面去。

-c/--cookie-jar <file> 操做結束後把cookie寫入到這個文件中

-C/--continue-at <offset>  斷點續轉

-d/--data <data>   HTTP POST方式傳送數據

-D/--dump-header <file> 把header信息寫入到該文件中

-F/--form <name=content> 模擬http表單提交數據

-v/--verbose 小寫的v參數，用於打印更多信息，包括髮送的請求信息，這在調試腳本是特別有用。

-m/--max-time <seconds> 指定處理的最大時長

-H/--header <header> 指定請求頭參數

-s/--slient 減小輸出的信息，好比進度

--connect-timeout <seconds> 指定嘗試鏈接的最大時長

-x/--proxy <proxyhost[:port]> 指定代理服務器地址和端口，端口默認爲1080

-T/--upload-file <file> 指定上傳文件路徑

-o/--output <file> 指定輸出文件名稱

--retry <num> 指定重試次數

-e/--referer <URL> 指定引用地址

-I/--head 僅返回頭部信息，使用HEAD請求

-u/--user <user[:password]>設置服務器的用戶和密碼

-O:按照服務器上的文件名，自動存在本地

-r/--range <range>檢索來自HTTP/1.1或FTP服務器字節範圍

-T/--upload-file <file> 上傳文件

-w/--write-out <format> 在一次完整且成功的操做後輸出指定格式的內容到標準輸出（ eg.  -w "%{http_code}\n" ）

    輸出格式由普通字符串和任意數量的變量組成，輸出變量須要按照%{variable_name}的格式，若是須要輸出%，double一下便可，即%%，同時，\n是換行，\r是回車，\t是TAB。curl會用合適的值來替代輸出格式中的變量，一些些可用變量以下：

http_code      The numerical response code that was found in the last  retrieved HTTP(S) or FTP(s) transfer. In 7.18.2 the alias response_code was added to show the same info.

http_connect   The numerical code that was found in the last  response  (from a proxy) to a curl CONNECT request. (Added in 7.12.4)

local_ip       The IP address of the local end of the most recently done connection - can be either IPv4 or IPv6 (Added in 7.29.0)

local_port     The local port number of the most recently done connection (Added in 7.29.0)

redirect_url   When  an  HTTP  request  was made without -L to follow redirects, this variable will show the actual URL a redirect would take  you to. (Added in 7.18.2)

remote_ip      The  remote IP address of the most recently done connection - can be either IPv4 or IPv6 (Added in 7.29.0)

remote_port    The remote port number  of  the  most  recently  done  connection(Added in 7.29.0)

time_total     The  total  time, in seconds, that the full operation lasted. The time will be displayed with millisecond resolution.

url_effective  The URL that was fetched last. This is most meaningful if  you've told curl to follow location: headers.

使用示例

1，抓取頁面內容到一個文件中

　　[root@xi mytest]# curl -o home.html http://www.baidu.com   --將百度首頁內容抓下到home.html中

　　   [root@xi mytest]#curl -o #2_#1.jpghttp://cgi2.tky.3web.ne.jp/~{A,B}/[001-201].JPG

           因爲A/B下的文件名都是001，002...，201，下載下來的文件重名，這樣，自定義出來下載下來的文件名，就變成了這樣：原來： A/001.JPG —-> 下載後： 001-A.JPG 原來： B/001.JPG ---> 下載後： 001-B.JPG

2，用-O（大寫的），後面的url要具體到某個文件，否則抓不下來。還能夠用正則來抓取東西

　　[root@xi mytest]# curl -O http://www.baidu.com/img/bdlogo.gif

         運行結果以下：

        % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                                                   Dload  Upload   Total   Spent    Left  Speed
       100  1575  100  1575    0     0  14940      0 --:--:-- --:--:-- --:--:-- 1538k

          會在當前執行目錄中生成一張bdlogo.gif的圖片。

　　[root@xi mytest]# curl -O http://XXXXX/screen[1-10].JPG  --下載screen1.jpg~screen10.jpg

3，模擬表單信息，模擬登陸，保存cookie信息

　　[root@xi mytest]# curl -c ./cookie_c.txt -F log=aaaa -F pwd=******http://www.XXXX.com/wp-login.PHP

4，模擬表單信息，模擬登陸，保存頭信息

　　[root@xi mytest]# curl -D ./cookie_D.txt -F log=aaaa -F pwd=******http://www.XXXX.com/wp-login.php

　　-c(小寫)產生的cookie和-D裏面的cookie是不同的。

5，使用cookie文件

　　[root@xi mytest]# curl -b ./cookie_c.txt http://www.XXXX.com/wp-admin

6，斷點續傳，-C(大寫)

　　[root@xi mytest]# curl -C -O http://www.baidu.com/img/bdlogo.gif

7，傳送數據,最好用登陸頁面測試，由於你傳值過去後，curl回抓數據，你能夠看到你傳值有沒有成功

　　[root@xi mytest]# curl -d log=aaaa http://www.XXXX.com/wp-login.php

8，顯示抓取錯誤，下面這個例子，很清楚的代表了。

　　[root@xi mytest]# curl -fhttp://www.XXXX.com/asdf

　　curl: (22) The requested URL returned error: 404

　　[root@xi mytest]# curlhttp://www.XXXX.com/asdf

　　<HTML><HEAD><TITLE>404,not found</TITLE>

9，僞造來源地址，有的網站會判斷，請求來源地址，防止盜鏈。

　　[root@xi mytest]# curl -ehttp://localhosthttp://www.XXXX.com/wp-login.php

10，當咱們常常用curl去搞人家東西的時候，人家會把你的IP給屏蔽掉的,這個時候,咱們能夠用代理

　　[root@xi mytest]# curl -x 24.10.28.84:32779 -o home.htmlhttp://www.XXXX.com

11，比較大的東西，咱們能夠分段下載

　　[root@xi mytest]# curl -r 0-100 -o img.part1http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg

　　% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

　　Dload  Upload   Total   Spent    Left  Speed

　　100   101  100   101    0     0    105      0 --:--:-- --:--:-- --:--:--     0

　　[root@xi mytest]# curl -r 100-200 -o img.part2http://www.XXXX.com/wp-ontent/uploads/2010/09/compare_varnish.jpg

　　% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

　　Dload  Upload   Total   Spent    Left  Speed

　　100   101  100   101    0     0     57      0  0:00:01  0:00:01 --:--:--     0

　　[root@xi mytest]# curl -r 200- -o img.part3http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg

　　% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

　　Dload  Upload   Total   Spent    Left  Speed

　　100  104k  100  104k    0     0  52793      0  0:00:02  0:00:02 --:--:-- 88961

　　[root@xi mytest]# ls |grep part | xargs du -sh

　　4.0K    one.part1

　　112K    three.part3

　　4.0K    two.part2

　　用的時候，把他們cat一下就OK,cat img.part* >img.jpg

12，不會顯示下載進度信息

　　[root@xi mytest]# curl -s -o aaa.jpg http://www.baidu.com/img/bdlogo.gif

13，顯示下載進度條

　　[root@xi mytest]# curl  -0 http://www.baidu.com/img/bdlogo.gif     (以http1.0協議請求)

####################################################################### 100.0%

14,經過ftp下載文件

　　[xifj@Xi ~]$ curl -u用戶名:密碼 -Ohttp://www.XXXX.com/demo/curtain/bbstudy_files/style.css

　　% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

　　Dload  Upload   Total   Spent    Left  Speed

　　101  1934  101  1934    0     0   3184      0 --:--:-- --:--:-- --:--:--  7136

　　[xifj@Xi ~]$ curl -u 用戶名:密碼 -O http://www.XXXX.com/demo/curtain/bbstudy_files/style.css

　　% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

　　Dload  Upload   Total   Spent    Left  Speed

　　101  1934  101  1934    0     0   3184      0 --:--:-- --:--:-- --:--:--  7136

　　或者用下面的方式

　　[xifj@Xi ~]$ curl -O ftp://用戶名:密碼@ip:port/demo/curtain/bbstudy_files/style.css

　　[xifj@Xi ~]$ curl -O ftp://用戶名:密碼@ip:port/demo/curtain/bbstudy_files/style.css

　　15，經過ftp上傳

　　[xifj@Xi ~]$ curl -T test.sql ftp://用戶名:密碼@ip:port/demo/curtain/bbstudy_files/

　　[xifj@Xi ~]$ curl -T test.sql ftp://用戶名:密碼@ip:port/demo/curtain/bbstudy_files/

15,模擬瀏覽器頭

　　[xifj@Xi ~]$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txthttp://www.www.baidu.com

16,PUT、GET、POST

好比 curl -T localfile http://cgi2.tky.3web.ne.jp/~zz/abc.cgi，這時候，使用的協議是HTTP的PUT method 
剛纔說到PUT，天然想起來了其餘幾種methos－－GET和POST。 
http提交一個表單，比較經常使用的是POST模式和GET模式 
GET模式什麼option都不用，只須要把變量寫在url裏面就能夠了
好比：
curl http://www.yahoo.com/login.cgi?user=nick&password=12345 
而POST模式的option則是 -d 
好比，curl -d "user=nick&password=12345" http://www.yahoo.com/login.cgi
就至關於向這個站點發出一次登錄申請~~~~~ 
到底該用GET模式仍是POST模式，要看對面服務器的程序設定。 
一點須要注意的是，POST模式下的文件上的文件上傳，好比
<form method="POST" enctype="multipar/form-data" action="http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi">
<input type=file name=upload>
<input type=submit name=nick value="Go">
</form>
這樣一個HTTP表單，咱們要用curl進行模擬，就該是這樣的語法：
curl -F upload=@localfile -F nick=go http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi