curl及wget使用說明

Date: 2019-06-19

Author: Sun

1. curl的使用

注意：安裝的時候可能會遇到報錯，有多是openssl沒裝，

apt install curl
apt install openssl
apt install openssl-dev

一些經常使用參數的用法

參數	說明	示例
-A	設置user-agent	curl -A "Chrome" http://www.baidu.com
-X	用指定方法請求	curl -X POST http://httpbin.org/post
-I	只返回請求的頭信息
-d	以POST方法請求url，併發送相應的參數	-d a=1 -d b=2 -d c=3 -d "a=1&b=2&c=3" -d @filename
-O	下載文件並以遠程的文件名保存
-o	下載文件並以指定的文件名保存	curl -o fox.jpeg http://httpbin.org/image/jpeg
-L	跟隨重定向請求	curl -IL https://baidu.com
-H	設置頭信息	curl -o image.webp -H "accept:image/webp" http://httpbin.org/image
-k	容許發起不安全的SSL請求
-b	設置cookies	curl -b a=test http://httpbin.org/cookies
-s	不顯示其餘無關信息
-v	顯示鏈接過程當中的全部信息

自定義一個命令，查看本機外網IP

alias myip="curl http://httpbin.org/get|grep -E '\d+'|grep -v User-Agent|cut -d '\"' -f4"

2 wget使用

​ wget是linux上的命令行的下載工具。這是一個GPL許可證下的自由軟件。wget支持HTTP和FTP協議，支持代理服務器和斷點續傳功能

安裝：

apt install wget

參數說明

$ wget --help

A	B	C
-O	以指定文件名保存下載的文件	wget -O test.png http://httpbin.org/image/png
--limit-rate	以指定的速度下載目標文件	--limit-rate=200k
-c	斷點續傳
-b	後臺下載
-U	設置User-Agent
--mirror	鏡像某個目標網站
-p	下載頁面中的全部相關資源
-r	遞歸下載全部網頁中全部的連接

# 鏡像下載整個網站並保存到本地
wget -c --mirror -U "Mozilla" -p --convert-links http://docs.python-requests.org

實例

(1) 下載192.168.1.168首頁而且顯示下載信息

wget -d http://192.168.1.168

(2) 下載192.168.1.168首頁而且不顯示任何信息

wget -q http://192.168.1.168

(3) 批量下載的情形，把全部須要下載文件的地址放到 filename.txt 中，而後 wget 就會自動爲你下載全部文件了。

wget -i filelist.txt

(4) 斷點續傳

wget -c http://example.com/really-big-file.iso

3. httpie

​ httpie是一個 HTTP 的命令行客戶端，目標是讓 CLI 和 web 服務之間的交互儘量的人性化。這個工具提供了簡潔的 http 命令，容許經過天然的語法發送任意 HTTP 請求數據，展現色彩化的輸出。HTTPie 可用於與 HTTP 服務器作測試、調試和常規交互。

apt install httpie    #ubuntu
pip install httpie    
yum install httpie    #centos

httpie 幫助

# http
usage: http [--json] [--form] [--pretty {all,colors,format,none}]
            [--style STYLE] [--print WHAT] [--headers] [--body] [--verbose]
            [--all] [--history-print WHAT] [--stream] [--output FILE]
            [--download] [--continue]
            [--session SESSION_NAME_OR_PATH | --session-read-only SESSION_NAME_OR_PATH]
            [--auth USER[:PASS]] [--auth-type {basic,digest}]
            [--proxy PROTOCOL:PROXY_URL] [--follow]
            [--max-redirects MAX_REDIRECTS] [--timeout SECONDS]
            [--check-status] [--verify VERIFY]
            [--ssl {ssl2.3,ssl3,tls1,tls1.1,tls1.2}] [--cert CERT]
            [--cert-key CERT_KEY] [--ignore-stdin] [--help] [--version]
            [--traceback] [--default-scheme DEFAULT_SCHEME] [--debug]
            [METHOD] URL [REQUEST_ITEM [REQUEST_ITEM ...]]
http: error: the following arguments are required: URL

httpie 示例

1）請求 mimvp.com（米撲科技）

請求： http mimvp.com

結果： 返回有狀態頭200和網頁正文

2）僅返回文件頭header

請求： http -h proxy.mimvp.com

3）表單請求登陸

請求： http --form POST proxy.mimvp.com username='mimvp-user' password='mimvp-pwd'

# 只顯示Body
http -b mimvp.com
http --body mimvp.com

4）設置代理請求

請求：

http --proxy=http:http://217.107.197.174:8081 proxy.mimvp.com
http --proxy=http:http://user:pass@217.107.197.174:8081 proxy.mimvp.com
http --proxy=https:http://112.114.96.34:8118 proxy.mimvp.com
http --proxy=https:http://user:pass@112.114.96.34:8118 proxy.mimvp.com

5）下載文件

http -d minvp.com